Jump to content
Калькуляторы

Cat3560/3750 - VRF vs OSPF непонятные глюки в VRF

Всем доброе время суток, коллеги.

 

Помогите набрести на светлую мысль на пути дебага одной проблемы плз.

 

Есть некий mesh из дюжины каталистов 3560G/3750G и одного 4900М. Hа всех поднят L3, OSPF. Для определенной категории пользователей внутре каталистов создан VRF, протокол роутинга в нем - также OSPF. Основная таблица роутинга и VRF-таблица сливаются на C7206 путем взаимной редистрибуции соответствующих OSPF-процессов. Сделано это для того, чтобы принудительно протащить внешний трафик этой самой определенной категории пользователей через 72-ю кошку, на ней учет.

 

Все как бы работает. За исключением двух похожих, но все-таки разных глюков, периодически возникающих на двух одних и тех же коммутаторах.

 

1. 3560G. Cisco IOS Software, C3560 Software (C3560-ADVIPSERVICESK9-M), Version 12.2(40)SE, RELEASE SOFTWARE (fc3). Hа 12.2(37)SE было то же самое.

В VRF'е 27 SVI. Периодически часть из них (примерно половина), по настройкам ничем кроме IP-адресов не отличающаяся от своих более счастливых соседей, теряет выход за пределы VRF. Внутри VRF все прекрасно работает, доступны хосты за другими роутерами, но пакеты, отправляемые клиентом за пределы VRF, умирают HА ПЕРВОМ ЖЕ ХОПЕ. То есть клиент не получает даже ответа от своего шлюза по умолчанию, с первого же хопа идут звезды. Если пинговать снаружи, сниффер показывает, что пакет доходит до клиента, тот отвечает на него, но ответ не доходит - судя по трейсу, дропается первым же хопом. В таблицах роутинга VRF по пути следования все как живое. С самогО каталиста все работает.

Лечится командой clear ip ospf xxx process на этом каталисте. Какое-то время (несколько дней, может, неделю) работает, потом повторяется снова.

 

2. 3750G. Cisco IOS Software, C3750 Software (C3750-IPSERVICESK9-M), Version 12.2(37)SE, RELEASE SOFTWARE (fc2)

В VRF'е 43 SVI. Периодически часть из них, по настройкам ничем кроме IP-адресов не отличающаяся от своих более счастливых соседей, теряет доступ к одной из подсетей внутри того же VRF, терминированной на другом свитче, 4900M. Возможно, и к каким-то другим тоже, пока жалобы были только на одну конкретную, поскольку там живет востребованный ресурс. От соседних подсетей, терминированных на том же 49-м каталисте, она отличается только размером (/25) и наличием некоторого количества secondary (6шт). За пределы VRF, в отличие от глюка №1, клиент ходит без проблем. Пакеты, отправляемые клиентом в эту подсеть, опять же, умирают HА ПЕРВОМ ЖЕ ХОПЕ, аналогично глюку №1. То есть клиент не получает даже ответа от своего шлюза по умолчанию, с первого же хопа идут звезды. Если пинговать клиента из целевой подсети/25 , сниффер показывает, что пакет доходит до клиента, тот отвечает на него, но ответ не доходит - судя по трейсу, дропается первым же хопом.

В таблицах роутинга VRF по пути следования опять же все как живое. С самогО каталиста доступ в злополучную подсеть /25 работает.

Опять же лечится командой clear ip ospf xxx process на этом каталисте. Какое-то время (несколько дней, может, неделю) работает, потом повторяется снова.

 

Глюки эти происходят не одновременно. Hи с чем конкретным ассоциировать не могу.

 

Размер таблицы VRF - порядка 480 префиксов. С TCAM'ом на обоих свитчах (да и на других тоже) вроде порядок.

 

Подскажите плз, куда копать / что дебажить ?

 

Отказаться от VRF на каталистах пока не предлагать. Можно попробовать от него уйти, вытащив нужных абонентов

напрямую на 72-ю в q-in-q, но я к этому пока не готов, ни морально, ни организационно-технически...

 

Share this post


Link to post
Share on other sites

А "нормальное" "перетекание" (кажется route leaking называется) не пробовали применить?

Share this post


Link to post
Share on other sites
А "нормальное" "перетекание" (кажется route leaking называется) не пробовали применить?
Если я правильно понял смысл фичи, то она мне не подходит. Мне нужно организовать единственную точку обмена Global <--> VRF , а не кучу локальных. А иначе вообще не имело смысла городить VRF, все и так в глобале прекрасно работало...

Предыстория вопроса - ТУТ, пост 43.

Edited by Serhio Go

Share this post


Link to post
Share on other sites

1. Если можно обойтись дефолтом в каждом из VRF-ов (т.е. если дефолт все равно смотрит на эту кошку) то убрать редистрибуцию между OSPF-ми и проанонсить с кошки дефолт в оба OSPF-а.

2. если на циске задействовать 2 интерфейса:

на одном создать sub в влане N и поместить оный в VRF.

создать на втором интерфейсе sub в влане N,

повесить IP-ы, и "скормить" OSPF-ам. в теории они должны понять друг друга "как родные" а не через редистрибуцию.

3. Как-то краем уха слышал от цисковцев, что внутри VRF-а OSPF работает "не очень", дали совет перейти на IS-IS или BGP... (правда я на том разговоре был в качестве слушателя и мог что-то упустить)

Edited by ghost

Share this post


Link to post
Share on other sites

Если везде стоят циски, попробуйте eigrp поднять вместо ospf. Хотя бы понятно будет - дело в vrf или в ospf.

Share this post


Link to post
Share on other sites

is-is внутри vrf не будет. Что там у вас на коробках с mls qos? выключено ли?

Share this post


Link to post
Share on other sites
1. Если можно обойтись дефолтом в каждом из VRF-ов (т.е. если дефолт все равно смотрит на эту кошку) то убрать редистрибуцию между OSPF-ми и проанонсить с кошки дефолт в оба OSPF-а.

VRF всего один. В глобал его анонсы в количестве чуть меньше 500 (набирается по всем каталистам, которых, как я уже писал, дюжина. Если быть точным, то эта дюжина - чертова :)) анонсятся через 72ю, которая в свою очередь в сторону VRF'а анонсит только дефолт. То есть в VRF'е эта кошка - в конечном итоге дефолт гейт, в глобале - просто один из роутеров, не бордер.

 

2. если на циске задействовать 2 интерфейса:

на одном создать sub в влане N и поместить оный в VRF.

создать на втором интерфейсе sub в влане N,

повесить IP-ы, и "скормить" OSPF-ам. в теории они должны понять друг друга "как родные" а не через редистрибуцию.

Ну, тут не суть, imho. Через 72-ю как раз все нормально ходит, и в анонсах ничего не пропадает. Проблема на агрегирующих каталистах, причем только на двух из 13, причем на одних и тех же, причем на одних и тех же SVI. Чем именно они не угодили Св. Коннектию - ума не приложу...

 

3. Как-то краем уха слышал от цисковцев, что внутри VRF-а OSPF работает "не очень", дали совет перейти на IS-IS или BGP... (правда я на том разговоре был в качестве слушателя и мог что-то упустить)

Бррр...

 

Что там у вас на коробках с mls qos? выключено ли?
Включено. IPTV и голос, туды их в качель. А что, надо выключить?

Share this post


Link to post
Share on other sites
а посвежее софт поставить пробовали? типа 122(44)SE6
Пока не пробовал. Просто ничего хотя бы отдаленно похожего на мои приключения в релиз-нотесах на софт новее моего не нашел...

 

Share this post


Link to post
Share on other sites

а сети из SVI прописаны в router ospf, или стоит redistribute connected?

 

и ещё: во время этого sh ip arp summary что говорит, ну это так на всякий случай :)

Share this post


Link to post
Share on other sites
а сети из SVI прописаны в router ospf, или стоит redistribute connected?
!

router ospf 10000 vrf FAST

router-id ip.ip.ip.ip

log-adjacency-changes

area 10000 authentication

redistribute connected subnets route-map VRF_FAST

redistribute static subnets route-map VRF_FAST

network ip.ip.ip.ip wc.wc.wc.wc area 10000

!

route-map VRF_FAST permit 10

match ip address 77

!

 

ACL 77 - это список агрегатов, в составе которых нарезаны подсети, применяемые на SVI в VRF.

 

network ip.ip.ip.ip wc.wc.wc.wc area 10000 - это сеть, порезанная на подсети взаимодействия /30 между каталистами внутри VRF.

 

 

и ещё: во время этого sh ip arp summary что говорит, ну это так на всякий случай :)
Намек понял.

Посмотрю в следующий раз, как проявится.

Правда, момент начала уловить тяжело, особенно во втором случае.

Edited by Serhio Go

Share this post


Link to post
Share on other sites
router ospf 10000 vrf FAST

capability vrf-lite

интересно, у меня оспф в врфе живёт на 3560 и без этой капабилити, правда там 4 интерфейса и где то 250 префиксов.

Share this post


Link to post
Share on other sites
router ospf 10000 vrf FAST

capability vrf-lite

интересно, у меня оспф в врфе живёт на 3560 и без этой капабилити, правда там 4 интерфейса и где то 250 префиксов.

Как я понял, это просто директива не искать PE внутри врфа.

Пойдет в копилку бубнов :)

Share this post


Link to post
Share on other sites
Помогло?
А кто ж его знает-то. Неделю ждать теперь...

 

2tgz. А что там с mls qos не так?

Share this post


Link to post
Share on other sites
2tgz. А что там с mls qos не так?

Бывает глючит, попрефиксно. Лечится через clear что-то-там-про-mls-qos-cache. Ну или no mls qos.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this