Перейти к содержимому
Калькуляторы

Cat3560/3750 - VRF vs OSPF непонятные глюки в VRF

Всем доброе время суток, коллеги.

 

Помогите набрести на светлую мысль на пути дебага одной проблемы плз.

 

Есть некий mesh из дюжины каталистов 3560G/3750G и одного 4900М. Hа всех поднят L3, OSPF. Для определенной категории пользователей внутре каталистов создан VRF, протокол роутинга в нем - также OSPF. Основная таблица роутинга и VRF-таблица сливаются на C7206 путем взаимной редистрибуции соответствующих OSPF-процессов. Сделано это для того, чтобы принудительно протащить внешний трафик этой самой определенной категории пользователей через 72-ю кошку, на ней учет.

 

Все как бы работает. За исключением двух похожих, но все-таки разных глюков, периодически возникающих на двух одних и тех же коммутаторах.

 

1. 3560G. Cisco IOS Software, C3560 Software (C3560-ADVIPSERVICESK9-M), Version 12.2(40)SE, RELEASE SOFTWARE (fc3). Hа 12.2(37)SE было то же самое.

В VRF'е 27 SVI. Периодически часть из них (примерно половина), по настройкам ничем кроме IP-адресов не отличающаяся от своих более счастливых соседей, теряет выход за пределы VRF. Внутри VRF все прекрасно работает, доступны хосты за другими роутерами, но пакеты, отправляемые клиентом за пределы VRF, умирают HА ПЕРВОМ ЖЕ ХОПЕ. То есть клиент не получает даже ответа от своего шлюза по умолчанию, с первого же хопа идут звезды. Если пинговать снаружи, сниффер показывает, что пакет доходит до клиента, тот отвечает на него, но ответ не доходит - судя по трейсу, дропается первым же хопом. В таблицах роутинга VRF по пути следования все как живое. С самогО каталиста все работает.

Лечится командой clear ip ospf xxx process на этом каталисте. Какое-то время (несколько дней, может, неделю) работает, потом повторяется снова.

 

2. 3750G. Cisco IOS Software, C3750 Software (C3750-IPSERVICESK9-M), Version 12.2(37)SE, RELEASE SOFTWARE (fc2)

В VRF'е 43 SVI. Периодически часть из них, по настройкам ничем кроме IP-адресов не отличающаяся от своих более счастливых соседей, теряет доступ к одной из подсетей внутри того же VRF, терминированной на другом свитче, 4900M. Возможно, и к каким-то другим тоже, пока жалобы были только на одну конкретную, поскольку там живет востребованный ресурс. От соседних подсетей, терминированных на том же 49-м каталисте, она отличается только размером (/25) и наличием некоторого количества secondary (6шт). За пределы VRF, в отличие от глюка №1, клиент ходит без проблем. Пакеты, отправляемые клиентом в эту подсеть, опять же, умирают HА ПЕРВОМ ЖЕ ХОПЕ, аналогично глюку №1. То есть клиент не получает даже ответа от своего шлюза по умолчанию, с первого же хопа идут звезды. Если пинговать клиента из целевой подсети/25 , сниффер показывает, что пакет доходит до клиента, тот отвечает на него, но ответ не доходит - судя по трейсу, дропается первым же хопом.

В таблицах роутинга VRF по пути следования опять же все как живое. С самогО каталиста доступ в злополучную подсеть /25 работает.

Опять же лечится командой clear ip ospf xxx process на этом каталисте. Какое-то время (несколько дней, может, неделю) работает, потом повторяется снова.

 

Глюки эти происходят не одновременно. Hи с чем конкретным ассоциировать не могу.

 

Размер таблицы VRF - порядка 480 префиксов. С TCAM'ом на обоих свитчах (да и на других тоже) вроде порядок.

 

Подскажите плз, куда копать / что дебажить ?

 

Отказаться от VRF на каталистах пока не предлагать. Можно попробовать от него уйти, вытащив нужных абонентов

напрямую на 72-ю в q-in-q, но я к этому пока не готов, ни морально, ни организационно-технически...

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А "нормальное" "перетекание" (кажется route leaking называется) не пробовали применить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А "нормальное" "перетекание" (кажется route leaking называется) не пробовали применить?
Если я правильно понял смысл фичи, то она мне не подходит. Мне нужно организовать единственную точку обмена Global <--> VRF , а не кучу локальных. А иначе вообще не имело смысла городить VRF, все и так в глобале прекрасно работало...

Предыстория вопроса - ТУТ, пост 43.

Изменено пользователем Serhio Go

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Если можно обойтись дефолтом в каждом из VRF-ов (т.е. если дефолт все равно смотрит на эту кошку) то убрать редистрибуцию между OSPF-ми и проанонсить с кошки дефолт в оба OSPF-а.

2. если на циске задействовать 2 интерфейса:

на одном создать sub в влане N и поместить оный в VRF.

создать на втором интерфейсе sub в влане N,

повесить IP-ы, и "скормить" OSPF-ам. в теории они должны понять друг друга "как родные" а не через редистрибуцию.

3. Как-то краем уха слышал от цисковцев, что внутри VRF-а OSPF работает "не очень", дали совет перейти на IS-IS или BGP... (правда я на том разговоре был в качестве слушателя и мог что-то упустить)

Изменено пользователем ghost

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если везде стоят циски, попробуйте eigrp поднять вместо ospf. Хотя бы понятно будет - дело в vrf или в ospf.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

is-is внутри vrf не будет. Что там у вас на коробках с mls qos? выключено ли?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Если можно обойтись дефолтом в каждом из VRF-ов (т.е. если дефолт все равно смотрит на эту кошку) то убрать редистрибуцию между OSPF-ми и проанонсить с кошки дефолт в оба OSPF-а.

VRF всего один. В глобал его анонсы в количестве чуть меньше 500 (набирается по всем каталистам, которых, как я уже писал, дюжина. Если быть точным, то эта дюжина - чертова :)) анонсятся через 72ю, которая в свою очередь в сторону VRF'а анонсит только дефолт. То есть в VRF'е эта кошка - в конечном итоге дефолт гейт, в глобале - просто один из роутеров, не бордер.

 

2. если на циске задействовать 2 интерфейса:

на одном создать sub в влане N и поместить оный в VRF.

создать на втором интерфейсе sub в влане N,

повесить IP-ы, и "скормить" OSPF-ам. в теории они должны понять друг друга "как родные" а не через редистрибуцию.

Ну, тут не суть, imho. Через 72-ю как раз все нормально ходит, и в анонсах ничего не пропадает. Проблема на агрегирующих каталистах, причем только на двух из 13, причем на одних и тех же, причем на одних и тех же SVI. Чем именно они не угодили Св. Коннектию - ума не приложу...

 

3. Как-то краем уха слышал от цисковцев, что внутри VRF-а OSPF работает "не очень", дали совет перейти на IS-IS или BGP... (правда я на том разговоре был в качестве слушателя и мог что-то упустить)

Бррр...

 

Что там у вас на коробках с mls qos? выключено ли?
Включено. IPTV и голос, туды их в качель. А что, надо выключить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а посвежее софт поставить пробовали? типа 122(44)SE6

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а посвежее софт поставить пробовали? типа 122(44)SE6
Пока не пробовал. Просто ничего хотя бы отдаленно похожего на мои приключения в релиз-нотесах на софт новее моего не нашел...

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а сети из SVI прописаны в router ospf, или стоит redistribute connected?

 

и ещё: во время этого sh ip arp summary что говорит, ну это так на всякий случай :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а сети из SVI прописаны в router ospf, или стоит redistribute connected?
!

router ospf 10000 vrf FAST

router-id ip.ip.ip.ip

log-adjacency-changes

area 10000 authentication

redistribute connected subnets route-map VRF_FAST

redistribute static subnets route-map VRF_FAST

network ip.ip.ip.ip wc.wc.wc.wc area 10000

!

route-map VRF_FAST permit 10

match ip address 77

!

 

ACL 77 - это список агрегатов, в составе которых нарезаны подсети, применяемые на SVI в VRF.

 

network ip.ip.ip.ip wc.wc.wc.wc area 10000 - это сеть, порезанная на подсети взаимодействия /30 между каталистами внутри VRF.

 

 

и ещё: во время этого sh ip arp summary что говорит, ну это так на всякий случай :)
Намек понял.

Посмотрю в следующий раз, как проявится.

Правда, момент начала уловить тяжело, особенно во втором случае.

Изменено пользователем Serhio Go

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

router ospf 10000 vrf FAST

capability vrf-lite

интересно, у меня оспф в врфе живёт на 3560 и без этой капабилити, правда там 4 интерфейса и где то 250 префиксов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

router ospf 10000 vrf FAST

capability vrf-lite

интересно, у меня оспф в врфе живёт на 3560 и без этой капабилити, правда там 4 интерфейса и где то 250 префиксов.

Как я понял, это просто директива не искать PE внутри врфа.

Пойдет в копилку бубнов :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Помогло?
А кто ж его знает-то. Неделю ждать теперь...

 

2tgz. А что там с mls qos не так?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2tgz. А что там с mls qos не так?

Бывает глючит, попрефиксно. Лечится через clear что-то-там-про-mls-qos-cache. Ну или no mls qos.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.