Serhio Go Опубликовано 21 мая, 2009 · Жалоба Всем доброе время суток, коллеги. Помогите набрести на светлую мысль на пути дебага одной проблемы плз. Есть некий mesh из дюжины каталистов 3560G/3750G и одного 4900М. Hа всех поднят L3, OSPF. Для определенной категории пользователей внутре каталистов создан VRF, протокол роутинга в нем - также OSPF. Основная таблица роутинга и VRF-таблица сливаются на C7206 путем взаимной редистрибуции соответствующих OSPF-процессов. Сделано это для того, чтобы принудительно протащить внешний трафик этой самой определенной категории пользователей через 72-ю кошку, на ней учет. Все как бы работает. За исключением двух похожих, но все-таки разных глюков, периодически возникающих на двух одних и тех же коммутаторах. 1. 3560G. Cisco IOS Software, C3560 Software (C3560-ADVIPSERVICESK9-M), Version 12.2(40)SE, RELEASE SOFTWARE (fc3). Hа 12.2(37)SE было то же самое. В VRF'е 27 SVI. Периодически часть из них (примерно половина), по настройкам ничем кроме IP-адресов не отличающаяся от своих более счастливых соседей, теряет выход за пределы VRF. Внутри VRF все прекрасно работает, доступны хосты за другими роутерами, но пакеты, отправляемые клиентом за пределы VRF, умирают HА ПЕРВОМ ЖЕ ХОПЕ. То есть клиент не получает даже ответа от своего шлюза по умолчанию, с первого же хопа идут звезды. Если пинговать снаружи, сниффер показывает, что пакет доходит до клиента, тот отвечает на него, но ответ не доходит - судя по трейсу, дропается первым же хопом. В таблицах роутинга VRF по пути следования все как живое. С самогО каталиста все работает. Лечится командой clear ip ospf xxx process на этом каталисте. Какое-то время (несколько дней, может, неделю) работает, потом повторяется снова. 2. 3750G. Cisco IOS Software, C3750 Software (C3750-IPSERVICESK9-M), Version 12.2(37)SE, RELEASE SOFTWARE (fc2) В VRF'е 43 SVI. Периодически часть из них, по настройкам ничем кроме IP-адресов не отличающаяся от своих более счастливых соседей, теряет доступ к одной из подсетей внутри того же VRF, терминированной на другом свитче, 4900M. Возможно, и к каким-то другим тоже, пока жалобы были только на одну конкретную, поскольку там живет востребованный ресурс. От соседних подсетей, терминированных на том же 49-м каталисте, она отличается только размером (/25) и наличием некоторого количества secondary (6шт). За пределы VRF, в отличие от глюка №1, клиент ходит без проблем. Пакеты, отправляемые клиентом в эту подсеть, опять же, умирают HА ПЕРВОМ ЖЕ ХОПЕ, аналогично глюку №1. То есть клиент не получает даже ответа от своего шлюза по умолчанию, с первого же хопа идут звезды. Если пинговать клиента из целевой подсети/25 , сниффер показывает, что пакет доходит до клиента, тот отвечает на него, но ответ не доходит - судя по трейсу, дропается первым же хопом. В таблицах роутинга VRF по пути следования опять же все как живое. С самогО каталиста доступ в злополучную подсеть /25 работает. Опять же лечится командой clear ip ospf xxx process на этом каталисте. Какое-то время (несколько дней, может, неделю) работает, потом повторяется снова. Глюки эти происходят не одновременно. Hи с чем конкретным ассоциировать не могу. Размер таблицы VRF - порядка 480 префиксов. С TCAM'ом на обоих свитчах (да и на других тоже) вроде порядок. Подскажите плз, куда копать / что дебажить ? Отказаться от VRF на каталистах пока не предлагать. Можно попробовать от него уйти, вытащив нужных абонентов напрямую на 72-ю в q-in-q, но я к этому пока не готов, ни морально, ни организационно-технически... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ghost Опубликовано 21 мая, 2009 · Жалоба А "нормальное" "перетекание" (кажется route leaking называется) не пробовали применить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Serhio Go Опубликовано 21 мая, 2009 (изменено) · Жалоба А "нормальное" "перетекание" (кажется route leaking называется) не пробовали применить?Если я правильно понял смысл фичи, то она мне не подходит. Мне нужно организовать единственную точку обмена Global <--> VRF , а не кучу локальных. А иначе вообще не имело смысла городить VRF, все и так в глобале прекрасно работало...Предыстория вопроса - ТУТ, пост 43. Изменено 21 мая, 2009 пользователем Serhio Go Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ghost Опубликовано 21 мая, 2009 (изменено) · Жалоба 1. Если можно обойтись дефолтом в каждом из VRF-ов (т.е. если дефолт все равно смотрит на эту кошку) то убрать редистрибуцию между OSPF-ми и проанонсить с кошки дефолт в оба OSPF-а. 2. если на циске задействовать 2 интерфейса: на одном создать sub в влане N и поместить оный в VRF. создать на втором интерфейсе sub в влане N, повесить IP-ы, и "скормить" OSPF-ам. в теории они должны понять друг друга "как родные" а не через редистрибуцию. 3. Как-то краем уха слышал от цисковцев, что внутри VRF-а OSPF работает "не очень", дали совет перейти на IS-IS или BGP... (правда я на том разговоре был в качестве слушателя и мог что-то упустить) Изменено 21 мая, 2009 пользователем ghost Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mschedrin Опубликовано 21 мая, 2009 · Жалоба Если везде стоят циски, попробуйте eigrp поднять вместо ospf. Хотя бы понятно будет - дело в vrf или в ospf. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tgz Опубликовано 21 мая, 2009 · Жалоба is-is внутри vrf не будет. Что там у вас на коробках с mls qos? выключено ли? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Serhio Go Опубликовано 21 мая, 2009 · Жалоба 1. Если можно обойтись дефолтом в каждом из VRF-ов (т.е. если дефолт все равно смотрит на эту кошку) то убрать редистрибуцию между OSPF-ми и проанонсить с кошки дефолт в оба OSPF-а. VRF всего один. В глобал его анонсы в количестве чуть меньше 500 (набирается по всем каталистам, которых, как я уже писал, дюжина. Если быть точным, то эта дюжина - чертова :)) анонсятся через 72ю, которая в свою очередь в сторону VRF'а анонсит только дефолт. То есть в VRF'е эта кошка - в конечном итоге дефолт гейт, в глобале - просто один из роутеров, не бордер. 2. если на циске задействовать 2 интерфейса:на одном создать sub в влане N и поместить оный в VRF. создать на втором интерфейсе sub в влане N, повесить IP-ы, и "скормить" OSPF-ам. в теории они должны понять друг друга "как родные" а не через редистрибуцию. Ну, тут не суть, imho. Через 72-ю как раз все нормально ходит, и в анонсах ничего не пропадает. Проблема на агрегирующих каталистах, причем только на двух из 13, причем на одних и тех же, причем на одних и тех же SVI. Чем именно они не угодили Св. Коннектию - ума не приложу... 3. Как-то краем уха слышал от цисковцев, что внутри VRF-а OSPF работает "не очень", дали совет перейти на IS-IS или BGP... (правда я на том разговоре был в качестве слушателя и мог что-то упустить) Бррр... Что там у вас на коробках с mls qos? выключено ли?Включено. IPTV и голос, туды их в качель. А что, надо выключить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 21 мая, 2009 · Жалоба а посвежее софт поставить пробовали? типа 122(44)SE6 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Serhio Go Опубликовано 21 мая, 2009 · Жалоба а посвежее софт поставить пробовали? типа 122(44)SE6Пока не пробовал. Просто ничего хотя бы отдаленно похожего на мои приключения в релиз-нотесах на софт новее моего не нашел... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 21 мая, 2009 · Жалоба а сети из SVI прописаны в router ospf, или стоит redistribute connected? и ещё: во время этого sh ip arp summary что говорит, ну это так на всякий случай :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Serhio Go Опубликовано 21 мая, 2009 (изменено) · Жалоба а сети из SVI прописаны в router ospf, или стоит redistribute connected?!router ospf 10000 vrf FAST router-id ip.ip.ip.ip log-adjacency-changes area 10000 authentication redistribute connected subnets route-map VRF_FAST redistribute static subnets route-map VRF_FAST network ip.ip.ip.ip wc.wc.wc.wc area 10000 ! route-map VRF_FAST permit 10 match ip address 77 ! ACL 77 - это список агрегатов, в составе которых нарезаны подсети, применяемые на SVI в VRF. network ip.ip.ip.ip wc.wc.wc.wc area 10000 - это сеть, порезанная на подсети взаимодействия /30 между каталистами внутри VRF. и ещё: во время этого sh ip arp summary что говорит, ну это так на всякий случай :)Намек понял.Посмотрю в следующий раз, как проявится. Правда, момент начала уловить тяжело, особенно во втором случае. Изменено 21 мая, 2009 пользователем Serhio Go Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
cmhungry Опубликовано 21 мая, 2009 · Жалоба router ospf 10000 vrf FAST capability vrf-lite Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 21 мая, 2009 · Жалоба router ospf 10000 vrf FASTcapability vrf-lite интересно, у меня оспф в врфе живёт на 3560 и без этой капабилити, правда там 4 интерфейса и где то 250 префиксов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Serhio Go Опубликовано 21 мая, 2009 · Жалоба router ospf 10000 vrf FASTcapability vrf-lite интересно, у меня оспф в врфе живёт на 3560 и без этой капабилити, правда там 4 интерфейса и где то 250 префиксов. Как я понял, это просто директива не искать PE внутри врфа.Пойдет в копилку бубнов :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mschedrin Опубликовано 22 мая, 2009 · Жалоба Помогло? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Serhio Go Опубликовано 22 мая, 2009 · Жалоба Помогло?А кто ж его знает-то. Неделю ждать теперь... 2tgz. А что там с mls qos не так? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tgz Опубликовано 22 мая, 2009 · Жалоба 2tgz. А что там с mls qos не так? Бывает глючит, попрефиксно. Лечится через clear что-то-там-про-mls-qos-cache. Ну или no mls qos. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...