Wingman Posted September 30, 2013 Posted September 30, 2013 Нужна помощь коллективного разума, мои познания в кошачьих слишком малы ;( Ситуация: есть шеститонник на аггрегации сегментов сети, служит шлюзом для ~600-700 сегментов /24, ospf, pim Изначальная проблема: с некоторых пор практически во всех маршрутизируемых ею вланах пинги стали странными: раз в 20-30 ответов 1-2 мс проскакивал ответ от 500 до 2000 мс. Пошли жалобы. В процессе экспериментов вспомнили, что по умолчанию включен proxy arp, выключили его. При этом такие странные "подскоки" пингов почти пропали, но резко вырос arp input и задралась нагрузка на cpu. Тыркая постоянно `sh proc cpu sor` - видно, что на короткие мгновения раз в минуту-другую ARP Input подскакивает до 60-70%; в периоды между этими пиками ARP Input всего 15-25% На графике бродкаст-запросов на её линках никаких корелляций с этими всплесками не видно ;( Первая мысль, конечно, о петле - но сколько ни искали, ничего похожего не нашли; debug spanning-tree тоже молчит, а в debug arp на таком трафике хрен чего поймёшь =) Собственно, реквестую советов =) Чем могут быть вызваны "подскоки" arp input с определённой частотой на короткие мгновения? Как и что отдебажить? Просто debug arp выдаст дикий поток информаци, в котором нереально что-то выделить. Как хотя бы понять, с какого порта этот шлак валится? Причём один из портов - 10g, за которым дохрена юзеров -- и, скажем, просто отключение его для теста ничего не даст: снижение нагрузки от арпов будет вполне естественным Вставить ник Quote
Wingman Posted September 30, 2013 Author Posted September 30, 2013 Точно, пардон, забыл :) 12.2(33)SXI6 WS-SUP720-3B Вставить ник Quote
NikAlexAn Posted October 1, 2013 Posted October 1, 2013 Попробуйте запретить arp proxy на интерфейсах. и ещё - no ip gratuitous-arps. Вставить ник Quote
ash Posted October 1, 2013 Posted October 1, 2013 посмотри в сторону show mls rate-limit если мне память не изменяет, можно было ограничить arp/unicast трафик на control-plan Вставить ник Quote
NikAlexAn Posted October 1, 2013 Posted October 1, 2013 (edited) mls qos protocol arp Но лучше всё же отключить proxy arp , особенно там где оно не нужно. Edited October 1, 2013 by NikAlexAn Вставить ник Quote
Wingman Posted October 1, 2013 Author Posted October 1, 2013 Попробуйте запретить arp proxy на интерфейсах. и ещё - no ip gratuitous-arps. Попробую, только нагенерю конфиг для сотен вланов... посмотри в сторону show mls rate-limit если мне память не изменяет, можно было ограничить arp/unicast трафик на control-plan Тогда уж copp, но толку-то, это ведь не решит проблему; процессор м.б. будет меньше грузиться, но будет дропаться валидный трафик дерево stp часто меняется? Тоже об этом думал, но `debug spanning-tree all` молчит как рыба Вставить ник Quote
MrNv Posted October 1, 2013 Posted October 1, 2013 смотрите так sh spa de | i last change Вставить ник Quote
Ivan Rostovikov Posted October 1, 2013 Posted October 1, 2013 У меня почти Ваша ситуация, только хостов побольше. На всех SVI пишу : no ip redirects no ip unreachables Вставить ник Quote
Wingman Posted October 1, 2013 Author Posted October 1, 2013 (edited) Черт, да оно скачет постоянно, оказывается ;( Number of topology changes 289719 last change occurred 00:00:18 ago Number of topology changes 333318 last change occurred 00:00:24 ago Number of topology changes 291729 last change occurred 00:00:24 ago Number of topology changes 278056 last change occurred 00:00:14 ago Number of topology changes 95989 last change occurred 00:00:14 ago Number of topology changes 112711 last change occurred 00:00:14 ago Number of topology changes 19 last change occurred 1w4d ago Это несколько инстансов mst: spanning-tree mst configuration instance 1 vlan 1-500 instance 2 vlan 501-1000 instance 3 vlan 1001-1500 instance 4 vlan 1501-2000 instance 5 vlan 2001-2500 instance 6 vlan 2501-3000 instance 7 vlan 3501-4000 instance 8 vlan 4001-4094 Попробовать поотключать нахрен? У меня почти Ваша ситуация, только хостов побольше. На всех SVI пишу : no ip redirects no ip unreachables redirects прописано, unreachables попробую Edited October 1, 2013 by Wingman Вставить ник Quote
MrNv Posted October 1, 2013 Posted October 1, 2013 найдите кто генерит TCN, в зависимости что за интерфес настройте как надо. Вставить ник Quote
Ivan Rostovikov Posted October 1, 2013 Posted October 1, 2013 IMHO STP не должен влиять на "ARP Input". Это отдельный процесс. Вставить ник Quote
srg555 Posted October 1, 2013 Posted October 1, 2013 IMHO STP не должен влиять на "ARP Input". Это отдельный процесс. Да ладно-ка? Если stp перестраивается, то сбрасывается arp, как следствие возрастает загрузка на arp input Вставить ник Quote
Wingman Posted October 1, 2013 Author Posted October 1, 2013 найдите кто генерит TCN, в зависимости что за интерфес настройте как надо. Как бы ещё это найти, если debug stp почему-то молчит, как партизан :) Сейчас доеду до офиса - буду думать У меня почти Ваша ситуация, только хостов побольше. А как у Вас stp настроено на портах в сторону юзеров? Вставить ник Quote
darkagent Posted October 1, 2013 Posted October 1, 2013 на портах в сторону юзеров? на портах в сторону юзеров (т.е. на портах доступа) stp быть вобще не должно, иначе маломальски флудящяя роутерная-мыльница вам сложит всю сеть к чертям собачьим. port-based loopdetect + bpdufilter на портах доступа, stp только на магистральных портах. Вставить ник Quote
Wingman Posted October 1, 2013 Author Posted October 1, 2013 на портах в сторону юзеров? на портах в сторону юзеров (т.е. на портах доступа) stp быть вобще не должно, иначе маломальски флудящяя роутерная-мыльница вам сложит всю сеть к чертям собачьим. port-based loopdetect + bpdufilter на портах доступа, stp только на магистральных портах. Так я бы с удовольствием, но ведь у шеститонников lbd исключительно на базе stp, или я заблуждаюсь? Вставить ник Quote
darkagent Posted October 1, 2013 Posted October 1, 2013 У вас шеститонники используются как коммутаторы доступа? речь как раз про то что всю проказу надо рубить на порту абонента. Ежели вы действительно даете порт доступа на шеститоннике, то при switchport host / switchport mode access, keepalive делает свое дело без всяких spanning-tree. Вставить ник Quote
MrNv Posted October 1, 2013 Posted October 1, 2013 Как бы ещё это найти, если debug stp почему-то молчит, как партизан :) Сейчас доеду до офиса - буду думать откуда прилетел TCN смотрите там же sh spa de | i from Вставить ник Quote
Wingman Posted October 1, 2013 Author Posted October 1, 2013 откуда прилетел TCN смотрите там же sh spa de | i from Спасибо! У вас шеститонники используются как коммутаторы доступа? речь как раз про то что всю проказу надо рубить на порту абонента. Ежели вы действительно даете порт доступа на шеститоннике, то при switchport host / switchport mode access, keepalive делает свое дело без всяких spanning-tree. Нет конечно, аггрегация. Но "раз в год и палка стреляет" - вдруг какой-нибуть криворукий монтажник запетляет магистраль? Вставить ник Quote
darkagent Posted October 1, 2013 Posted October 1, 2013 вдруг какой-нибуть криворукий монтажник запетляет магистраль? если петляется магистраль, и по всей магистрали работает spanning-tree, то такой вот ерундистики возникать не должно. разве что, если какой-нибудь криворук воткнет portfast/portfast trunk там где не надо, или где-нибудь будет односторонний обмен в кольце. Вставить ник Quote
Wingman Posted October 1, 2013 Author Posted October 1, 2013 Не работает оно у нас по всей магистрали (к счастью ли, к сожалению ли), и городить не очень хочется... Колец нет, везде звезда Вставить ник Quote
NikAlexAn Posted October 1, 2013 Posted October 1, 2013 (edited) Попробую, только нагенерю конфиг для сотен вланов... int range Вам в помощь :) Тогда уж copp, но толку-то, это ведь не решит проблему; процессор м.б. будет меньше грузиться, но будет дропаться валидный трафик Ну хотя бы коммутатор откликаться нормально будет. Тоже об этом думал, но `debug spanning-tree all` молчит как рыба sh span det и смотреть на изменение счётчиков topology change. А на каких интерфейсах и для чего включен proxy arp? Если влан на абонента и ip unnumbered на SVI то лучше ставить local-proxy-arp на SVI - проц практически не грузит. PS: ещё и no snmp trap link-status Edited October 1, 2013 by NikAlexAn Вставить ник Quote
Wingman Posted October 1, 2013 Author Posted October 1, 2013 (edited) int range Вам в помощь :) :) Там зачастую не подряд идут; проще сначала распарсить вланы из `sh ip int brief`, потом скриптом по ним пройтись Ну хотя бы коммутатор откликаться нормально будет. Он и сейчас нормально откликается, проблема с прыжками latency у абонентов А на каких интерфейсах и для чего включен proxy arp? Да он тупо по умолчанию включен. Сейчас выключил и глобально, и на интерфейсах. В общем, поотрубал везде stp - на первый взгляд проблема ушла, будем смотреть и молиться, чтобы всякие длинки отлавливали петли до коллапса кошки :) p.s. Кстати, занятно: при отключении проксиарп нагрузка немного снижается, но счетчики бродкаста на портах вырастают в 2-3 раза Edited October 1, 2013 by Wingman Вставить ник Quote
NikAlexAn Posted October 1, 2013 Posted October 1, 2013 У нас кольца и такая статистика: sh span det | incl last change Number of topology changes 36580 last change occurred 03:55:24 ago Number of topology changes 39 last change occurred 1w5d ago Number of topology changes 6 last change occurred 3w3d ago Number of topology changes 27 last change occurred 1d04h ago Number of topology changes 7 last change occurred 4d05h ago Number of topology changes 9 last change occurred 2w4d ago Number of topology changes 318 last change occurred 21:29:33 ago Number of topology changes 19 last change occurred 1w6d ago Number of topology changes 14 last change occurred 17:51:13 ago Number of topology changes 5 last change occurred 2w4d ago Number of topology changes 190 last change occurred 03:55:25 ago Number of topology changes 11 last change occurred 2w5d ago Надо Вам смотреть что TCN генерит. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.