Wingman Опубликовано 30 сентября, 2013 · Жалоба Нужна помощь коллективного разума, мои познания в кошачьих слишком малы ;( Ситуация: есть шеститонник на аггрегации сегментов сети, служит шлюзом для ~600-700 сегментов /24, ospf, pim Изначальная проблема: с некоторых пор практически во всех маршрутизируемых ею вланах пинги стали странными: раз в 20-30 ответов 1-2 мс проскакивал ответ от 500 до 2000 мс. Пошли жалобы. В процессе экспериментов вспомнили, что по умолчанию включен proxy arp, выключили его. При этом такие странные "подскоки" пингов почти пропали, но резко вырос arp input и задралась нагрузка на cpu. Тыркая постоянно `sh proc cpu sor` - видно, что на короткие мгновения раз в минуту-другую ARP Input подскакивает до 60-70%; в периоды между этими пиками ARP Input всего 15-25% На графике бродкаст-запросов на её линках никаких корелляций с этими всплесками не видно ;( Первая мысль, конечно, о петле - но сколько ни искали, ничего похожего не нашли; debug spanning-tree тоже молчит, а в debug arp на таком трафике хрен чего поймёшь =) Собственно, реквестую советов =) Чем могут быть вызваны "подскоки" arp input с определённой частотой на короткие мгновения? Как и что отдебажить? Просто debug arp выдаст дикий поток информаци, в котором нереально что-то выделить. Как хотя бы понять, с какого порта этот шлак валится? Причём один из портов - 10g, за которым дохрена юзеров -- и, скажем, просто отключение его для теста ничего не даст: снижение нагрузки от арпов будет вполне естественным Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Дятел Опубликовано 30 сентября, 2013 · Жалоба Версия софта какая? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 30 сентября, 2013 · Жалоба Точно, пардон, забыл :) 12.2(33)SXI6 WS-SUP720-3B Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NikAlexAn Опубликовано 1 октября, 2013 · Жалоба Попробуйте запретить arp proxy на интерфейсах. и ещё - no ip gratuitous-arps. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ash Опубликовано 1 октября, 2013 · Жалоба посмотри в сторону show mls rate-limit если мне память не изменяет, можно было ограничить arp/unicast трафик на control-plan Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NikAlexAn Опубликовано 1 октября, 2013 (изменено) · Жалоба mls qos protocol arp Но лучше всё же отключить proxy arp , особенно там где оно не нужно. Изменено 1 октября, 2013 пользователем NikAlexAn Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MrNv Опубликовано 1 октября, 2013 · Жалоба дерево stp часто меняется? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 1 октября, 2013 · Жалоба Попробуйте запретить arp proxy на интерфейсах. и ещё - no ip gratuitous-arps. Попробую, только нагенерю конфиг для сотен вланов... посмотри в сторону show mls rate-limit если мне память не изменяет, можно было ограничить arp/unicast трафик на control-plan Тогда уж copp, но толку-то, это ведь не решит проблему; процессор м.б. будет меньше грузиться, но будет дропаться валидный трафик дерево stp часто меняется? Тоже об этом думал, но `debug spanning-tree all` молчит как рыба Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MrNv Опубликовано 1 октября, 2013 · Жалоба смотрите так sh spa de | i last change Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 1 октября, 2013 · Жалоба У меня почти Ваша ситуация, только хостов побольше. На всех SVI пишу : no ip redirects no ip unreachables Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 1 октября, 2013 (изменено) · Жалоба Черт, да оно скачет постоянно, оказывается ;( Number of topology changes 289719 last change occurred 00:00:18 ago Number of topology changes 333318 last change occurred 00:00:24 ago Number of topology changes 291729 last change occurred 00:00:24 ago Number of topology changes 278056 last change occurred 00:00:14 ago Number of topology changes 95989 last change occurred 00:00:14 ago Number of topology changes 112711 last change occurred 00:00:14 ago Number of topology changes 19 last change occurred 1w4d ago Это несколько инстансов mst: spanning-tree mst configuration instance 1 vlan 1-500 instance 2 vlan 501-1000 instance 3 vlan 1001-1500 instance 4 vlan 1501-2000 instance 5 vlan 2001-2500 instance 6 vlan 2501-3000 instance 7 vlan 3501-4000 instance 8 vlan 4001-4094 Попробовать поотключать нахрен? У меня почти Ваша ситуация, только хостов побольше. На всех SVI пишу : no ip redirects no ip unreachables redirects прописано, unreachables попробую Изменено 1 октября, 2013 пользователем Wingman Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MrNv Опубликовано 1 октября, 2013 · Жалоба найдите кто генерит TCN, в зависимости что за интерфес настройте как надо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 1 октября, 2013 · Жалоба IMHO STP не должен влиять на "ARP Input". Это отдельный процесс. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
srg555 Опубликовано 1 октября, 2013 · Жалоба IMHO STP не должен влиять на "ARP Input". Это отдельный процесс. Да ладно-ка? Если stp перестраивается, то сбрасывается arp, как следствие возрастает загрузка на arp input Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 1 октября, 2013 · Жалоба найдите кто генерит TCN, в зависимости что за интерфес настройте как надо. Как бы ещё это найти, если debug stp почему-то молчит, как партизан :) Сейчас доеду до офиса - буду думать У меня почти Ваша ситуация, только хостов побольше. А как у Вас stp настроено на портах в сторону юзеров? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
darkagent Опубликовано 1 октября, 2013 · Жалоба на портах в сторону юзеров? на портах в сторону юзеров (т.е. на портах доступа) stp быть вобще не должно, иначе маломальски флудящяя роутерная-мыльница вам сложит всю сеть к чертям собачьим. port-based loopdetect + bpdufilter на портах доступа, stp только на магистральных портах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 1 октября, 2013 · Жалоба на портах в сторону юзеров? на портах в сторону юзеров (т.е. на портах доступа) stp быть вобще не должно, иначе маломальски флудящяя роутерная-мыльница вам сложит всю сеть к чертям собачьим. port-based loopdetect + bpdufilter на портах доступа, stp только на магистральных портах. Так я бы с удовольствием, но ведь у шеститонников lbd исключительно на базе stp, или я заблуждаюсь? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
darkagent Опубликовано 1 октября, 2013 · Жалоба У вас шеститонники используются как коммутаторы доступа? речь как раз про то что всю проказу надо рубить на порту абонента. Ежели вы действительно даете порт доступа на шеститоннике, то при switchport host / switchport mode access, keepalive делает свое дело без всяких spanning-tree. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MrNv Опубликовано 1 октября, 2013 · Жалоба Как бы ещё это найти, если debug stp почему-то молчит, как партизан :) Сейчас доеду до офиса - буду думать откуда прилетел TCN смотрите там же sh spa de | i from Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 1 октября, 2013 · Жалоба откуда прилетел TCN смотрите там же sh spa de | i from Спасибо! У вас шеститонники используются как коммутаторы доступа? речь как раз про то что всю проказу надо рубить на порту абонента. Ежели вы действительно даете порт доступа на шеститоннике, то при switchport host / switchport mode access, keepalive делает свое дело без всяких spanning-tree. Нет конечно, аггрегация. Но "раз в год и палка стреляет" - вдруг какой-нибуть криворукий монтажник запетляет магистраль? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
darkagent Опубликовано 1 октября, 2013 · Жалоба вдруг какой-нибуть криворукий монтажник запетляет магистраль? если петляется магистраль, и по всей магистрали работает spanning-tree, то такой вот ерундистики возникать не должно. разве что, если какой-нибудь криворук воткнет portfast/portfast trunk там где не надо, или где-нибудь будет односторонний обмен в кольце. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 1 октября, 2013 · Жалоба Не работает оно у нас по всей магистрали (к счастью ли, к сожалению ли), и городить не очень хочется... Колец нет, везде звезда Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NikAlexAn Опубликовано 1 октября, 2013 (изменено) · Жалоба Попробую, только нагенерю конфиг для сотен вланов... int range Вам в помощь :) Тогда уж copp, но толку-то, это ведь не решит проблему; процессор м.б. будет меньше грузиться, но будет дропаться валидный трафик Ну хотя бы коммутатор откликаться нормально будет. Тоже об этом думал, но `debug spanning-tree all` молчит как рыба sh span det и смотреть на изменение счётчиков topology change. А на каких интерфейсах и для чего включен proxy arp? Если влан на абонента и ip unnumbered на SVI то лучше ставить local-proxy-arp на SVI - проц практически не грузит. PS: ещё и no snmp trap link-status Изменено 1 октября, 2013 пользователем NikAlexAn Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 1 октября, 2013 (изменено) · Жалоба int range Вам в помощь :) :) Там зачастую не подряд идут; проще сначала распарсить вланы из `sh ip int brief`, потом скриптом по ним пройтись Ну хотя бы коммутатор откликаться нормально будет. Он и сейчас нормально откликается, проблема с прыжками latency у абонентов А на каких интерфейсах и для чего включен proxy arp? Да он тупо по умолчанию включен. Сейчас выключил и глобально, и на интерфейсах. В общем, поотрубал везде stp - на первый взгляд проблема ушла, будем смотреть и молиться, чтобы всякие длинки отлавливали петли до коллапса кошки :) p.s. Кстати, занятно: при отключении проксиарп нагрузка немного снижается, но счетчики бродкаста на портах вырастают в 2-3 раза Изменено 1 октября, 2013 пользователем Wingman Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NikAlexAn Опубликовано 1 октября, 2013 · Жалоба У нас кольца и такая статистика: sh span det | incl last change Number of topology changes 36580 last change occurred 03:55:24 ago Number of topology changes 39 last change occurred 1w5d ago Number of topology changes 6 last change occurred 3w3d ago Number of topology changes 27 last change occurred 1d04h ago Number of topology changes 7 last change occurred 4d05h ago Number of topology changes 9 last change occurred 2w4d ago Number of topology changes 318 last change occurred 21:29:33 ago Number of topology changes 19 last change occurred 1w6d ago Number of topology changes 14 last change occurred 17:51:13 ago Number of topology changes 5 last change occurred 2w4d ago Number of topology changes 190 last change occurred 03:55:25 ago Number of topology changes 11 last change occurred 2w5d ago Надо Вам смотреть что TCN генерит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
