Jump to content
Калькуляторы

Nexus 3064 - возник из ничего нереально большой трафик на SVI

Доброго всем дня.

 

Есть nexus 3064, на нем помимо всего прочего 4 svi интерфейса.

Вчера в одно и тоже время на всех svi возник из ничего нереально большой исходящий трафик  - например, обычный трафик на 2 svi - порядка 1,2 гиг на каждом. Сейчас исходящий судя по графику - 560Гиг на каждом.

На 3-м svi обычный трафик 100Кбит/с - влан управления - сейчас на нем исходящий 300Гиг. Доступ только через mgmt порт, через IP адрес на svi управления - скидывается. 

Реально, нет событий, к которым можно было бы привязать взрыв трафика. Пытались зеркалировать - ничего не видать, вроде т.к. в зеркало на source vlan идет только rx, а взрывной трафик по tx. А сделать source int vlanXXX не дает. Версия 6.ХХХ

Из странного еще хороший прирост процесса bcm_usd. На физических интерфейсах - ничего примечательного, все как до взрыва трафика. Пытались делать shutdown на int влана управления - мин 10 держали, потом подняли - ничего не изменилось.

 

В общем может кто подскажет, как можно хоть что-то отдебажить до перезагрузки, которую запланировали на 6 утра ? Может есть возможность убить процесс с HUP ? Сам не нашел, как именно - ибо ремесленники мы.

Добавил график.

traffic_explosion.png

Edited by Azamat

Share this post


Link to post
Share on other sites

А что-нибудь работает "не так"?

Share this post


Link to post
Share on other sites

тв "сыплет" :( это из заметного. Через стандартный IP во влане управления недоступен. Медленно работает консоль, т.к. проц загружен вместо обычных 30-40 проц на 85

nex-cpu.png

Edited by Azamat

Share this post


Link to post
Share on other sites

После ребута полет нормальный. Продолжаем наблюдение.

Share this post


Link to post
Share on other sites

А это публичный интерфейс или приватный?

Может быть какую-нибудь амплификацию с интернета словили?

Share this post


Link to post
Share on other sites

нет, все внутри, ничего наружу не выходило ни через один физ. интерфейс.

 

На всех svi только исходящий (у нас синий по графику), зеленого в плюсе не было нигде. Как будто под себя ср..ть начал, заболел чем то зараза. Вот и хотели понять, как диагноз поставить.

Share this post


Link to post
Share on other sites
23 часа назад, Azamat сказал:

Версия 6.ХХХ

 

 

Нексус с 6й прошивкой это не свитч. Это жесть.

Чего там только не было, если qsfp модули стоят не вздумать трогать, в ребут сорвется, видео есть даже.

Порт ченнелы глючат, в соседней теме есть.

PIM лагает.

Обновляться на 9ю. На 9й багов, с которыми невозможно работать пока не нашел за пол года.

 

Share this post


Link to post
Share on other sites

Не соглашусь. В сети 66 штук 3064, с pim все в порядке, qsfp на Х версии работают как часы. Портченнелы примерно на 30 шт. есть

Все на одной и той же версии 6.ххх

 

Заболел первый коммутатор, примерно за 3 года. Стало жалко зверушку, но до причин не докопались. 7 бед - один ресет.

Share this post


Link to post
Share on other sites

судя по bcm_usd, проблема была где-то в недрах асика..

Share this post


Link to post
Share on other sites
1 час назад, Azamat сказал:

Не соглашусь. В сети 66 штук 3064, с pim все в порядке, qsfp на Х версии работают как часы. Портченнелы примерно на 30 шт. есть

Все на одной и той же версии 6.ххх

 

Заболел первый коммутатор, примерно за 3 года. Стало жалко зверушку, но до причин не докопались. 7 бед - один ресет.

Проблем действительно нет или с микроскопом не смотрел?

Линк рвался между девайсами, порты падают синхронно?

 

Вот я всё перетряс не нашел решения, в соседней ветке.

Так вот работает 6я прошивка и так порты падают с задержкой.

9я прошивка раз в 10 всё ускорила но недостаточно всё равно для качественной связи.

2019 Jun  5 11:20:46 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/43 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:20:59 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/44 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:12 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/46 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:25 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/47 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:38 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/48 (description:vb-s0) is down (Link failure)

 

Ну и да. У меня крупные линки собраны. Один агрегат может содержать с десяток и более портов.

Если в порт ченнеле 2 порта то действительно может и не заметит никто того что происходит.

 

Видео с qsfp) После этого страшно прикасаться к портам.

Дергать можно не так часто и один фиг у него крышу срывает.

9я прошивка подлечила.

 

https://www.youtube.com/watch?v=kH3OoibMnfY&feature=youtu.be

 

Edited by Sergey R.

Share this post


Link to post
Share on other sites

да, у нас в основном 2-4 х 10гиг в портченнел. Нужно не для расширения полосы, а для надежности стыка. 

Share this post


Link to post
Share on other sites
19 минут назад, Azamat сказал:

да, у нас в основном 2-4 х 10гиг в портченнел. Нужно не для расширения полосы, а для надежности стыка. 

Вот!  Очень рекомендую 4 линка завалить сразу. И посмотреть как он кашлять будет. Сек 30-40 минимум выходит.

Хоть это более менее полечили в новой 9й прошивке. Там будет кашлять секунд 6-8.

 

Во общем это единственное ограничение серьёзное из-за которого пришлось отказаться от нексусов в принципе на магистральных участках.

Девайс тупо не умеет порты выключать сразу. Обрабатывает каждый упавший порт по очереди  а на это уходит дофига времени. Пока он это делает связь на "еще не выключенных" по мнению железки портах не работает.

 

Ещё фокус - можно попробовать qsfp выключить с одной стороны. Сразу. И посмотреть в логах как и та и другая сторона последовательно будут порты класть)

Но по завершение процесса уже будет море тикетов от недовольных связью.

 

Share this post


Link to post
Share on other sites

 там может быть debounce timer понастраивать надо ? вроде как он отвечает за реакцию на упавшее.

По qsfp падений не было больше чем полугодия, а те что были - исключительно ночью. Поэтому реально ни на что не сказывалось. Видимо, если от них не требовать невозможного - то вполне себе зверушка.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now