[Azamat]

Доброго всем дня.

 

Есть nexus 3064, на нем помимо всего прочего 4 svi интерфейса.

Вчера в одно и тоже время на всех svi возник из ничего нереально большой исходящий трафик  - например, обычный трафик на 2 svi - порядка 1,2 гиг на каждом. Сейчас исходящий судя по графику - 560Гиг на каждом.

На 3-м svi обычный трафик 100Кбит/с - влан управления - сейчас на нем исходящий 300Гиг. Доступ только через mgmt порт, через IP адрес на svi управления - скидывается. 

Реально, нет событий, к которым можно было бы привязать взрыв трафика. Пытались зеркалировать - ничего не видать, вроде т.к. в зеркало на source vlan идет только rx, а взрывной трафик по tx. А сделать source int vlanXXX не дает. Версия 6.ХХХ

Из странного еще хороший прирост процесса bcm_usd. На физических интерфейсах - ничего примечательного, все как до взрыва трафика. Пытались делать shutdown на int влана управления - мин 10 держали, потом подняли - ничего не изменилось.

 

В общем может кто подскажет, как можно хоть что-то отдебажить до перезагрузки, которую запланировали на 6 утра ? Может есть возможность убить процесс с HUP ? Сам не нашел, как именно - ибо ремесленники мы.

Добавил график.

Изменено 10 июня, 2019 пользователем Azamat

[Butch3r]

А что-нибудь работает "не так"?

[Azamat]

тв "сыплет" :( это из заметного. Через стандартный IP во влане управления недоступен. Медленно работает консоль, т.к. проц загружен вместо обычных 30-40 проц на 85

Изменено 10 июня, 2019 пользователем Azamat

[Azamat]

После ребута полет нормальный. Продолжаем наблюдение.

[alibek]

А это публичный интерфейс или приватный?

Может быть какую-нибудь амплификацию с интернета словили?

[Azamat]

нет, все внутри, ничего наружу не выходило ни через один физ. интерфейс.

 

На всех svi только исходящий (у нас синий по графику), зеленого в плюсе не было нигде. Как будто под себя ср..ть начал, заболел чем то зараза. Вот и хотели понять, как диагноз поставить.

[Sergey R.]

23 часа назад, Azamat сказал:

Версия 6.ХХХ

 

 

Нексус с 6й прошивкой это не свитч. Это жесть.

Чего там только не было, если qsfp модули стоят не вздумать трогать, в ребут сорвется, видео есть даже.

Порт ченнелы глючат, в соседней теме есть.

PIM лагает.

Обновляться на 9ю. На 9й багов, с которыми невозможно работать пока не нашел за пол года.

 

[Azamat]

Не соглашусь. В сети 66 штук 3064, с pim все в порядке, qsfp на Х версии работают как часы. Портченнелы примерно на 30 шт. есть

Все на одной и той же версии 6.ххх

 

Заболел первый коммутатор, примерно за 3 года. Стало жалко зверушку, но до причин не докопались. 7 бед - один ресет.

[zhenya`]

судя по bcm_usd, проблема была где-то в недрах асика..

[Sergey R.]

1 час назад, Azamat сказал:

Не соглашусь. В сети 66 штук 3064, с pim все в порядке, qsfp на Х версии работают как часы. Портченнелы примерно на 30 шт. есть

Все на одной и той же версии 6.ххх

 

Заболел первый коммутатор, примерно за 3 года. Стало жалко зверушку, но до причин не докопались. 7 бед - один ресет.

Проблем действительно нет или с микроскопом не смотрел?

Линк рвался между девайсами, порты падают синхронно?

 

Вот я всё перетряс не нашел решения, в соседней ветке.

Так вот работает 6я прошивка и так порты падают с задержкой.

9я прошивка раз в 10 всё ускорила но недостаточно всё равно для качественной связи.

2019 Jun  5 11:20:46 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/43 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:20:59 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/44 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:12 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/46 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:25 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/47 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:38 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/48 (description:vb-s0) is down (Link failure)

 

Ну и да. У меня крупные линки собраны. Один агрегат может содержать с десяток и более портов.

Если в порт ченнеле 2 порта то действительно может и не заметит никто того что происходит.

 

Видео с qsfp) После этого страшно прикасаться к портам.

Дергать можно не так часто и один фиг у него крышу срывает.

9я прошивка подлечила.

 

https://www.youtube.com/watch?v=kH3OoibMnfY&feature=youtu.be

 

Изменено 11 июня, 2019 пользователем Sergey R.

[Azamat]

да, у нас в основном 2-4 х 10гиг в портченнел. Нужно не для расширения полосы, а для надежности стыка. 

[Sergey R.]

19 минут назад, Azamat сказал:

да, у нас в основном 2-4 х 10гиг в портченнел. Нужно не для расширения полосы, а для надежности стыка. 

Вот!  Очень рекомендую 4 линка завалить сразу. И посмотреть как он кашлять будет. Сек 30-40 минимум выходит.

Хоть это более менее полечили в новой 9й прошивке. Там будет кашлять секунд 6-8.

 

Во общем это единственное ограничение серьёзное из-за которого пришлось отказаться от нексусов в принципе на магистральных участках.

Девайс тупо не умеет порты выключать сразу. Обрабатывает каждый упавший порт по очереди  а на это уходит дофига времени. Пока он это делает связь на "еще не выключенных" по мнению железки портах не работает.

 

Ещё фокус - можно попробовать qsfp выключить с одной стороны. Сразу. И посмотреть в логах как и та и другая сторона последовательно будут порты класть)

Но по завершение процесса уже будет море тикетов от недовольных связью.

 

[Azamat]

 там может быть debounce timer понастраивать надо ? вроде как он отвечает за реакцию на упавшее.

По qsfp падений не было больше чем полугодия, а те что были - исключительно ночью. Поэтому реально ни на что не сказывалось. Видимо, если от них не требовать невозможного - то вполне себе зверушка.