Azamat Posted June 10, 2019 (edited) · Report post Доброго всем дня. Есть nexus 3064, на нем помимо всего прочего 4 svi интерфейса. Вчера в одно и тоже время на всех svi возник из ничего нереально большой исходящий трафик - например, обычный трафик на 2 svi - порядка 1,2 гиг на каждом. Сейчас исходящий судя по графику - 560Гиг на каждом. На 3-м svi обычный трафик 100Кбит/с - влан управления - сейчас на нем исходящий 300Гиг. Доступ только через mgmt порт, через IP адрес на svi управления - скидывается. Реально, нет событий, к которым можно было бы привязать взрыв трафика. Пытались зеркалировать - ничего не видать, вроде т.к. в зеркало на source vlan идет только rx, а взрывной трафик по tx. А сделать source int vlanXXX не дает. Версия 6.ХХХ Из странного еще хороший прирост процесса bcm_usd. На физических интерфейсах - ничего примечательного, все как до взрыва трафика. Пытались делать shutdown на int влана управления - мин 10 держали, потом подняли - ничего не изменилось. В общем может кто подскажет, как можно хоть что-то отдебажить до перезагрузки, которую запланировали на 6 утра ? Может есть возможность убить процесс с HUP ? Сам не нашел, как именно - ибо ремесленники мы. Добавил график. Edited June 10, 2019 by Azamat Share this post Link to post Share on other sites
Butch3r Posted June 10, 2019 · Report post А что-нибудь работает "не так"? Share this post Link to post Share on other sites
Azamat Posted June 10, 2019 (edited) · Report post тв "сыплет" :( это из заметного. Через стандартный IP во влане управления недоступен. Медленно работает консоль, т.к. проц загружен вместо обычных 30-40 проц на 85 Edited June 10, 2019 by Azamat Share this post Link to post Share on other sites
Azamat Posted June 11, 2019 · Report post После ребута полет нормальный. Продолжаем наблюдение. Share this post Link to post Share on other sites
alibek Posted June 11, 2019 · Report post А это публичный интерфейс или приватный? Может быть какую-нибудь амплификацию с интернета словили? Share this post Link to post Share on other sites
Azamat Posted June 11, 2019 · Report post нет, все внутри, ничего наружу не выходило ни через один физ. интерфейс. На всех svi только исходящий (у нас синий по графику), зеленого в плюсе не было нигде. Как будто под себя ср..ть начал, заболел чем то зараза. Вот и хотели понять, как диагноз поставить. Share this post Link to post Share on other sites
Sergey R. Posted June 11, 2019 · Report post 23 часа назад, Azamat сказал: Версия 6.ХХХ Нексус с 6й прошивкой это не свитч. Это жесть. Чего там только не было, если qsfp модули стоят не вздумать трогать, в ребут сорвется, видео есть даже. Порт ченнелы глючат, в соседней теме есть. PIM лагает. Обновляться на 9ю. На 9й багов, с которыми невозможно работать пока не нашел за пол года. Share this post Link to post Share on other sites
Azamat Posted June 11, 2019 · Report post Не соглашусь. В сети 66 штук 3064, с pim все в порядке, qsfp на Х версии работают как часы. Портченнелы примерно на 30 шт. есть Все на одной и той же версии 6.ххх Заболел первый коммутатор, примерно за 3 года. Стало жалко зверушку, но до причин не докопались. 7 бед - один ресет. Share this post Link to post Share on other sites
zhenya` Posted June 11, 2019 · Report post судя по bcm_usd, проблема была где-то в недрах асика.. Share this post Link to post Share on other sites
Sergey R. Posted June 11, 2019 (edited) · Report post 1 час назад, Azamat сказал: Не соглашусь. В сети 66 штук 3064, с pim все в порядке, qsfp на Х версии работают как часы. Портченнелы примерно на 30 шт. есть Все на одной и той же версии 6.ххх Заболел первый коммутатор, примерно за 3 года. Стало жалко зверушку, но до причин не докопались. 7 бед - один ресет. Проблем действительно нет или с микроскопом не смотрел? Линк рвался между девайсами, порты падают синхронно? Вот я всё перетряс не нашел решения, в соседней ветке. Так вот работает 6я прошивка и так порты падают с задержкой. 9я прошивка раз в 10 всё ускорила но недостаточно всё равно для качественной связи. 2019 Jun 5 11:20:46 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/43 (description:vb-s0) is down (Link failure)2019 Jun 5 11:20:59 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/44 (description:vb-s0) is down (Link failure)2019 Jun 5 11:21:12 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/46 (description:vb-s0) is down (Link failure)2019 Jun 5 11:21:25 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/47 (description:vb-s0) is down (Link failure)2019 Jun 5 11:21:38 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/48 (description:vb-s0) is down (Link failure) Ну и да. У меня крупные линки собраны. Один агрегат может содержать с десяток и более портов. Если в порт ченнеле 2 порта то действительно может и не заметит никто того что происходит. Видео с qsfp) После этого страшно прикасаться к портам. Дергать можно не так часто и один фиг у него крышу срывает. 9я прошивка подлечила. https://www.youtube.com/watch?v=kH3OoibMnfY&feature=youtu.be Edited June 11, 2019 by Sergey R. Share this post Link to post Share on other sites
Azamat Posted June 11, 2019 · Report post да, у нас в основном 2-4 х 10гиг в портченнел. Нужно не для расширения полосы, а для надежности стыка. Share this post Link to post Share on other sites
Sergey R. Posted June 11, 2019 · Report post 19 минут назад, Azamat сказал: да, у нас в основном 2-4 х 10гиг в портченнел. Нужно не для расширения полосы, а для надежности стыка. Вот! Очень рекомендую 4 линка завалить сразу. И посмотреть как он кашлять будет. Сек 30-40 минимум выходит. Хоть это более менее полечили в новой 9й прошивке. Там будет кашлять секунд 6-8. Во общем это единственное ограничение серьёзное из-за которого пришлось отказаться от нексусов в принципе на магистральных участках. Девайс тупо не умеет порты выключать сразу. Обрабатывает каждый упавший порт по очереди а на это уходит дофига времени. Пока он это делает связь на "еще не выключенных" по мнению железки портах не работает. Ещё фокус - можно попробовать qsfp выключить с одной стороны. Сразу. И посмотреть в логах как и та и другая сторона последовательно будут порты класть) Но по завершение процесса уже будет море тикетов от недовольных связью. Share this post Link to post Share on other sites
Azamat Posted June 11, 2019 · Report post там может быть debounce timer понастраивать надо ? вроде как он отвечает за реакцию на упавшее. По qsfp падений не было больше чем полугодия, а те что были - исключительно ночью. Поэтому реально ни на что не сказывалось. Видимо, если от них не требовать невозможного - то вполне себе зверушка. Share this post Link to post Share on other sites
