Jump to content
Калькуляторы

cisco Nexus3064, не синхронное падение портов

Всем привет!

 

Имеется две железки Nexus3064. Железки соединены двумя волокнами. На каждом из волокон имеется DWDM уплотнение.

В итоге имеем по 5 DWDM  10G каналов на волокно. (port-channel 100G)

Рву одно из волокон(типа эмуляция аварии). Получаю в логах какую-то фигню, порты падают с задержкой.

Думаю что врут логи, проверяю связь, вижу что связь рвется и существенно.

DWDM пассивный, никаких усилителей по пути нет, и сейчас это уже лабораторный стенд. Воспроизвел на нём глюк, который видел на рабочей системе.

LACP ест-но в режиме short.

 

Кто-нибудь натыкался на нексусах на что-то подобное? Куда копать?

Есть мысли что на вывод из работы каждого порта свитчу требуется CPU, чем больше портов, тем больше ресурсов и он кашляет.

Но портов на самом деле кол-во смешное, сравнивал с экстримом (x670) он эти порты кладет единовременно и глюков ноль. Мало того на экстримах  линки  были по круче из 64 DWDM 10G каналов и тут экстримам всё пофигу.

 

Есть что покрутить? Думал про udld, но с другой стороны нафига это нужно если LACP short работает с интервалом в 1 сек и таймаутом 3сек.

И даже дело не в таймаутах LACP и прочего,  нексус должен фиксировать отсутствие света и единовременно всё выключать как экстрим.

 

 

 

Логи ниже:

 

Связь в итоге лагала с  16:00:16 до 16:00:23. Связь проверялась по icmp, которые отправлялись на разные ip, чтобы балансировка соблюдалась.

 

vb-s0                            
2019 Jun  4 16:00:17 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/26 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:19 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/27 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:21 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/28 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:22 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/37 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:24 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/38 (description:vb-s1) is down (Link failure)                            
                            
2019 Jun  4 16:00:15 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/26 is down                            
2019 Jun  4 16:00:17 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/27 is down                            
2019 Jun  4 16:00:19 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/28 is down                            
2019 Jun  4 16:00:21 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/37 is down                            
2019 Jun  4 16:00:22 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/38 is down                            
 

Логи второй железки с аналогичной задержкой.

 

 

 

Edited by Sergey R.

Share this post


Link to post
Share on other sites

interface port-channel
shutdown
no lacp graceful-convergence

no shutdown

в порядке бреда ) я понимаю что это параметр для восстановления линка но может попробуете. 

Share this post


Link to post
Share on other sites

Благодарю, попробую.

Пока такую закономерность вывел:

 

Нексусы указанной модели на 6х прошивках полностью неадекватны при выводе из работы пачки портов.

 

Вот чего он творит, хотя порты должны упасть одновременно:

2019 Jun  5 11:20:46 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/43 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:20:59 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/44 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:12 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/46 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:25 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/47 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:38 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/48 (description:vb-s0) is down (Link failure)

Почти минута и в это время со связью проблемы.

 

На 9й прошивке лучше но всё равно плохо.

2019 Jun  5 11:20:35 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/26 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:37 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/27 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:39 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/28 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:41 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/37 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:43 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/38 (description:vb-s1) is down (Link failure)

 

Модель 9372 попробовал, чуть получше:

2019 Jun  6 16:59:21 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/44 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:22 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/43 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:23 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/46 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:23 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/47 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:24 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/48 (description:vb-s7) is down (Link failure)

 

Но блин никаким качеством тут не пахнет, не нужны эти задержки непонятные.

 

А ниже экстрим, чё, нужно учиться у них цискам делать железки:

 

06/05/2019 16:26:41.42 <Info:vlan.msgs.portLinkStateDown> Port 48 link down
06/05/2019 16:26:41.41 <Info:vlan.msgs.portLinkStateDown> Port 47 link down - Local fault
06/05/2019 16:26:41.40 <Info:vlan.msgs.portLinkStateDown> Port 46 link down
06/05/2019 16:26:41.39 <Info:vlan.msgs.portLinkStateDown> Port 43 link down
06/05/2019 16:26:41.09 <Info:vlan.msgs.portLinkStateDown> Port 44 link down - Local fault

 

Решили поменять железо на участках, где порт ченнелы собраны из большого кол-ва портов.

 

Обидно джунипера под рукой нет, интересно глянуть как он себя ведёт при обрыве волокна, на котором сидит куча лямбд.

 

 

 

 

 

 

 

 

 

 

 

Edited by Sergey R.

Share this post


Link to post
Share on other sites

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this