cisco Nexus3064, не синхронное падение портов

[Sergey R.]

Всем привет!

 

Имеется две железки Nexus3064. Железки соединены двумя волокнами. На каждом из волокон имеется DWDM уплотнение.

В итоге имеем по 5 DWDM  10G каналов на волокно. (port-channel 100G)

Рву одно из волокон(типа эмуляция аварии). Получаю в логах какую-то фигню, порты падают с задержкой.

Думаю что врут логи, проверяю связь, вижу что связь рвется и существенно.

DWDM пассивный, никаких усилителей по пути нет, и сейчас это уже лабораторный стенд. Воспроизвел на нём глюк, который видел на рабочей системе.

LACP ест-но в режиме short.

 

Кто-нибудь натыкался на нексусах на что-то подобное? Куда копать?

Есть мысли что на вывод из работы каждого порта свитчу требуется CPU, чем больше портов, тем больше ресурсов и он кашляет.

Но портов на самом деле кол-во смешное, сравнивал с экстримом (x670) он эти порты кладет единовременно и глюков ноль. Мало того на экстримах  линки  были по круче из 64 DWDM 10G каналов и тут экстримам всё пофигу.

 

Есть что покрутить? Думал про udld, но с другой стороны нафига это нужно если LACP short работает с интервалом в 1 сек и таймаутом 3сек.

И даже дело не в таймаутах LACP и прочего,  нексус должен фиксировать отсутствие света и единовременно всё выключать как экстрим.

 

 

 

Логи ниже:

 

Связь в итоге лагала с  16:00:16 до 16:00:23. Связь проверялась по icmp, которые отправлялись на разные ip, чтобы балансировка соблюдалась.

 

vb-s0                            
2019 Jun  4 16:00:17 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/26 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:19 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/27 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:21 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/28 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:22 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/37 (description:vb-s1) is down (Link failure)                            
2019 Jun  4 16:00:24 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/38 (description:vb-s1) is down (Link failure)                            
                            
2019 Jun  4 16:00:15 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/26 is down                            
2019 Jun  4 16:00:17 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/27 is down                            
2019 Jun  4 16:00:19 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/28 is down                            
2019 Jun  4 16:00:21 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/37 is down                            
2019 Jun  4 16:00:22 vb-s0 %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel3: Ethernet1/38 is down                            
 

Логи второй железки с аналогичной задержкой.

 

 

 

Edited June 4, 2019 by Sergey R.

[Helios]

interface port-channel
shutdown
no lacp graceful-convergence

no shutdown

в порядке бреда ) я понимаю что это параметр для восстановления линка но может попробуете. 

[Sergey R.]

Благодарю, попробую.

Пока такую закономерность вывел:

 

Нексусы указанной модели на 6х прошивках полностью неадекватны при выводе из работы пачки портов.

 

Вот чего он творит, хотя порты должны упасть одновременно:

2019 Jun  5 11:20:46 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/43 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:20:59 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/44 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:12 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/46 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:25 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/47 (description:vb-s0) is down (Link failure)
2019 Jun  5 11:21:38 vb-s1 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/48 (description:vb-s0) is down (Link failure)

Почти минута и в это время со связью проблемы.

 

На 9й прошивке лучше но всё равно плохо.

2019 Jun  5 11:20:35 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/26 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:37 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/27 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:39 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/28 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:41 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/37 (description:vb-s1) is down (Link failure)
2019 Jun  5 11:20:43 vb-s0 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/38 (description:vb-s1) is down (Link failure)

 

Модель 9372 попробовал, чуть получше:

2019 Jun  6 16:59:21 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/44 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:22 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/43 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:23 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/46 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:23 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/47 (description:vb-s7) is down (Link failure)
2019 Jun  6 16:59:24 vb-s8 %ETHPORT-3-IF_DOWN_LINK_FAILURE: Interface Ethernet1/48 (description:vb-s7) is down (Link failure)

 

Но блин никаким качеством тут не пахнет, не нужны эти задержки непонятные.

 

А ниже экстрим, чё, нужно учиться у них цискам делать железки:

 

06/05/2019 16:26:41.42 <Info:vlan.msgs.portLinkStateDown> Port 48 link down
06/05/2019 16:26:41.41 <Info:vlan.msgs.portLinkStateDown> Port 47 link down - Local fault
06/05/2019 16:26:41.40 <Info:vlan.msgs.portLinkStateDown> Port 46 link down
06/05/2019 16:26:41.39 <Info:vlan.msgs.portLinkStateDown> Port 43 link down
06/05/2019 16:26:41.09 <Info:vlan.msgs.portLinkStateDown> Port 44 link down - Local fault

 

Решили поменять железо на участках, где порт ченнелы собраны из большого кол-ва портов.

 

Обидно джунипера под рукой нет, интересно глянуть как он себя ведёт при обрыве волокна, на котором сидит куча лямбд.

 

 

 

 

 

 

 

 

 

 

 

Edited June 11, 2019 by Sergey R.

[crank]

В соседней теме уже упоминали про debounce timer. Попробуйте его покрутить.

https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus3000/sw/interfaces/6_x/b_Cisco_n3k_Interfaces_Configuration_Guide_602_U11/b_Cisco_n3k_Interfaces_Configuration_Guide_602_U11_chapter_010.html#con_1274940