Nexus C9236C не пропускает трафик с двойным тегом

[Sergey R.]

Товарищи, подскажите, куда копать.

Имеется свитч, cisco Nexus9000 C9236C

Прошивки пробовал разные, как рекомендованную: nxos.7.0.3.I7.9.bin, так и остальные скачал:  nxos.9.2.3.bin; nxos.9.3.5.bin ; nxos.9.3.7.bin

 

Хотел вводить в работу его, как заметил, что свитч не пропускает трафик, содержащий двойные теги. Собрал стенд: 

juniper mx204 ---> порт e1/1 C9236C порт e1/2 <--- juniper mx204

На джуниперах с обоих концов интерфейс c vlan3408, навесил ip, C9236C пропускает трафик.

Делаю на джуниперах интерфейс 3408.5. Т е внешний vlan 3408 и внутренний 5, и всё. C9236C не пропускает трафик.

 

Подобрался сниффером, вижу что на джунипер трафик долетает, но трафик уже без внутреннего тега 5. Как-будто нексус удаляет внутренний тег, в итоге ничего не работает.

Может хардверный брак какой попался? В понедельник попробую вторую железку взять.

 

Что еще можно пощелкать?

 

Конфиг элементарный:

 

C9236C

 

interface Ethernet1/1
  description m9-r1
  switchport
  switchport mode trunk
  switchport trunk allowed vlan 3408
  spanning-tree port type edge trunk
  spanning-tree bpdufilter enable
  mtu 9216
  storm-control broadcast level 0.10
  storm-control multicast level 0.10
  storm-control unicast level 1.00
  storm-control action shutdown
  no shutdown

 

interface Ethernet1/2
  description m9-r1
  switchport
  switchport mode trunk
  switchport trunk allowed vlan 3408
  spanning-tree port type edge trunk
  spanning-tree bpdufilter enable
  mtu 9216
  storm-control broadcast level 0.10
  storm-control multicast level 0.10
  storm-control unicast level 1.00
  storm-control action shutdown
  no shutdown
 

Маки видны:

sh mac address-table
* 3408     b8c2.53dd.d883   dynamic  0         F      F    Eth1/1
* 3408     b8c2.53dd.d887   dynamic  0         F      F    Eth1/2
 

 

И вот проблема видна сниффером:

отправляю в свитч с джунипера:

11:20:40.460240 b8:c2:53:dd:d8:87 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 64: vlan 3408, p 0, ethertype 802.1Q, vlan 5, p 0, ethertype ARP, Request who-has 10.34.58.4 tell 10.34.58.5, length 42
11:20:41.258091 b8:c2:53:dd:d8:87 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 64: vlan 3408, p 0, ethertype 802.1Q, vlan 5, p 0, ethertype ARP, Request who-has 10.34.58.4 tell 10.34.58.5, length 42
11:20:41.859080 b8:c2:53:dd:d8:87 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 64: vlan 3408, p 0, ethertype 802.1Q, vlan 5, p 0, ethertype ARP, Request who-has 10.34.58.4 tell 10.34.58.5, length 42
 

На джунипере ловлю вот эту ерунду, 5й внутренний тег удалился...

 

b8:c2:53:dd:d8:87 > Broadcast, ethertype 802.1Q (0x8100), length 60: vlan 3408, p 0, ethertype ARP, arp who-has 10.34.58.4 tell 10.34.58.5

b8:c2:53:dd:d8:87 > Broadcast, ethertype 802.1Q (0x8100), length 60: vlan 3408, p 0, ethertype ARP, arp who-has 10.34.58.4 tell 10.34.58.5

b8:c2:53:dd:d8:87 > Broadcast, ethertype 802.1Q (0x8100), length 60: vlan 3408, p 0, ethertype ARP, arp who-has 10.34.58.4 tell 10.34.58.5

 

В дампе у меня только ARP запросы, но такое поведение не только с ARP, со всем трафиком. Пробовал статические ARP делать, на остальном трафике также коцает тег 5 внутри.

 

Edited March 27, 2021 by Sergey R.

[prolan]

Цитата

ASE2 and ASE3 based Cisco Nexus 9000 Series switches acting as transit switches do not preserve the inner tag for double-tagged packets.

The following CLI is mandatory only on LSE based Cisco Nexus 9000 Series switches. For seamless packet forwarding and preservation of all VLAN tags on pure transit boxes in the SP cloud that have no Q-in-Q encapsulation or decapsulation requirement, configure the CLI command, system dot1q-tunnel transit . To remove the CLI, use no system dot1q-tunnel transit CLI command.

The caveats with the CLI that is executed on the switches are:

L2 frames that egress out of the trunk ports are tagged even on the native VLAN on the port.

Any other tunneling mechanism, for example, VXLAN and MPLS does not work with the CLI configured.

https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/7-x/interfaces/configuration/guide/b_Cisco_Nexus_9000_Series_NX-OS_Interfaces_Configuration_Guide_7x/b_Cisco_Nexus_9000_Series_NX-OS_Interfaces_Configuration_Guide_7x_chapter_0100.html

[Sergey R.]

Да, спасибо, уже прочитал) упаковываем в коробку и продаем) 

[prolan]

В 27.03.2021 в 16:37, Sergey R. сказал:

Да, спасибо, уже прочитал) упаковываем в коробку и продаем) 

Зачем же так категорично.  system dot1q-tunnel transit и искать следующую причину продажи)

[Sergey R.]

Нет , так не получится. Для асиков ASE2 and ASE3 и этой команды нет. 

Возьмём пару 9364 на LSE . Там да, можно использовать "system dot1q-tunnel transit"

В общем неприятная моделька 9236 и всё остальное на ASE2 and ASE3, без пропуска двойных тегов в сети ему нечего делать.

[crank]

Т.е. нексус режет трафик даже если оба vlan ethertype = 0x8100 ?

[Sergey R.]

ДА!!!!!! Я в шоке, всё как в дампе что я сверху прислал. Удаляет из двух тегов внутренний. Что и написано в доке.

"ASE2 and ASE3 based Cisco Nexus 9000 Series switches acting as transit switches do not preserve the inner tag for double-tagged packets"

С 3064 работаем с десяток лет и не знаем бед, а на 9236 такое...

 

Уже решили в принципе, поставщик обменяет 9236 на 9364. В серии 93ХХ нет этих асиков ASE2 and ASE3. Есть LSE а для него есть "system dot1q-tunnel transit"

 

 

[Merten]

Судя по наблюдениям не все пакеты приходят без Inner tag.

ARP, DHCP, NBNS, OSPF Hello, некоторые UDP на групповые адреса приходят с ним.