cisco Nexus3000 C3064PQ и qinq loop c native влан для управления им.

devlow · August 31, 2023

Добрый день.

Потребовалось DGS-3000-28SC заменить на cisco n3k, там настроено qinq loop на SW3

На картинке где SW1 это cisco 4900m в виде dhcp relay, на нем поднят влан 4078 с адресом 192.168.2.254 управления для свитчей и соотв. крутятся пачки вланов для абов с ip unnambred и влан управления с пачки вланов клиентов кинут на sw2 с адресом 192.168.2.200, на 192.168.2.200 влан 2 это влан управления который принимается со стороны sw1 нативом.

вот настройка портов между sw1 и sw2

SW1 4900m-

interface TenGigabitEthernet1/8
switchport trunk allowed vlan 4078,100-349
switchport trunk native vlan 4078
switchport mode trunk
no cdp enable
flowcontrol receive off

interface Vlan4078
 ip address 192.168.2.254 255.255.240.0
 no ip redirects
 arp timeout 270

SW2 cisco n3k -

interface Ethernet1/43
 switchport mode trunk
 switchport trunk native vlan 2
 switchport trunk allowed vlan 2,100-349

interface Vlan2
  no shutdown
  no ip redirects
  ip address 192.168.2.200/20

ip route 0.0.0.0/0 Vlan2 192.168.2.254

У sw2 сделано qinq loop на влан 3103 и в него завернут влан управления + клиентские порты 8 и 9 . и кинут в сторону другого isp который тянет этот влан 3103 порт 10

вот конфиг на на sw2

interface Ethernet1/8
qinq-loop 
switchport mode trunk
 switchport trunk native vlan 2
 switchport trunk allowed vlan 2,100-349
 spanning-tree port type edge
 spanning-tree bpdufilter enable

interface Ethernet1/9
qinq-loop
 no cdp enable
 switchport mode dot1q-tunnel
 switchport access vlan 3103
 spanning-tree port type edge
 spanning-tree bpdufilter enable


interface Ethernet1/10
  description ISP
  ip port access-group flood_deny in
  no cdp enable
  switchport mode trunk
  switchport trunk allowed vlan 3103
  spanning-tree port type edge
  spanning-tree bpdufilter enable

Со стороны SW3 с адресом 192.168.2.113 который заменили с dgs на n3k где порт 43 и 44 сделано в qinq loop, а 42 порт это входящий от isp , на фото ниже свитчи клиентские которые подключены от sw3(2шт тоже n3k)

interface Ethernet1/42
 description ISP
 no cdp enable
 switchport mode trunk
 switchport trunk allowed vlan 3103
 spanning-tree port type edge
 spanning-tree bpdufilter enable

interface Ethernet1/43
 description qinq-loop
 no cdp enable
 switchport mode dot1q-tunnel
 switchport access vlan 3103
 spanning-tree port type edge
 spanning-tree bpdufilter enable

interface Ethernet1/44
 description qinq-loop
 no cdp enable
 switchport mode trunk
 switchport trunk native vlan 2
 switchport trunk allowed vlan 2,100-349
 spanning-tree port type edge
 spanning-tree bpdufilter enable

interface Vlan2
  no shutdown
  no ip redirects
  ip address 192.168.2.113/20

ip route 0.0.0.0/0 Vlan2 192.168.2.254

В итоге с sw1 и sw2 не пингуется sw3 и с моего пк тоже не пингуется, но при этом свитчи (2шт n3k) за sw3 которые в этом же подсети и в этом же влане 2 управления доступны и пингуются везде.
arp запись на sw1 и sw2 есть со стороны sw3

sh ip arp 192.168.2.113
Protocol  Address          Age (min)  Hardware Addr   Type   Interface
Internet  192.168.2.113  1   f07f.0644.733c  ARPA   Vlan4078

Со свитчей которые за SW3 можно попасть на сам sw3 и он пингуется с их стороны и у абонентов трафик ходит, то есть qinq развернулось нормально.

Но дело в том, что я не могу попасть на sw3 и не могу его пинговать со стороны sw1/sw2 со своего пк, хотя до замены с dgs на n3k все работало нормально.

Может ли быть такое, что он нормально в qinq на n3k sw3 не воспринимает native vlan 2 ( влан управления) на себя, но при этом дальше отдает нормально на ниже свитчи , но тогда вопрос как свитчи за sw3 которые тоже во влане управления 2 нативном доступны?
MTU поднят везде до 9216. со стороны ISP тоже.
Возможно я что-то забыл вкл или прописать при сборе qinq loop?

Edited August 31, 2023 by devlow

craftsman · August 31, 2023

9 часов назад, devlow сказал:
ip route 0.0.0.0/0 Vlan2 192.168.2.254

у SW3 тот-же шлюз что и на SW1 с SW2?

devlow · September 1, 2023

8 часов назад, craftsman сказал:

у SW3 тот-же шлюз что и на SW1 с SW2?

У sw2 и sw3 оба n3k и на обоих сделан qinq loop, на них прописан дефолт на адрес sw1 - 192.168.2.254( как шлюза) через влан управления.

За sw3 где разворачивается qinq loop есть свитчи еще у которых тоже этот 2 влан управления есть нативом и маршут на шлюз 192.168.2.254 и они доступны и пингуются везде.

А вот сам sw3 где разворачивается qinq loop с адресом 192.168.2.113 не пингуется и не доступен, на него можно зайти если сначала зайти на свитчи за ним и через них зайти него.

При это арп запись от sw3 192.168.2.213 на шлюзе sw1 192.168.2.254 есть и в ip route есть маршут через влан управления до sw3. И на sw3 есть арп запись от 192.168.2.254 при этом они оба не видят друг друга и соответственно на него не зайти нормально, только через свитчи которые за 192.168.2.113.

У меня такое ощущение, что sw3 в qinq loop нормально не воспринимает если разворачивать петлю с trunk native vlan 2.

Хотя при этом свитчи за ним нормально доступны конда на их порт отдается тоже нативом 2 влан управления и клиентские вланы.

Пробовал вкл глобально на sw3 vlan dot1q tag native , но не помогло.

Например до замены dgs на n3k этот

Там в петле разворачивался влан управления в untag, то есть менеджемент и тагом клиентские вланы управления и все работало

TriKS · September 1, 2023

SW1, он же шлюз:

interface Vlan4078
 ip address 192.168.2.254 255.255.240.0

SW2 и 3 в совершенно другом влане живут:

SW2

interface Vlan2
  no shutdown
  no ip redirects
  ip address 192.168.2.200/20

SW3

interface Vlan2
  no shutdown
  no ip redirects
  ip address 192.168.2.113/20

И SW3 ищет шлюз в этом влане:

ip route 0.0.0.0/0 Vlan2 192.168.2.254

Какой дефолтроут на SW2? Такой же? Тогда селите все в один влан, или разруливайте маршрутизацию с arp-proxy.

devlow · September 1, 2023

В 01.09.2023 в 09:08, TriKS сказал:
SW1, он же шлюз:
interface Vlan4078
 ip address 192.168.2.254 255.255.240.0
SW2 и 3 в совершенно другом влане живут:

SW2
interface Vlan2
  no shutdown
  no ip redirects
  ip address 192.168.2.200/20
SW3
interface Vlan2
  no shutdown
  no ip redirects
  ip address 192.168.2.113/20
И SW3 ищет шлюз в этом влане:
ip route 0.0.0.0/0 Vlan2 192.168.2.254
Какой дефолтроут на SW2? Такой же? Тогда селите все в один влан, или разруливайте маршрутизацию с arp-proxy.

На sw2 такой же дефолт через влан2 192.168.2.254 и он доступен нормально из вне и связь есть нормальная.
Да, вланы другие управления, но я же показал конфигурацию, что SW1 нативом отдает влан управления 4078 на SW2 через 1/8 порт , а SW2 портом 1/43 принимает этот нетеггированный влан во 2 как нативный, затем в петлю заворачивается этот влан управления и клиентские вланы, затем через влан 3103 через другого isp докидывается транком до моего sw3, на котором я разворачиваю это все. Конфиг выше.

Плюс как выше писал за sw3 который недоступен нормально находятся ещё 2шт n3k с адресами 192.168.2.65 и 192.168.2.66 и они доступны нормально через этот нативный 2 влан и дефолт тоже на 192.168.2.254

Вот конфиг одно из двух портов со стороны sw3 на эти нижестоящие 2шт свитча за ним.

interface Ethernet1/6

 switchport mode trunk
 switchport trunk native vlan 2
 switchport trunk allowed vlan 2,100-200
 spanning-tree port type edge

а со стороны свитча за sw3, например, 192.168.2.65 такие же настройки порта. И он доступен через шлюз 192.168.2.254 и через мой пк, то есть связь нормальная.

Получается на sw3 когда разворачиваю qinq как будто нативный влан 2 не нормально разворачивается, хотя дальше когда этот нативный влан кидаю на ниже свитчи 192.168.2.65 и 192.168.2.66, то там ок и только зайдя на них могу зайти на 192.168.2.113.
По арп записям, по ip route все ок.

Edited September 1, 2023 by devlow

TriKS · September 1, 2023

Цитата

что SW1 нативом отдает влан управления 4078 на SW2 через 1/8 порт , а SW2 портом 1/43 принимает этот нетеггированный влан во 2 как нативный

И чего вы этим добились? У вас теперь в 2-х вланах один бродкаст домен.

Показывайте МАС таблицы и АРП таблицы на всех свичах с пометкой МАСов свичей, т.е. что видит каждый свич у себя в таблицах АРП и МАС по МАСам и IP других свичей.

Edited September 1, 2023 by TriKS

devlow · September 1, 2023

3 часа назад, TriKS сказал:

И чего вы этим добились? У вас теперь в 2-х вланах один бродкаст домен.

Показывайте МАС таблицы и АРП таблицы на всех свичах с пометкой МАСов свичей, т.е. что видит каждый свич у себя в таблицах АРП и МАС по МАСам и IP других свичей.

Для теста собрал у себя такую же схему подключения только убрал везде native

sw1 4900m влан управления 4078 c адресом 192.168.2.254/20 кинул до sw2 192.168.2.200

interface Ethernet1/1 - смотрит на sw2
 switchport mode trunk
 switchport trunk allowed vlan 4078
 spanning-tree port type edge
 spanning-tree bpdufilter enable

На sw2 n3k 
создаю svi 4078 с адресом 192.168.2.200/20

на порт eth1/1 кидаю просто транком на порт с sw1 ( 192.168.2.254) и указываю ip route дефолт на 192.168.2.254 
interface Ethernet1/1 - смотрит на sw1 - 192.168.2.254
 switchport mode trunk
 switchport trunk allowed vlan 4078
 spanning-tree port type edge
 spanning-tree bpdufilter enable

sw1 192.168.2.254 и sw2 192.168.2.200 между собой пингуются нормально. мак/арп есть.

Далее создаю qinq loop 8 и 9 порт на sw2 куда заворачиваю влан управления во влан 3103.

interface Ethernet1/8
 switchport mode trunk
 switchport trunk allowed vlan 4078
 spanning-tree port type edge
 spanning-tree bpdufilter enable

interface Ethernet1/9
 description qinq-loop
 no cdp enable
 switchport mode dot1q-tunnel
 switchport access vlan 3103
 spanning-tree port type edge
 spanning-tree bpdufilter enable

И отправляю в сторону isp  порт 1/10 этот влан 3103 в котором завернут влан управления.

interface Ethernet1/10
 no cdp enable
 switchport mode trunk
 switchport trunk allowed vlan 3103
 spanning-tree port type edge
 spanning-tree bpdufilter enable

Теперь на SW3 - 192.168.2.113 
на порту 1 принимаю влан 3103 от isp  в котором завернуты вланы.

interface Ethernet1/1
 no cdp enable
 switchport mode trunk
 switchport trunk allowed vlan 3103
 spanning-tree port type edge
 spanning-tree bpdufilter enable

Разворачиваю qinq loop на портах 2 и 3


interface Ethernet1/2
 switchport mode trunk
 switchport trunk allowed vlan 4078
 spanning-tree port type edge
 spanning-tree bpdufilter enable


interface Ethernet1/3
 description qinq-loop
 no cdp enable
 switchport mode dot1q-tunnel
 switchport access vlan 3103
 spanning-tree port type edge
 spanning-tree bpdufilter enable


Создаю svi 4078 с адресом 192.168.2.113/20 и прописываю ip route дефолт через vlan 4078 на 192.168.2.254 
ip route 0.0.0.0/0 Vlan4078 192.168.2.254

В итоге снова sw3  192.168.2.113 не может пинговать шлюз sw1 192.168.2.254 и sw2 192.168.2.200
при этом arp записи, что на sw1/sw2/sw3 есть и мак таблица корректная.

Затем для теста от sw3 подключил ещё 1 n3k и там принял просто транком влан управления 4078 от sw3( так как тут я уже развернул влан) и поднял на нем для теста адрес 192.168.2.65 и он может пинговать шлюз 192.168.2.254 и sw2 192.168.2.200 и сам sw3.

Сейчас на тестовом стенде я сделал без native все в одном влане управления и не понимаю, что сейчас не так.
прошивка на n3k 7.0(3)I7(3), везде мту 9216

TriKS · September 1, 2023

sw1/sw2/sw3 есть и мак таблица корректная.

Покажите все эти таблицы со стенда. Думается мне, что где-то либо реквест, либо реплай не туда летят на SW3-SW2 из-за qinq. Т.к. МАС будет в разных vlan виден + STP вижу, сразу не заметил его. Отключите ка и его на стенде.

Edited September 1, 2023 by TriKS

devlow · September 4, 2023

В 01.09.2023 в 15:25, TriKS сказал:
sw1/sw2/sw3 есть и мак таблица корректная.
Покажите все эти таблицы со стенда. Думается мне, что где-то либо реквест, либо реплай не туда летят на SW3-SW2 из-за qinq. Т.к. МАС будет в разных vlan виден + STP вижу, сразу не заметил его. Отключите ка и его на стенде.

убрал с sw 2 и sw3 spanning-tree port type edge на портах где qinq loop и прописал глобально на sw2 и sw3 "no spanning-tree vlan 3103"

SW3 так же не может пинговать sw1(шлюз 192.168.2.254) и sw2( 192.168.2.200) и с sw1/sw2 соотв. тоже пинги не проходят до sw3

SW1 шлюз 192.168.2.254 на нем мак и арп таблица
sh ip arp vlan 4078
Protocol  Address          Age (min)  Hardware Addr   Type   Interface
Internet  192.168.2.254           -   c84c.75e8.dbbf  ARPA   Vlan4078 ( сам шлюз)
Internet  192.168.2.200           1   ecbd.1ded.9581  ARPA   Vlan4078 (sw2 пингуется, все ок) 
Internet  192.168.2.113           2   f8c2.88cf.ba01  ARPA   Vlan4078 ( sw3 не пингуется с шлюза sw1 и sw2)

sh mac address-table vlan 4078
Unicast Entries
vlan     mac address     type        protocols               port
---------+---------------+--------+---------------------+-------------------------
4078      c84c.75e8.dbbf    static ip,ipx,assigned,other Switch                      
4078      ecbd.1ded.9581   dynamic ip,ipx,assigned,other  TenGigabitEthernet1/8 ( мак sw2)
4078      f8c2.88cf.ba01   dynamic ip,ipx,assigned,other   TenGigabitEthernet1/8 ( мак sw3)

SW2 192.168.2.200 arp + mac 
sh ip arp
Address         Age       MAC Address     Interface
192.168.2.113   00:08:19  f8c2.88cf.ba01  Vlan4078 ( sw3 не пингуется )
192.168.2.254   00:01:13  c84c.75e8.dbbf  Vlan4078 (sw1 шлюз пингуется все ок)

sh mac address-table
* 3103     c84c.75e8.dbbf    dynamic   0          F    F  Eth1/9 ( порт qinq мас адрес sw1)
* 3103     ecbd.1ded.9581    dynamic   0          F    F  Eth1/9 ( пот qinq mac адрес sw2)
* 3103     f8c2.88cf.ba01    dynamic   0          F    F  Eth1/10 ( порт через isp влан 3103 в котром завернуты вланы это mac sw3)
* 4078     c84c.75e8.dbbf    dynamic   0          F    F  Eth1/1 ( вх порт с sw1 это mac sw1)
* 4078     f8c2.88cf.ba01    dynamic   0          F    F  Eth1/8 ( порт qinq где заворачивается влан 4078 это мак sw3)

Настройки портов На sw2 

interface Ethernet1/1
 description to_SW1
 no cdp enable
 switchport mode trunk
 switchport trunk allowed vlan 4078

interface Ethernet1/8
 description qinq-loop
no cdp enable
 switchport mode trunk
 switchport trunk allowed vlan 4078
 spanning-tree bpdufilter enable

interface Ethernet1/9
 description qinq-loop
 no cdp enable
 switchport mode dot1q-tunnel
 switchport access vlan 3103
 spanning-tree bpdufilter enable

interface Ethernet1/10
 description to_isp
 no cdp enable
 switchport mode trunk
 switchport trunk allowed vlan 3103
 spanning-tree bpdufilter enable

ip route 0.0.0.0/0 Vlan4078 192.168.2.254

0.0.0.0/0, ubest/mbest: 1/0
   *via 192.168.2.254, Vlan4078, [1/0], 00:31:45, static
192.168.0.0/20, ubest/mbest: 1/0, attached
   *via 192.168.2.200, Vlan4078, [0/0], 00:36:29, direct
192.168.2.200/32, ubest/mbest: 1/0, attached
   *via 192.168.2.200, Vlan4078, [0/0], 00:36:29, local

Пинг до шлюза sw1 через sw2 
--- 192.168.2.254 ping statistics ---
5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 9.925/16.395/20.419 ms

Пинг до sw3 через sw2 
--- 192.168.2.113 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss

На sw1 такая же картина по пингу.


SW3 192.168.2.113 arp + mac 
sh ip arp 
Address         Age       MAC Address     Interface
192.168.2.200   00:04:32  ecbd.1ded.9581  Vlan4078        
192.168.2.254   00:02:12  c84c.75e8.dbbf  Vlan4078 

 sh mac address-table
* 3103     c84c.75e8.dbbf    dynamic   320        F    F  Eth1/15 ( порт со стороны isp который с вланом 3103 в котором завернуты вланы это мак sw1)
* 3103     ecbd.1ded.9581    dynamic   320        F    F  Eth1/15  ( порт со стороны isp который с вланом 3103 в котором завернуты вланы это мак sw2)
* 3103     f8c2.88cf.ba01    dynamic   320        F    F  Eth1/43 ( порт qinq loop это мак sw3) 
* 4078     c84c.75e8.dbbf    dynamic   320        F    F  Eth1/44 ( порт qinq loop это мак sw1)
* 4078     ecbd.1ded.9581    dynamic   320        F    F  Eth1/44 ( порт qinq loop это мак sw2)

Настройки портов
interface Ethernet1/15
  description from_ISP
  switchport mode trunk
  switchport trunk allowed vlan 3103
  no cdp enable
  spanning-tree bpdufilter enable

interface Ethernet1/43
  description qinq-loop
  switchport mode dot1q-tunnel
  switchport access vlan 3103
  no cdp enable
  spanning-tree bpdufilter enable


interface Ethernet1/44
  description qinq-loop
  switchport mode trunk
  switchport trunk allowed vlan 4078
  no cdp enable
  spanning-tree bpdufilter enable

ip route 0.0.0.0/0 Vlan4078 192.168.2.254

0.0.0.0/0, ubest/mbest: 1/0
    *via 192.168.2.254, Vlan4078, [1/0], 00:26:42, static
192.168.0.0/20, ubest/mbest: 1/0, attached
    *via 192.168.2.113, Vlan4078, [0/0], 00:26:42, direct
192.168.2.113/32, ubest/mbest: 1/0, attached
    *via 192.168.2.113, Vlan4078, [0/0], 00:26:42, local

пинг до sw1 и sw2 через sw3 

--- 192.168.2.254 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss

--- 192.168.2.200 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss

Edited September 4, 2023 by devlow

TriKS · September 5, 2023

Действительно, с виду все красиво....

У меня пока только 4 идеи:

1) Потушить STP полностью на SW2-SW3

2) По жонглировать прошивками на SW2-SW3. n3k 7.0(3)I7(3) - довольно старая, уже 9-ка есть давно

3) сделать все же qinq без патча

4) Обратиться в циско-комьюнити на их сайте\телеге

Edited September 5, 2023 by TriKS

Sign In

cisco Nexus3000 C3064PQ и qinq loop c native влан для управления им.

Recommended Posts

devlow

craftsman

devlow

TriKS

devlow

TriKS

devlow

TriKS

devlow

TriKS

Join the conversation