devlow Posted August 31, 2023 (edited) · Report post Добрый день. Потребовалось DGS-3000-28SC заменить на cisco n3k, там настроено qinq loop на SW3 На картинке где SW1 это cisco 4900m в виде dhcp relay, на нем поднят влан 4078 с адресом 192.168.2.254 управления для свитчей и соотв. крутятся пачки вланов для абов с ip unnambred и влан управления с пачки вланов клиентов кинут на sw2 с адресом 192.168.2.200, на 192.168.2.200 влан 2 это влан управления который принимается со стороны sw1 нативом. вот настройка портов между sw1 и sw2 SW1 4900m- interface TenGigabitEthernet1/8 switchport trunk allowed vlan 4078,100-349 switchport trunk native vlan 4078 switchport mode trunk no cdp enable flowcontrol receive off interface Vlan4078 ip address 192.168.2.254 255.255.240.0 no ip redirects arp timeout 270 SW2 cisco n3k - interface Ethernet1/43 switchport mode trunk switchport trunk native vlan 2 switchport trunk allowed vlan 2,100-349 interface Vlan2 no shutdown no ip redirects ip address 192.168.2.200/20 ip route 0.0.0.0/0 Vlan2 192.168.2.254 У sw2 сделано qinq loop на влан 3103 и в него завернут влан управления + клиентские порты 8 и 9 . и кинут в сторону другого isp который тянет этот влан 3103 порт 10 вот конфиг на на sw2 interface Ethernet1/8 qinq-loop switchport mode trunk switchport trunk native vlan 2 switchport trunk allowed vlan 2,100-349 spanning-tree port type edge spanning-tree bpdufilter enable interface Ethernet1/9 qinq-loop no cdp enable switchport mode dot1q-tunnel switchport access vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable interface Ethernet1/10 description ISP ip port access-group flood_deny in no cdp enable switchport mode trunk switchport trunk allowed vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable Со стороны SW3 с адресом 192.168.2.113 который заменили с dgs на n3k где порт 43 и 44 сделано в qinq loop, а 42 порт это входящий от isp , на фото ниже свитчи клиентские которые подключены от sw3(2шт тоже n3k) interface Ethernet1/42 description ISP no cdp enable switchport mode trunk switchport trunk allowed vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable interface Ethernet1/43 description qinq-loop no cdp enable switchport mode dot1q-tunnel switchport access vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable interface Ethernet1/44 description qinq-loop no cdp enable switchport mode trunk switchport trunk native vlan 2 switchport trunk allowed vlan 2,100-349 spanning-tree port type edge spanning-tree bpdufilter enable interface Vlan2 no shutdown no ip redirects ip address 192.168.2.113/20 ip route 0.0.0.0/0 Vlan2 192.168.2.254 В итоге с sw1 и sw2 не пингуется sw3 и с моего пк тоже не пингуется, но при этом свитчи (2шт n3k) за sw3 которые в этом же подсети и в этом же влане 2 управления доступны и пингуются везде. arp запись на sw1 и sw2 есть со стороны sw3 sh ip arp 192.168.2.113 Protocol Address Age (min) Hardware Addr Type Interface Internet 192.168.2.113 1 f07f.0644.733c ARPA Vlan4078 Со свитчей которые за SW3 можно попасть на сам sw3 и он пингуется с их стороны и у абонентов трафик ходит, то есть qinq развернулось нормально. Но дело в том, что я не могу попасть на sw3 и не могу его пинговать со стороны sw1/sw2 со своего пк, хотя до замены с dgs на n3k все работало нормально. Может ли быть такое, что он нормально в qinq на n3k sw3 не воспринимает native vlan 2 ( влан управления) на себя, но при этом дальше отдает нормально на ниже свитчи , но тогда вопрос как свитчи за sw3 которые тоже во влане управления 2 нативном доступны? MTU поднят везде до 9216. со стороны ISP тоже. Возможно я что-то забыл вкл или прописать при сборе qinq loop? Edited August 31, 2023 by devlow Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
craftsman Posted August 31, 2023 · Report post 9 часов назад, devlow сказал: ip route 0.0.0.0/0 Vlan2 192.168.2.254 у SW3 тот-же шлюз что и на SW1 с SW2? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
devlow Posted September 1, 2023 · Report post 8 часов назад, craftsman сказал: у SW3 тот-же шлюз что и на SW1 с SW2? У sw2 и sw3 оба n3k и на обоих сделан qinq loop, на них прописан дефолт на адрес sw1 - 192.168.2.254( как шлюза) через влан управления. За sw3 где разворачивается qinq loop есть свитчи еще у которых тоже этот 2 влан управления есть нативом и маршут на шлюз 192.168.2.254 и они доступны и пингуются везде. А вот сам sw3 где разворачивается qinq loop с адресом 192.168.2.113 не пингуется и не доступен, на него можно зайти если сначала зайти на свитчи за ним и через них зайти него. При это арп запись от sw3 192.168.2.213 на шлюзе sw1 192.168.2.254 есть и в ip route есть маршут через влан управления до sw3. И на sw3 есть арп запись от 192.168.2.254 при этом они оба не видят друг друга и соответственно на него не зайти нормально, только через свитчи которые за 192.168.2.113. У меня такое ощущение, что sw3 в qinq loop нормально не воспринимает если разворачивать петлю с trunk native vlan 2. Хотя при этом свитчи за ним нормально доступны конда на их порт отдается тоже нативом 2 влан управления и клиентские вланы. Пробовал вкл глобально на sw3 vlan dot1q tag native , но не помогло. Например до замены dgs на n3k этот Там в петле разворачивался влан управления в untag, то есть менеджемент и тагом клиентские вланы управления и все работало Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted September 1, 2023 · Report post SW1, он же шлюз: interface Vlan4078 ip address 192.168.2.254 255.255.240.0 SW2 и 3 в совершенно другом влане живут: SW2 interface Vlan2 no shutdown no ip redirects ip address 192.168.2.200/20 SW3 interface Vlan2 no shutdown no ip redirects ip address 192.168.2.113/20 И SW3 ищет шлюз в этом влане: ip route 0.0.0.0/0 Vlan2 192.168.2.254 Какой дефолтроут на SW2? Такой же? Тогда селите все в один влан, или разруливайте маршрутизацию с arp-proxy. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
devlow Posted September 1, 2023 (edited) · Report post В 01.09.2023 в 09:08, TriKS сказал: SW1, он же шлюз: interface Vlan4078 ip address 192.168.2.254 255.255.240.0 SW2 и 3 в совершенно другом влане живут: SW2 interface Vlan2 no shutdown no ip redirects ip address 192.168.2.200/20 SW3 interface Vlan2 no shutdown no ip redirects ip address 192.168.2.113/20 И SW3 ищет шлюз в этом влане: ip route 0.0.0.0/0 Vlan2 192.168.2.254 Какой дефолтроут на SW2? Такой же? Тогда селите все в один влан, или разруливайте маршрутизацию с arp-proxy. На sw2 такой же дефолт через влан2 192.168.2.254 и он доступен нормально из вне и связь есть нормальная. Да, вланы другие управления, но я же показал конфигурацию, что SW1 нативом отдает влан управления 4078 на SW2 через 1/8 порт , а SW2 портом 1/43 принимает этот нетеггированный влан во 2 как нативный, затем в петлю заворачивается этот влан управления и клиентские вланы, затем через влан 3103 через другого isp докидывается транком до моего sw3, на котором я разворачиваю это все. Конфиг выше. Плюс как выше писал за sw3 который недоступен нормально находятся ещё 2шт n3k с адресами 192.168.2.65 и 192.168.2.66 и они доступны нормально через этот нативный 2 влан и дефолт тоже на 192.168.2.254 Вот конфиг одно из двух портов со стороны sw3 на эти нижестоящие 2шт свитча за ним. interface Ethernet1/6 switchport mode trunk switchport trunk native vlan 2 switchport trunk allowed vlan 2,100-200 spanning-tree port type edge а со стороны свитча за sw3, например, 192.168.2.65 такие же настройки порта. И он доступен через шлюз 192.168.2.254 и через мой пк, то есть связь нормальная. Получается на sw3 когда разворачиваю qinq как будто нативный влан 2 не нормально разворачивается, хотя дальше когда этот нативный влан кидаю на ниже свитчи 192.168.2.65 и 192.168.2.66, то там ок и только зайдя на них могу зайти на 192.168.2.113. По арп записям, по ip route все ок. Edited September 1, 2023 by devlow Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted September 1, 2023 (edited) · Report post Цитата что SW1 нативом отдает влан управления 4078 на SW2 через 1/8 порт , а SW2 портом 1/43 принимает этот нетеггированный влан во 2 как нативный И чего вы этим добились? У вас теперь в 2-х вланах один бродкаст домен. Показывайте МАС таблицы и АРП таблицы на всех свичах с пометкой МАСов свичей, т.е. что видит каждый свич у себя в таблицах АРП и МАС по МАСам и IP других свичей. Edited September 1, 2023 by TriKS Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
devlow Posted September 1, 2023 · Report post 3 часа назад, TriKS сказал: И чего вы этим добились? У вас теперь в 2-х вланах один бродкаст домен. Показывайте МАС таблицы и АРП таблицы на всех свичах с пометкой МАСов свичей, т.е. что видит каждый свич у себя в таблицах АРП и МАС по МАСам и IP других свичей. Для теста собрал у себя такую же схему подключения только убрал везде native sw1 4900m влан управления 4078 c адресом 192.168.2.254/20 кинул до sw2 192.168.2.200 interface Ethernet1/1 - смотрит на sw2 switchport mode trunk switchport trunk allowed vlan 4078 spanning-tree port type edge spanning-tree bpdufilter enable На sw2 n3k создаю svi 4078 с адресом 192.168.2.200/20 на порт eth1/1 кидаю просто транком на порт с sw1 ( 192.168.2.254) и указываю ip route дефолт на 192.168.2.254 interface Ethernet1/1 - смотрит на sw1 - 192.168.2.254 switchport mode trunk switchport trunk allowed vlan 4078 spanning-tree port type edge spanning-tree bpdufilter enable sw1 192.168.2.254 и sw2 192.168.2.200 между собой пингуются нормально. мак/арп есть. Далее создаю qinq loop 8 и 9 порт на sw2 куда заворачиваю влан управления во влан 3103. interface Ethernet1/8 switchport mode trunk switchport trunk allowed vlan 4078 spanning-tree port type edge spanning-tree bpdufilter enable interface Ethernet1/9 description qinq-loop no cdp enable switchport mode dot1q-tunnel switchport access vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable И отправляю в сторону isp порт 1/10 этот влан 3103 в котором завернут влан управления. interface Ethernet1/10 no cdp enable switchport mode trunk switchport trunk allowed vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable Теперь на SW3 - 192.168.2.113 на порту 1 принимаю влан 3103 от isp в котором завернуты вланы. interface Ethernet1/1 no cdp enable switchport mode trunk switchport trunk allowed vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable Разворачиваю qinq loop на портах 2 и 3 interface Ethernet1/2 switchport mode trunk switchport trunk allowed vlan 4078 spanning-tree port type edge spanning-tree bpdufilter enable interface Ethernet1/3 description qinq-loop no cdp enable switchport mode dot1q-tunnel switchport access vlan 3103 spanning-tree port type edge spanning-tree bpdufilter enable Создаю svi 4078 с адресом 192.168.2.113/20 и прописываю ip route дефолт через vlan 4078 на 192.168.2.254 ip route 0.0.0.0/0 Vlan4078 192.168.2.254 В итоге снова sw3 192.168.2.113 не может пинговать шлюз sw1 192.168.2.254 и sw2 192.168.2.200 при этом arp записи, что на sw1/sw2/sw3 есть и мак таблица корректная. Затем для теста от sw3 подключил ещё 1 n3k и там принял просто транком влан управления 4078 от sw3( так как тут я уже развернул влан) и поднял на нем для теста адрес 192.168.2.65 и он может пинговать шлюз 192.168.2.254 и sw2 192.168.2.200 и сам sw3. Сейчас на тестовом стенде я сделал без native все в одном влане управления и не понимаю, что сейчас не так. прошивка на n3k 7.0(3)I7(3), везде мту 9216 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted September 1, 2023 (edited) · Report post sw1/sw2/sw3 есть и мак таблица корректная. Покажите все эти таблицы со стенда. Думается мне, что где-то либо реквест, либо реплай не туда летят на SW3-SW2 из-за qinq. Т.к. МАС будет в разных vlan виден + STP вижу, сразу не заметил его. Отключите ка и его на стенде. Edited September 1, 2023 by TriKS Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
devlow Posted September 4, 2023 (edited) · Report post В 01.09.2023 в 15:25, TriKS сказал: sw1/sw2/sw3 есть и мак таблица корректная. Покажите все эти таблицы со стенда. Думается мне, что где-то либо реквест, либо реплай не туда летят на SW3-SW2 из-за qinq. Т.к. МАС будет в разных vlan виден + STP вижу, сразу не заметил его. Отключите ка и его на стенде. убрал с sw 2 и sw3 spanning-tree port type edge на портах где qinq loop и прописал глобально на sw2 и sw3 "no spanning-tree vlan 3103" SW3 так же не может пинговать sw1(шлюз 192.168.2.254) и sw2( 192.168.2.200) и с sw1/sw2 соотв. тоже пинги не проходят до sw3 SW1 шлюз 192.168.2.254 на нем мак и арп таблица sh ip arp vlan 4078 Protocol Address Age (min) Hardware Addr Type Interface Internet 192.168.2.254 - c84c.75e8.dbbf ARPA Vlan4078 ( сам шлюз) Internet 192.168.2.200 1 ecbd.1ded.9581 ARPA Vlan4078 (sw2 пингуется, все ок) Internet 192.168.2.113 2 f8c2.88cf.ba01 ARPA Vlan4078 ( sw3 не пингуется с шлюза sw1 и sw2) sh mac address-table vlan 4078 Unicast Entries vlan mac address type protocols port ---------+---------------+--------+---------------------+------------------------- 4078 c84c.75e8.dbbf static ip,ipx,assigned,other Switch 4078 ecbd.1ded.9581 dynamic ip,ipx,assigned,other TenGigabitEthernet1/8 ( мак sw2) 4078 f8c2.88cf.ba01 dynamic ip,ipx,assigned,other TenGigabitEthernet1/8 ( мак sw3) SW2 192.168.2.200 arp + mac sh ip arp Address Age MAC Address Interface 192.168.2.113 00:08:19 f8c2.88cf.ba01 Vlan4078 ( sw3 не пингуется ) 192.168.2.254 00:01:13 c84c.75e8.dbbf Vlan4078 (sw1 шлюз пингуется все ок) sh mac address-table * 3103 c84c.75e8.dbbf dynamic 0 F F Eth1/9 ( порт qinq мас адрес sw1) * 3103 ecbd.1ded.9581 dynamic 0 F F Eth1/9 ( пот qinq mac адрес sw2) * 3103 f8c2.88cf.ba01 dynamic 0 F F Eth1/10 ( порт через isp влан 3103 в котром завернуты вланы это mac sw3) * 4078 c84c.75e8.dbbf dynamic 0 F F Eth1/1 ( вх порт с sw1 это mac sw1) * 4078 f8c2.88cf.ba01 dynamic 0 F F Eth1/8 ( порт qinq где заворачивается влан 4078 это мак sw3) Настройки портов На sw2 interface Ethernet1/1 description to_SW1 no cdp enable switchport mode trunk switchport trunk allowed vlan 4078 interface Ethernet1/8 description qinq-loop no cdp enable switchport mode trunk switchport trunk allowed vlan 4078 spanning-tree bpdufilter enable interface Ethernet1/9 description qinq-loop no cdp enable switchport mode dot1q-tunnel switchport access vlan 3103 spanning-tree bpdufilter enable interface Ethernet1/10 description to_isp no cdp enable switchport mode trunk switchport trunk allowed vlan 3103 spanning-tree bpdufilter enable ip route 0.0.0.0/0 Vlan4078 192.168.2.254 0.0.0.0/0, ubest/mbest: 1/0 *via 192.168.2.254, Vlan4078, [1/0], 00:31:45, static 192.168.0.0/20, ubest/mbest: 1/0, attached *via 192.168.2.200, Vlan4078, [0/0], 00:36:29, direct 192.168.2.200/32, ubest/mbest: 1/0, attached *via 192.168.2.200, Vlan4078, [0/0], 00:36:29, local Пинг до шлюза sw1 через sw2 --- 192.168.2.254 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss round-trip min/avg/max = 9.925/16.395/20.419 ms Пинг до sw3 через sw2 --- 192.168.2.113 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss На sw1 такая же картина по пингу. SW3 192.168.2.113 arp + mac sh ip arp Address Age MAC Address Interface 192.168.2.200 00:04:32 ecbd.1ded.9581 Vlan4078 192.168.2.254 00:02:12 c84c.75e8.dbbf Vlan4078 sh mac address-table * 3103 c84c.75e8.dbbf dynamic 320 F F Eth1/15 ( порт со стороны isp который с вланом 3103 в котором завернуты вланы это мак sw1) * 3103 ecbd.1ded.9581 dynamic 320 F F Eth1/15 ( порт со стороны isp который с вланом 3103 в котором завернуты вланы это мак sw2) * 3103 f8c2.88cf.ba01 dynamic 320 F F Eth1/43 ( порт qinq loop это мак sw3) * 4078 c84c.75e8.dbbf dynamic 320 F F Eth1/44 ( порт qinq loop это мак sw1) * 4078 ecbd.1ded.9581 dynamic 320 F F Eth1/44 ( порт qinq loop это мак sw2) Настройки портов interface Ethernet1/15 description from_ISP switchport mode trunk switchport trunk allowed vlan 3103 no cdp enable spanning-tree bpdufilter enable interface Ethernet1/43 description qinq-loop switchport mode dot1q-tunnel switchport access vlan 3103 no cdp enable spanning-tree bpdufilter enable interface Ethernet1/44 description qinq-loop switchport mode trunk switchport trunk allowed vlan 4078 no cdp enable spanning-tree bpdufilter enable ip route 0.0.0.0/0 Vlan4078 192.168.2.254 0.0.0.0/0, ubest/mbest: 1/0 *via 192.168.2.254, Vlan4078, [1/0], 00:26:42, static 192.168.0.0/20, ubest/mbest: 1/0, attached *via 192.168.2.113, Vlan4078, [0/0], 00:26:42, direct 192.168.2.113/32, ubest/mbest: 1/0, attached *via 192.168.2.113, Vlan4078, [0/0], 00:26:42, local пинг до sw1 и sw2 через sw3 --- 192.168.2.254 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss --- 192.168.2.200 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss Edited September 4, 2023 by devlow Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted September 5, 2023 (edited) · Report post Действительно, с виду все красиво.... У меня пока только 4 идеи: 1) Потушить STP полностью на SW2-SW3 2) По жонглировать прошивками на SW2-SW3. n3k 7.0(3)I7(3) - довольно старая, уже 9-ка есть давно 3) сделать все же qinq без патча 4) Обратиться в циско-комьюнити на их сайте\телеге Edited September 5, 2023 by TriKS Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
