Не пролазит QinQ через cat6500

Wingman · August 28, 2016

Рабочий стенд:

Клиент <> DES-3200-18 < UNI > DGS-3420-26SC <> Juniper ex4500 <> ASR1k

Клиент в c-vlan 3, который заворачивается в S-Vlan 200 на DGS-3420. Дальше с тегом 0х8100 идет через джуник в АСР, где успешно распаковывается и терминируется.

Всё просто, всё работает.

Но - стоит добавить в цепочку cat6500, как трафик в QinQ ходить перестаёт ;( Схема:

Клиент <> DES-3200-18 < UNI > DGS-3420-26SC <> Cat 6500 <> Juniper ex4500 <> ASR1k

Везде джамбы включены, на интерфейсах каталиста MTU 1600:

down:

interface GigabitEthernet1/20
description -= QinQ Stand =-
switchport
switchport trunk encapsulation dot1q
switchport trunk native vlan 102
switchport trunk allowed vlan 50,200
switchport mode trunk
mtu 1600

up:

interface Port-channel3
description -= Juniper =-
switchport
switchport trunk encapsulation dot1q
switchport mode trunk
mtu 1600
end

Я чего-то уже даже не знаю, куда смотреть ;( Может, кто-нибуть что-нибуть подскажет?

Butch3r · August 28, 2016

IOS какой?

Wingman · August 28, 2016

IOS какой?

12.2(33)SXI6

stalker86 · August 28, 2016

Эм.а как Вы 1600 прописали?

ASW1_C6509#conf t

Enter configuration commands, one per line. End with CNTL/Z.

ASW1_C6509(config)#int gi 8/1

ASW1_C6509(config-if)#mt

ASW1_C6509(config-if)#mtu ?

<9216-9216> MTU size in bytes

ASW1_C6509(config-if)#mtu 1600

^

% Invalid input detected at '^' marker.

Cisco IOS Software, s72033_rp Software (s72033_rp-ADVIPSERVICESK9-M), Version 15.1(2)SY7, RELEASE SOFTWARE (fc4)

ROM: System Bootstrap, Version 12.2(17r)SX7, RELEASE SOFTWARE (fc1)

BOOTLDR: Cisco IOS Software, s72033_rp Software (s72033_rp-ADVIPSERVICESK9-M), Version 15.1(2)SY7, RELEASE SOFTWARE (fc4)

Wingman · August 28, 2016

Эм.а как Вы 1600 прописали?

Сначала надо

# system jumbomtu 1600

vurd · August 28, 2016

Мне не нравится наличие нейтив влана, не щнаю почему, но он что-то портит)

Wingman · August 28, 2016

Мне не нравится наличие нейтив влана, не щнаю почему, но он что-то портит)

Не, сначала оно точно также глючило на живой сети без нейтива) Ну убрал, эффекта не принесло

myth · August 28, 2016

Кстати, всегда хотел спросить. А какой смысл в переносе натив влана с 1 куда-то еще?

Wingman · August 28, 2016

Ну лично мне не оч нравится, если один влан шарится по всей сети)

zhenya` · August 28, 2016

show vlan id 200 ? что в мак таблице ?

Wingman · August 28, 2016

show vlan id 200 ? что в мак таблице ?

Маки на 6500 есть с обоих сторон

Butch3r · August 28, 2016

А в чём смысл уменьшения mtu? Или систем мту его наоборот увеличивает для коробки?

У меня в продакшене такой схемы нет, я только тестил на 7600. У меня просто через транк работало. Вот только не помню dot trunk или tunnel у меня был

rover-lt · August 28, 2016

Рабочий стенд:

Клиент <> DES-3200-18 < UNI > DGS-3420-26SC <> Juniper ex4500 <> ASR1k

Клиент в c-vlan 3, который заворачивается в S-Vlan 200 на DGS-3420. Дальше с тегом 0х8100 идет через джуник в АСР, где успешно распаковывается и терминируется.

Всё просто, всё работает.

Но - стоит добавить в цепочку cat6500, как трафик в QinQ ходить перестаёт ;( Схема:

Клиент <> DES-3200-18 < UNI > DGS-3420-26SC <> Cat 6500 <> Juniper ex4500 <> ASR1k

Везде джамбы включены, на интерфейсах каталиста MTU 1600:

down:
interface GigabitEthernet1/20
description -= QinQ Stand =-
switchport
switchport trunk encapsulation dot1q
switchport trunk native vlan 102
switchport trunk allowed vlan 50,200
switchport mode trunk
mtu 1600
up:
interface Port-channel3
description -= Juniper =-
switchport
switchport trunk encapsulation dot1q
switchport mode trunk
mtu 1600
end
Я чего-то уже даже не знаю, куда смотреть ;( Может, кто-нибуть что-нибуть подскажет?

может, баг или линейные карты не поддерживают?

только что посмотрел:

WS-X6748-GE-TX

WS-X6724-SFP

WS-X6748-SFP

WS-X6716-10GE

эти пропускают фреймы с двойным тегом в режиме 'switchport mode trunk'. IOS 12.2(33)SXH8a, шасси WS-C6509-E

в общей секции конфига ничего включающего или выключающего qinq нет, т.е. по-умолчанию идет.

Wingman · August 28, 2016

может, баг или линейные карты не поддерживают?

только что посмотрел:

WS-X6748-GE-TX

WS-X6724-SFP

WS-X6748-SFP

WS-X6716-10GE

эти пропускают фреймы с двойным тегом в режиме 'switchport mode trunk'. IOS 12.2(33)SXH8a, шасси WS-C6509-E

в общей секции конфига ничего включающего или выключающего qinq нет, т.е. по-умолчанию идет.

Не. Весь день дебага и экспериментов принёс ещё более странную картину.

Dlink <-> cat6500 <-> ex4500 <-> cat4924 <-> Dlink -- работает

Dlink <-> ex4500 <-> ASR -- работает

Dlink <-> cat6500 <-> ex4500 <-> asr -- НЕ работает

Dlink <-> cat4924 <-> ex4500 <-> asr -- НЕ работает

уже голова пухнет ;(

FATHER_FBI · August 28, 2016

может, баг или линейные карты не поддерживают?

только что посмотрел:

WS-X6748-GE-TX

WS-X6724-SFP

WS-X6748-SFP

WS-X6716-10GE

эти пропускают фреймы с двойным тегом в режиме 'switchport mode trunk'. IOS 12.2(33)SXH8a, шасси WS-C6509-E

в общей секции конфига ничего включающего или выключающего qinq нет, т.е. по-умолчанию идет.

Не. Весь день дебага и экспериментов принёс ещё более странную картину.

Dlink <-> cat6500 <-> ex4500 <-> cat4924 <-> Dlink -- работает

Dlink <-> ex4500 <-> ASR -- работает

Dlink <-> cat6500 <-> ex4500 <-> asr -- НЕ работает

Dlink <-> cat4924 <-> ex4500 <-> asr -- НЕ работает

уже голова пухнет ;(

Покажите

#show system mtu

ayf · August 28, 2016

А разве для q-in-q не надо вводить: switch(config-if)# switchport mode dot1q-tunnel ? Я так настраивал.

http://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/5_x/nx-os/interfaces/configuration/guide/if_cli/if_qinq_tunnel.html

Edited August 28, 2016 by ayf

vurd · August 28, 2016

Думается надо миррорить порты и смотреть снифером. Иначе гадание выходит.

Wingman · August 28, 2016

Покажите
#show system mtu

c6500#sh system mtu
         ^
% Invalid input detected at '^' marker.

c6500#sh run | in jumbo
system jumbomtu 1600

А разве для q-in-q не надо вводить: switch(config-if)# switchport mode dot1q-tunnel ? Я так настраивал.

http://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/5_x/nx-os/interfaces/configuration/guide/if_cli/if_qinq_tunnel.html

В данном случае циски - транзитные железки, которые ничего не знают о qinq и тупо пропускают вланы на основе внешнего тега. Главное, чтоб mtu хватило

Подампил на ex4500:

22:52:33.860348  In 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 7, ethertype ARP, arp who-has 10.206.141.1 tell 10.206.141.99
22:52:34.434816  In 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 7, ethertype ARP, arp who-has 10.206.141.1 tell 10.206.141.99
22:52:43.973834  In 00:0c:29:55:f4:36 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype ARP, arp who-has 10.206.141.2 tell 10.206.141.100
22:52:44.915473  In 00:0c:29:55:f4:36 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype ARP, arp who-has 10.206.141.3 tell 10.206.141.100
22:52:46.435792  In 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 7, ethertype ARP, arp who-has 10.206.141.1 tell 10.206.141.99
22:52:47.495238  In 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 7, ethertype ARP, arp who-has 10.206.141.12 tell 10.206.141.99
22:55:42.432867  In 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 7, ethertype ARP, arp who-has 10.206.141.1 tell 10.206.141.99
22:55:46.430383  In 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 7, ethertype ARP, arp who-has 10.206.141.12 tell 10.206.141.99
22:55:46.430755  In 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 7, ethertype ARP, arp who-has 10.206.141.1 tell 10.206.141.99

Вот мак `00:0c:29:55:f4:36` - это клиент, воткнутый по схеме `dlink > ex4500 > asr`, которая работает. И там и там 0x8100; и там и там видно qinq vlan 200.3

Единственное отличие, которое я вижу, в их арпах - `p 0` и `p 7`? Что это может быть? Если ip-протокол, то что такое p 0, с которым - не работает? :)

vurd · August 28, 2016

p - это cos, по всей видимости. (riority code point (PCP): a 3-bit field which refers to the IEEE 802.1p class of service and maps to the frame priority level. Values in order of priority are: 1 (background), 0 (best effort), 2 (excellent effort), 3 (critical application), ..., 7 (network control). These values can be used to prioritize different classes of traffic (voice, video, data, etc.).)

А вот почему пакеты летят на бродкаст-мак ffffffff? По-идеи так быть не должно...а стоп, это же arp. Так и должно быть.

Ладно ок, а где ответы? :)

Wingman · August 28, 2016

А вот почему пакеты летят на бродкаст-мак ffffffff? По-идеи так быть не должно...а стоп, это же arp. Так и должно быть.

Ладно ок, а где ответы? :)

Ответов нет, тк джуник видит только то, что ему на проц попало, а ответы юникастом через него пролетают.

vurd · August 28, 2016

Вы можете по пути вставить два простых длинка с миррором портов? Поставить до и после проблемной железки и контролировать с двух буков что происходит.

Wingman · August 28, 2016

Надо будет что-то подобное попробовать, но прямо сейчас не могу )

mikezzzz · August 29, 2016

IOS какой?

12.2(33)SXI6

прям про ваш иос пишут - https://bst.cloudapps.cisco.com/bugsearch/bug/CSCtq52016/?referring_site=bugquickviewredir

Wingman · August 29, 2016

IOS какой?

12.2(33)SXI6

прям про ваш иос пишут - https://bst.cloudapps.cisco.com/bugsearch/bug/CSCtq52016/?referring_site=bugquickviewredir

Там учётка цисковская нужна

Ну и, как выяснилось, проблема глубже; через 4924 точно так же не работает, при этом QinQ dlink <> 4924 <> 6500 <> dlink - работает

см. на несколько постов выше

Wingman · August 29, 2016

Продолжаю ковыряния; смиррорил порт между джуном и ASR:

Трафик, который пролазит:

11:30:52.471547 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.100 > 10.206.141.3: ICMP echo request, id 17741, seq 1, length 64
11:30:53.359040 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.100 > 10.206.141.1: ICMP echo request, id 17742, seq 1, length 64
11:30:53.359047 a4:6c:2a:a5:c7:20 > 00:0c:29:55:f4:36, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.1 > 10.206.141.100: ICMP echo reply, id 17742, seq 1, length 64
11:30:54.216054 00:0c:29:55:f4:36 > 33:33:00:01:00:02, ethertype 802.1Q (0x8100), length 120: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv6, fe80::20c:29ff:fe55:f436.546 > ff02::1:2.547: dhcp6 solicit
11:30:54.216062 00:0c:29:55:f4:36 > 33:33:00:01:00:02, ethertype 802.1Q (0x8100), length 120: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv6, fe80::20c:29ff:fe55:f436.546 > ff02::1:2.547: dhcp6 solicit
11:30:54.218549 00:0c:29:55:f4:36 > 33:33:00:01:00:02, ethertype 802.1Q (0x8100), length 116: vlan 200, p 0, ethertype IPv6, fe80::20c:29ff:fe55:f436.546 > ff02::1:2.547: dhcp6 solicit
11:30:54.218556 00:0c:29:55:f4:36 > 33:33:00:01:00:02, ethertype 802.1Q (0x8100), length 116: vlan 200, p 0, ethertype IPv6, fe80::20c:29ff:fe55:f436.546 > ff02::1:2.547: dhcp6 solicit
11:30:54.542610 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.100 > 10.206.141.2: ICMP echo request, id 17743, seq 1, length 64
11:30:55.662716 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.100 > 10.206.141.4: ICMP echo request, id 17744, seq 1, length 64
11:30:56.982961 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.100 > 10.206.141.1: ICMP echo request, id 17745, seq 1, length 64
11:30:56.982969 a4:6c:2a:a5:c7:20 > 00:0c:29:55:f4:36, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.1 > 10.206.141.100: ICMP echo reply, id 17745, seq 1, length 64
11:30:57.474929 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype ARP, Request who-has 10.206.141.3 tell 10.206.141.100, length 46
11:30:57.474936 a4:6c:2a:a5:c7:20 > 00:0c:29:55:f4:36, ethertype 802.1Q (0x8100), length 64: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype ARP, Reply 10.206.141.3 is-at a4:6c:2a:a5:c7:20, length 42
11:30:57.982889 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.100 > 10.206.141.1: ICMP echo request, id 17745, seq 2, length 64
11:30:57.982897 a4:6c:2a:a5:c7:20 > 00:0c:29:55:f4:36, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.1 > 10.206.141.100: ICMP echo reply, id 17745, seq 2, length 64
11:30:58.983064 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.100 > 10.206.141.1: ICMP echo request, id 17745, seq 3, length 64
11:30:58.983070 a4:6c:2a:a5:c7:20 > 00:0c:29:55:f4:36, ethertype 802.1Q (0x8100), length 106: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype IPv4, 10.206.141.1 > 10.206.141.100: ICMP echo reply, id 17745, seq 3, length 64
11:30:59.554986 00:0c:29:55:f4:36 > a4:6c:2a:a5:c7:20, ethertype 802.1Q (0x8100), length 68: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype ARP, Request who-has 10.206.141.2 tell 10.206.141.100, length 46
11:30:59.554993 a4:6c:2a:a5:c7:20 > 00:0c:29:55:f4:36, ethertype 802.1Q (0x8100), length 64: vlan 200, p 0, ethertype 802.1Q, vlan 3, p 0, ethertype ARP, Reply 10.206.141.2 is-at a4:6c:2a:a5:c7:20, length 42

Трафик, который НЕ пролазит:

11:40:40.220598 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 64: vlan 200, p 0, ethertype ARP, Request who-has 10.206.141.1 tell 10.20.141.99, length 46
11:40:40.220604 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 64: vlan 200, p 0, ethertype ARP, Request who-has 10.206.141.1 tell 10.20.141.99, length 46
11:40:43.149668 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 64: vlan 200, p 0, ethertype ARP, Request who-has 10.206.141.1 tell 10.20.141.99, length 46
11:40:43.149674 90:94:e4:b8:16:40 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 64: vlan 200, p 0, ethertype ARP, Request who-has 10.206.141.1 tell 10.20.141.99, length 46

Т.е. каким-то образом где-то по дороге потерялся внутренний тег 3

Надо бы посмотреть, что от циски в джун влетает, но там, блин, трафика дохрена ><

Sign In

Не пролазит QinQ через cat6500

Recommended Posts

Wingman

Butch3r

Wingman

stalker86

Wingman

vurd

Wingman

myth

Wingman

zhenya`

Wingman

Butch3r

rover-lt

Wingman

FATHER_FBI

ayf

vurd

Wingman

vurd

Wingman

vurd

Wingman

mikezzzz

Wingman

Wingman

Join the conversation