alibek Posted March 6, 2025 Posted March 6, 2025 Приветствую. Возник вопрос, но ТП Нага дает слишком обтекаемые ответы, хочу спросить совета у форума. Есть два линка 10G, собранных в LAG (LACP active). На одной стороне (мы) Extreme X670, на другой стороне (аплинк) какой-то Huawei. LACP работает нормально, балансирует трафик между линками, при падении любого трафик проходит по оставшемуся. На линках используются одноволоконные SFP+ WDM 1270/1330. Возникла необходимость снять копию трафика с этого стыка, с помощью оптического сплиттера. Делить оптический сигнал на WDM оказалось делом слишком трудоемким и проблеммным. Поэтому решили заменить одноволоконные SFP+ на двухволоконные, тогда все на порядок проще. Но возникли сложности с доступом на стороне аплинка и быстро их решить не получится. Поэтому решил поставить в разрыв 10G-коммутатор, принять линк на одноволоконные модули и тут же отдать на двухволоконные. В качестве такого "конвертера" был куплен SNR-S5210X-8F. Собственно, логика довольно простая — делаю LACP на портах 1+2 и 3+4, одноволоконные SFP+ WDM снимаю с X670 и ставлю в порты 1 и 2 на S5210X, вместо них ставлю двухволоконные SFP+ на X670 и порты 3 и 4 на S5210X. Настройка коммутатора примерно такая: vlan database vlan 10 state enable ! interface xe1 switchport mode trunk switchport trunk native vlan 1 channel-group 1 mode active ! interface xe2 switchport mode trunk switchport trunk native vlan 1 channel-group 1 mode active ! interface xe3 switchport mode trunk switchport trunk native vlan 1 channel-group 2 mode active ! interface xe4 switchport mode trunk switchport trunk native vlan 1 channel-group 2 mode active ! interface xe5 ! interface xe6 ! interface xe7 ! interface xe8 description MGMT switchport access vlan 10 ! interface po1 description LAG-UP switchport mode trunk switchport trunk native vlan 1 ! interface po2 description LAG-DN switchport mode trunk switchport trunk native vlan 1 ! interface vlan1 shutdown ! interface vlan10 ip address ... ! Если бы это были одиночные порты, то вообще бы вопросов не возникло. Но вот в случае LACP есть некоторые сомнения — не будет ли тут сюрпризов? Вставить ник Quote
UglyAdmin Posted March 6, 2025 Posted March 6, 2025 Поставили бы два конвертера SFP-SFP, вообще не пришлось бы думать об этом. 🙂 Вставить ник Quote
TheUser Posted March 6, 2025 Posted March 6, 2025 Предлагаю изъебнуться на тех же WDM, добавив цикруляторов. Вставить ник Quote
alibek Posted March 6, 2025 Author Posted March 6, 2025 Цитата Поставили бы два конвертера SFP-SFP Не уверен. Сейчас вместо чистого конвертера легко может быть двухпортовый свитч, и как в этом случае себя поведет LACP — непонятно. Цитата добавив цикруляторов Ну вот про это я и писал "слишком трудоемко и проблемно". Нужно найти еще те циркуляторы (я не нашел). И плюс к этому купить целую пачку цветных SFP для приемника сигнала. Вставить ник Quote
TheUser Posted March 6, 2025 Posted March 6, 2025 32 минуты назад, alibek сказал: купить целую пачку цветных SFP для приемника сигнала Приёмники широкополосные, это лазеры там на конкретную длинну волны. Можно поднять на обычных двуглазых, воткнув зеркалирванный порт в RX, а TX заткнув жвачкой. Вставить ник Quote
alibek Posted March 6, 2025 Author Posted March 6, 2025 Ну, возможно. Но приемником будет СОРМ и не уверен, что поставщик согласится на такое. Собственно, он и требует двухволоконные 1310. Вставить ник Quote
UglyAdmin Posted March 6, 2025 Posted March 6, 2025 1 hour ago, alibek said: Не уверен. Сейчас вместо чистого конвертера легко может быть двухпортовый свитч, и как в этом случае себя поведет LACP — непонятно. Конвертеры уже давно поголовно двухпортовые свитчи, но это некритично: неуправляемые свитчи не смотрят на всякие LACP/BPDU. С коммутатором же экпериментировать надо, т.к. он вполне может разложить трафик по портам по-другому. А прозрачно LACP сумеет пропустить? Не помню такого функционала на тех L2-свитчах, с которыми работал. Если сумеет, то можно порт-в-порт настроить пропуск трафика через QinQ и с channel-group не заморачиваться... Вставить ник Quote
alibek Posted March 6, 2025 Author Posted March 6, 2025 Цитата А прозрачно LACP сумеет пропустить? Не слышал про такое на коммутаторах. Такое скорее на роутерах возможно (есть сделать мост). Спрошу в ТП, но сомневаюсь. Вставить ник Quote
TheUser Posted March 6, 2025 Posted March 6, 2025 49 минут назад, UglyAdmin сказал: А прозрачно LACP сумеет пропустить Простите, а нахера? Или тащмаёру интересно содаржимое LACPDU? Вставить ник Quote
UglyAdmin Posted March 6, 2025 Posted March 6, 2025 5 minutes ago, TheUser said: Простите, а нахера? Чтобы не заморачиваться с channel-group на промежуточном коммутаторе. 🙂 Вставить ник Quote
passer Posted March 6, 2025 Posted March 6, 2025 3 часа назад, alibek сказал: Но вот в случае LACP есть некоторые сомнения — не будет ли тут сюрпризов? Не должно. Единственное, что бросилось в глаза: зачем аплинку в транке влан управления SNR'а. Неоднократно настраивал и ставил такие переприёмники. Вставить ник Quote
alibek Posted March 6, 2025 Author Posted March 6, 2025 Цитата зачем аплинку в транке влан управления SNR'а Не нужен. Просто чтобы не перечислять все остальное в trunk allowed vlan (если этой настройки нет, то проходят все VLAN). На аплинке они все равно будут проигнорированы. Цитата Простите, а нахера? Цитата Чтобы не заморачиваться с channel-group на промежуточном коммутаторе. Ну заморочки с channel-group по-моему куда проще будут, чем заморочки с qinq. Еще плюсом было бы включение устройства в разрыв без перерывов прохождения трафика — можно было бы переключать линки по одному. Но на мой взгляд оно того не стоит. Проще в 3 утра оба линка разом переключить, там перерыв будет меньше минуты. Цитата Неоднократно настраивал и ставил такие переприёмники. Звучит оптимистично. Наг вроде бы тоже проблем не ожидает. В ближайшее время проверю. Вставить ник Quote
vurd Posted March 6, 2025 Posted March 6, 2025 3 часа назад, UglyAdmin сказал: Поставили бы два конвертера SFP-SFP, вообще не пришлось бы думать об этом. 🙂 Плюспиццот. 2R достаточно было бы. Например, https://prointech.ru/catalog/transpondery/oeo-preobrazovateli/neupravlyaemyj-konverter-interfejsov-s-podderzhkoj-funkcii-2r-10-gbit-s-sfp-sfp/ В остальном, будет работать и так, только смотрите балансировку. Вставить ник Quote
passer Posted March 6, 2025 Posted March 6, 2025 После опыта использования медиаконверторов MC-220L, которые могли с задорной индикацией "всё хорошо, друг, я работаю" перестать пропускать трафик в одном или обоих направлениях и медиаконвертора D-Link 10GBase-LR - CX4 (его так ни у кого завести не получилось и сервис мне его менял, но не помогло) предпочитаю не использовать подобные неуправляемые железки. Их таращит, а ты определить только по косвенным признакам можешь. Так что уж лучше управляемый свитч, он завсегда пригодится даже после отмены задачи. Вставить ник Quote
alibek Posted March 7, 2025 Author Posted March 7, 2025 Цитата которые могли с задорной индикацией "всё хорошо, друг, я работаю" перестать пропускать трафик в одном или обоих направлениях Вот, хорошо что напомнили, а то я уже начал искать медиаконвертеры. Нафиг-нафиг, у них иногда бывают очень странные глюки, которые дистанционно выявить невозможно, да и на месте что-то заподозрить можно только по косвенным признакам. С управляемым железом на моей памяти подобные необъяснимые глюки случались только дважды или трижды, а вот с медиаконвертерами подобное происходит намного чаще. Вставить ник Quote
sirmax Posted March 9, 2025 Posted March 9, 2025 В 07.03.2025 в 09:09, alibek сказал: намного чаще. Настолько, что во всех местах где от них можно избавиться- мы их выкинули. Вставить ник Quote
alibek Posted March 11, 2025 Author Posted March 11, 2025 Что-то не хочет работать. Не поднимается LACP между SNR и Extreme, причем линки есть, LAG со стороны Extreme есть, а со стороны SNR не поднимается. SNR#sh int brief Codes: ETH - Ethernet, LB - Loopback , AGG - Aggregate , MLAG - MLAG Aggregate FR - Frame Relay, TUN -Tunnel, PBB - PBB Logical Port, VP - Virtual Port CVP - Channelised Virtual Port, METH - Management Ethernet, UNK- Unknown ED - ErrDisabled, PD - Protocol Down, AD - Admin Down , NA - Not Applicable NOM - No operational members , PVID - Port Vlan-id ------------------------------------------------------------------------------------------ Ethernet Type PVID Mode Status Reason Speed Port Description Interface Ch # ------------------------------------------------------------------------------------------ xe1 XG-SFP+ 1 trunk up none 10g (P)1 xe2 XG-SFP+ 1 trunk up none 10g (P)1 xe3 XG-SFP+ 1 trunk up none 10g (P)2 xe4 XG-SFP+ 1 trunk up none 10g (P)2 xe5 XG-SFP+ 1 access down PD 10g -- xe6 XG-SFP+ 1 access down PD 10g -- xe7 XG-SFP+ 1 access down PD 10g -- xe8 XG-SFP+ 30 access up none 1g -- MGMT ------------------------------------------------------------------------------------------ Port-channel Type PVID Mode Status Reason Speed Description Interface ------------------------------------------------------------------------------------------ po1 AGG 1 trunk up none 20g LAG-UP po2 AGG 1 trunk down PD 0 LAG-DN Extreme# sh lacp lag 1 Lag Actor Actor Partner Partner Partner Agg Actor Sys-Pri Key MAC Sys-Pri Key Count MAC -------------------------------------------------------------------------------- 1 0 0x03e9 f8:f0:82:d6:8b:55 32768 0x0002 2 00:04:96:97:ca:af Port list: Member Port Rx Sel Mux Actor Partner Port Priority State Logic State Flags Port -------------------------------------------------------------------------------- 1 0 Current Selected Collect-Dist A-GSCD-- 5003 45 0 Current Selected Collect-Dist A-GSCD-- 5004 ================================================================================ Actor Flags: A-Activity, T-Timeout, G-Aggregation, S-Synchronization C-Collecting, D-Distributing, F-Defaulted, E-Expired В логах ничего криминального. Из странностей только ошибки LACP со стороны SNR: EDGE-CV-S5210X#sh lacp-counter % Traffic statistics Port LACPDUs Marker Marker-Rsp Pckt err Sent Recv Sent Recv Sent Recv Sent Recv % Aggregator po1 100001 xe1 38 37 0 0 0 0 0 0 xe2 39 38 0 0 0 0 0 0 % Aggregator po2 100002 xe3 18 0 0 0 0 0 0 15 xe4 19 0 0 0 0 0 0 14 SNR и Extreme соединены новыми заводскими метровыми патчкордами. Аттенюаторов нет. Ошибок в настройках я не вижу, ТП Нага тоже. Нет предположений, почему LACP не хочет заводиться? Вставить ник Quote
vurd Posted March 11, 2025 Posted March 11, 2025 Ой, ну, зато, глюков нет 😃 Конфиги покажите конкретнее. Судя по счетчику на снр, он не получил ни одного LACPDU от экстрима, попробуйте перевести на экстриме в активный режим протокол, плюс можно поиграться с long\short Вставить ник Quote
alibek Posted March 11, 2025 Author Posted March 11, 2025 На Extreme это режим по умолчанию (не отображается при выводе конфигурации). Разве что с long/short не экспериментировал. Со стороны SNR: hostname EDGE-CV-S5210X ! ! no ip domain-lookup spanning-tree mode rstp feature telnet no feature ssh no feature tacacs+ snmp-server view all .1 included snmp-server enable snmp ! vlan database vlan 30 state enable vlan 300-399 state enable vlan 1000-1999 state enable ! interface xe1 switchport mode trunk switchport trunk native vlan 1 channel-group 1 mode active ! interface xe2 switchport mode trunk switchport trunk native vlan 1 channel-group 1 mode active ! interface xe3 switchport mode trunk switchport trunk native vlan 1 channel-group 2 mode active ! interface xe4 switchport mode trunk switchport trunk native vlan 1 channel-group 2 mode active ! interface xe5 ! interface xe6 ! interface xe7 ! interface xe8 description MGMT switchport access vlan 30 ! interface po1 description LAG-UP switchport mode trunk switchport trunk native vlan 1 ! interface po2 description LAG-DN switchport mode trunk switchport trunk native vlan 1 ! interface vlan1 shutdown ! interface vlan30 ip address 10.1.144.2/24 ! ip route 0.0.0.0/0 10.1.144.1 ! line con 0 login line vty 0 39 login ! end Со стороны Extreme: configure ports 1 auto off speed 10000 duplex full configure ports 45 auto off speed 10000 duplex full enable sharing 1 grouping 1,45 algorithm address-based L2 lacp Сейчас аплинк подключен к Extreme (одним линком) и состояние LAG такое: # sh lacp lag 1 detail Lag Actor Actor Partner Partner Partner Agg Actor Sys-Pri Key MAC Sys-Pri Key Count MAC -------------------------------------------------------------------------------- 1 0 0x03e9 00:2e:c7:dd:0a:10 32768 0x0241 1 00:04:96:97:ca:af Enabled : Yes LAG State : Up Unack count : 0 Wait-for-count : 0 Current timeout : Long Activity mode : Active Defaulted Action : Delete Fallback : Disabled Fallback timeout : 60 seconds Receive state : Enabled Transmit state : Enabled Minimum active : 1 Selected count : 1 Standby count : 0 LAG Id flag : Yes S.pri:0 , S.id:00:04:96:97:ca:af, K:0x03e9 T.pri:32768, T.id:00:2e:c7:dd:0a:10, L:0x0241 Port list: Member Port Rx Sel Mux Actor Partner Port Priority State Logic State Flags Port -------------------------------------------------------------------------------- 1 0 Idle Unselected Detached -------- 0 45 0 Current Selected Collect-Dist A-GSCD-- 4 ================================================================================ Actor Flags: A-Activity, T-Timeout, G-Aggregation, S-Synchronization C-Collecting, D-Distributing, F-Defaulted, E-Expired Когда подключал SNR - детальное состояние не снимал, но LAG был активен: # sh lacp LACP Up : Yes LACP Enabled : Yes System MAC : 00:04:96:97:ca:af LACP PDUs dropped on non-LACP ports : 840031 Lag Actor Actor Partner Partner Partner Agg Sys-Pri Key MAC Sys-Pri Key Count -------------------------------------------------------------------------------- 1 0 0x03e9 f8:f0:82:d6:8b:55 32768 0x0002 2 ================================================================================ # sh lacp lag 1 Lag Actor Actor Partner Partner Partner Agg Actor Sys-Pri Key MAC Sys-Pri Key Count MAC -------------------------------------------------------------------------------- 1 0 0x03e9 f8:f0:82:d6:8b:55 32768 0x0002 2 00:04:96:97:ca:af Port list: Member Port Rx Sel Mux Actor Partner Port Priority State Logic State Flags Port -------------------------------------------------------------------------------- 1 0 Current Selected Collect-Dist A-GSCD-- 5003 45 0 Current Selected Collect-Dist A-GSCD-- 5004 ================================================================================ Actor Flags: A-Activity, T-Timeout, G-Aggregation, S-Synchronization C-Collecting, D-Distributing, F-Defaulted, E-Expired Хм... Разве что автосогласование на SNR можно выключить. Вставить ник Quote
alibek Posted March 11, 2025 Author Posted March 11, 2025 Отключение автосогласования не помогло. Остается разве что статичный port-channel сделать. Вставить ник Quote
passer Posted March 11, 2025 Posted March 11, 2025 configure sharing 1 lacp system-priority 1 https://habr.com/ru/companies/ivi/articles/264527/ Вставить ник Quote
alibek Posted March 11, 2025 Author Posted March 11, 2025 На статике все заработало. interface xe3 speed-duplex force10g-full negotiation off switchport mode trunk switchport trunk native vlan 1 static-channel-group 2 ! interface xe4 speed-duplex force10g-full negotiation off switchport mode trunk switchport trunk native vlan 1 static-channel-group 2 ! interface sa2 description LAG-DN switchport mode trunk switchport trunk native vlan 1 enable sharing 1 grouping 1,45 algorithm address-based L2 Цитата Ой, ну, зато, глюков нет Все же вещи не сравнимые. Да, LACP почему-то не заработал — может быть что-то настроено неправильно, может быть баг или несовместимость. Но по крайней мере очевидна неисправность (неработоспособность) и есть возможности что-то поменять. А с неуправляемым медиаконвертером нет очевидного способа понять, все ли работает нормально или нет. Вставить ник Quote
alibek Posted March 11, 2025 Author Posted March 11, 2025 Цитата configure sharing 1 lacp system-priority 1 Однако. Попробую, но уже завтра под утро. Вставить ник Quote
AN111 Posted March 11, 2025 Posted March 11, 2025 Для SNR-S5210X-8F вроде заявлена "Поддержка QinQ Port-based" Если SNR-S5210 умеет пропускать LACP BPDU, можно сделать 2 пары транзитных QinQ портов и не заморачиваться с LACP и прочими настройками на SNR-S5210X-8F Выше это уже описывали... Вставить ник Quote
alibek Posted March 11, 2025 Author Posted March 11, 2025 Вряд ли я буду это делать. LAG заработал, а лучшее - враг хорошего. Но на будущее уточню. Вроде бы как в QinQ MAC-адреса кадров не инкапсулируются. При этом с обоих сторон есть одинаковые MAC-адреса в разных VLAN. Не получиться ли в QinQ коллизии? Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.