[alibek]

Приветствую.

Возник вопрос, но ТП Нага дает слишком обтекаемые ответы, хочу спросить совета у форума.

 

Есть два линка 10G, собранных в LAG (LACP active). На одной стороне (мы) Extreme X670, на другой стороне (аплинк) какой-то Huawei.

LACP работает нормально, балансирует трафик между линками, при падении любого трафик проходит по оставшемуся.

На линках используются одноволоконные SFP+ WDM 1270/1330.

 

Возникла необходимость снять копию трафика с этого стыка, с помощью оптического сплиттера.

Делить оптический сигнал на WDM оказалось делом слишком трудоемким и проблеммным.

Поэтому решили заменить одноволоконные SFP+ на двухволоконные, тогда все на порядок проще.

Но возникли сложности с доступом на стороне аплинка и быстро их решить не получится.

 

Поэтому решил поставить в разрыв 10G-коммутатор, принять линк на одноволоконные модули и тут же отдать на двухволоконные.

В качестве такого "конвертера" был куплен SNR-S5210X-8F.

Собственно, логика довольно простая — делаю LACP на портах 1+2 и 3+4, одноволоконные SFP+ WDM снимаю с X670 и ставлю в порты 1 и 2 на S5210X, вместо них ставлю двухволоконные SFP+ на X670 и порты 3 и 4 на S5210X.

Настройка коммутатора примерно такая:

vlan database
 vlan 10  state enable
!
interface xe1
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 1 mode active
!
interface xe2
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 1 mode active
!
interface xe3
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 2 mode active
!
interface xe4
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 2 mode active
!
interface xe5
!
interface xe6
!
interface xe7
!
interface xe8
 description MGMT
 switchport access vlan 10
!
interface po1
 description LAG-UP
 switchport mode trunk
 switchport trunk native vlan 1
!
interface po2
 description LAG-DN
 switchport mode trunk
 switchport trunk native vlan 1
!
interface vlan1
 shutdown
!
interface vlan10
 ip address ...
!

Если бы это были одиночные порты, то вообще бы вопросов не возникло.

Но вот в случае LACP есть некоторые сомнения — не будет ли тут сюрпризов?

 

[UglyAdmin]

Поставили бы два конвертера SFP-SFP, вообще не пришлось бы думать об этом. 🙂

[TheUser]

Предлагаю изъебнуться на тех же WDM, добавив цикруляторов.

[alibek]

Цитата

Поставили бы два конвертера SFP-SFP

Не уверен. Сейчас вместо чистого конвертера легко может быть двухпортовый свитч, и как в этом случае себя поведет LACP — непонятно.

 

Цитата

добавив цикруляторов

Ну вот про это я и писал "слишком трудоемко и проблемно".

Нужно найти еще те циркуляторы (я не нашел). И плюс к этому купить целую пачку цветных SFP для приемника сигнала.

[TheUser]

32 минуты назад, alibek сказал:

купить целую пачку цветных SFP для приемника сигнала

Приёмники широкополосные, это лазеры там на конкретную длинну волны. Можно поднять на обычных двуглазых, воткнув зеркалирванный порт в RX, а TX заткнув жвачкой.

 

[alibek]

Ну, возможно.

Но приемником будет СОРМ и не уверен, что поставщик согласится на такое.

Собственно, он и требует двухволоконные 1310.

[UglyAdmin]

1 hour ago, alibek said:

Не уверен. Сейчас вместо чистого конвертера легко может быть двухпортовый свитч, и как в этом случае себя поведет LACP — непонятно.

Конвертеры уже давно поголовно двухпортовые свитчи, но это некритично: неуправляемые свитчи не смотрят на всякие LACP/BPDU.

С коммутатором же экпериментировать надо, т.к. он вполне может разложить трафик по портам по-другому.

А прозрачно LACP сумеет пропустить? Не помню такого функционала на тех L2-свитчах, с которыми работал.

Если сумеет, то можно порт-в-порт настроить пропуск трафика через QinQ и с channel-group не заморачиваться...

[alibek]

Цитата

А прозрачно LACP сумеет пропустить?

Не слышал про такое на коммутаторах.

Такое скорее на роутерах возможно (есть сделать мост).

Спрошу в ТП, но сомневаюсь.

[TheUser]

49 минут назад, UglyAdmin сказал:

А прозрачно LACP сумеет пропустить

Простите, а нахера?

Или тащмаёру интересно содаржимое LACPDU?

[UglyAdmin]

5 minutes ago, TheUser said:

Простите, а нахера?

Чтобы не заморачиваться с channel-group на промежуточном коммутаторе. 🙂

[passer]

3 часа назад, alibek сказал:

Но вот в случае LACP есть некоторые сомнения — не будет ли тут сюрпризов?

Не должно. Единственное, что бросилось в глаза: зачем аплинку в транке влан управления SNR'а.
Неоднократно настраивал и ставил такие переприёмники.

[alibek]

Цитата

зачем аплинку в транке влан управления SNR'а

Не нужен. Просто чтобы не перечислять все остальное в trunk allowed vlan (если этой настройки нет, то проходят все VLAN).

На аплинке они все равно будут проигнорированы.

 

Цитата

Простите, а нахера?

Цитата

Чтобы не заморачиваться с channel-group на промежуточном коммутаторе.

Ну заморочки с channel-group по-моему куда проще будут, чем заморочки с qinq.

Еще плюсом было бы включение устройства в разрыв без перерывов прохождения трафика — можно было бы переключать линки по одному.

Но на мой взгляд оно того не стоит. Проще в 3 утра оба линка разом переключить, там перерыв будет меньше минуты.

 

Цитата

Неоднократно настраивал и ставил такие переприёмники.

Звучит оптимистично. Наг вроде бы тоже проблем не ожидает.

В ближайшее время проверю.

[vurd]

3 часа назад, UglyAdmin сказал:

Поставили бы два конвертера SFP-SFP, вообще не пришлось бы думать об этом. 🙂

Плюспиццот. 2R достаточно было бы. Например, https://prointech.ru/catalog/transpondery/oeo-preobrazovateli/neupravlyaemyj-konverter-interfejsov-s-podderzhkoj-funkcii-2r-10-gbit-s-sfp-sfp/

 

В остальном, будет работать и так, только смотрите балансировку.

[passer]

После опыта использования медиаконверторов MC-220L, которые могли с задорной индикацией "всё хорошо, друг, я работаю" перестать пропускать трафик в одном или обоих направлениях и медиаконвертора D-Link 10GBase-LR - CX4 (его так ни у кого завести не получилось и сервис мне его менял, но не помогло) предпочитаю не использовать подобные неуправляемые железки. Их таращит, а ты определить только по косвенным признакам можешь.

Так что уж лучше управляемый свитч, он завсегда пригодится даже после отмены задачи.

[alibek]

Цитата

которые могли с задорной индикацией "всё хорошо, друг, я работаю" перестать пропускать трафик в одном или обоих направлениях

Вот, хорошо что напомнили, а то я уже начал искать медиаконвертеры.

Нафиг-нафиг, у них иногда бывают очень странные глюки, которые дистанционно выявить невозможно, да и на месте что-то заподозрить можно только по косвенным признакам.

С управляемым железом на моей памяти подобные необъяснимые глюки случались только дважды или трижды, а вот с медиаконвертерами подобное происходит намного чаще.

[sirmax]

В 07.03.2025 в 09:09, alibek сказал:

намного чаще.

Настолько, что во всех местах где от них можно избавиться- мы их выкинули.

 

[alibek]

Что-то не хочет работать. Не поднимается LACP между SNR и Extreme, причем линки есть, LAG со стороны Extreme есть, а со стороны SNR не поднимается.

SNR#sh int brief

Codes: ETH - Ethernet, LB - Loopback , AGG - Aggregate , MLAG - MLAG Aggregate
       FR - Frame Relay, TUN -Tunnel, PBB - PBB Logical Port, VP - Virtual Port 
       CVP - Channelised Virtual Port, METH - Management Ethernet, UNK- Unknown 
       ED - ErrDisabled, PD - Protocol Down, AD - Admin Down , NA - Not Applicable
       NOM - No operational members , PVID - Port Vlan-id


------------------------------------------------------------------------------------------
Ethernet   Type        PVID  Mode              Status  Reason  Speed Port    Description
Interface                                                            Ch #
------------------------------------------------------------------------------------------
xe1        XG-SFP+     1     trunk             up      none    10g   (P)1   
xe2        XG-SFP+     1     trunk             up      none    10g   (P)1   
xe3        XG-SFP+     1     trunk             up      none    10g   (P)2   
xe4        XG-SFP+     1     trunk             up      none    10g   (P)2   
xe5        XG-SFP+     1     access            down    PD      10g   --     
xe6        XG-SFP+     1     access            down    PD      10g   --     
xe7        XG-SFP+     1     access            down    PD      10g   --     
xe8        XG-SFP+     30    access            up      none    1g    --      MGMT


------------------------------------------------------------------------------------------
Port-channel  Type     PVID  Mode              Status  Reason  Speed         Description
Interface
------------------------------------------------------------------------------------------
po1           AGG      1     trunk             up      none    20g           LAG-UP
po2           AGG      1     trunk             down    PD      0             LAG-DN

Extreme# sh lacp lag 1

Lag   Actor    Actor  Partner           Partner  Partner Agg   Actor            
      Sys-Pri  Key    MAC               Sys-Pri  Key     Count MAC              
--------------------------------------------------------------------------------
1           0  0x03e9 f8:f0:82:d6:8b:55   32768  0x0002      2 00:04:96:97:ca:af

Port list:

Member     Port      Rx           Sel          Mux            Actor     Partner 
Port       Priority  State        Logic        State          Flags     Port    
--------------------------------------------------------------------------------
1          0         Current      Selected     Collect-Dist   A-GSCD--  5003     
45         0         Current      Selected     Collect-Dist   A-GSCD--  5004     
================================================================================
Actor Flags: A-Activity, T-Timeout, G-Aggregation, S-Synchronization
             C-Collecting, D-Distributing, F-Defaulted, E-Expired

В логах ничего криминального. Из странностей только ошибки LACP со стороны SNR:

EDGE-CV-S5210X#sh lacp-counter 
% Traffic statistics 
   Port        LACPDUs         Marker        Marker-Rsp        Pckt err
            Sent    Recv    Sent    Recv    Sent    Recv    Sent    Recv
% Aggregator po1 100001 
xe1         38      37      0       0       0       0       0       0       
xe2         39      38      0       0       0       0       0       0       
% Aggregator po2 100002 
xe3         18      0       0       0       0       0       0       15      
xe4         19      0       0       0       0       0       0       14      

SNR и Extreme соединены новыми заводскими метровыми патчкордами. Аттенюаторов нет.

Ошибок в настройках я не вижу, ТП Нага тоже.

Нет предположений, почему LACP не хочет заводиться?

[vurd]

Ой, ну, зато, глюков нет 😃

 

Конфиги покажите конкретнее.

Судя по счетчику на снр, он не получил ни одного LACPDU от экстрима, попробуйте перевести на экстриме в активный режим протокол, плюс можно поиграться с long\short

[alibek]

На Extreme это режим по умолчанию (не отображается при выводе конфигурации).

Разве что с long/short не экспериментировал.

 

Со стороны SNR:

hostname EDGE-CV-S5210X
!
!
no ip domain-lookup
spanning-tree mode rstp
feature telnet
no feature ssh
no feature tacacs+
snmp-server view all .1 included
snmp-server enable snmp  
!
vlan database
 vlan 30  state enable
 vlan 300-399  state enable
 vlan 1000-1999  state enable
!
interface xe1
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 1 mode active
!
interface xe2
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 1 mode active
!
interface xe3
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 2 mode active
!
interface xe4
 switchport mode trunk
 switchport trunk native vlan 1
 channel-group 2 mode active
!
interface xe5
!
interface xe6
!
interface xe7
!
interface xe8
 description MGMT
 switchport access vlan 30
!
interface po1
 description LAG-UP
 switchport mode trunk
 switchport trunk native vlan 1
!
interface po2
 description LAG-DN
 switchport mode trunk
 switchport trunk native vlan 1
!
interface vlan1
 shutdown
!
interface vlan30
 ip address 10.1.144.2/24
!
ip route 0.0.0.0/0 10.1.144.1
!
line con 0
 login
line vty 0 39
 login
!
end

Со стороны Extreme:

configure ports 1 auto off speed 10000 duplex full 
configure ports 45 auto off speed 10000 duplex full 
enable sharing 1 grouping 1,45 algorithm address-based L2 lacp

Сейчас аплинк подключен к Extreme (одним линком) и состояние LAG такое:

# sh lacp lag 1 detail 

Lag   Actor    Actor  Partner           Partner  Partner Agg   Actor            
      Sys-Pri  Key    MAC               Sys-Pri  Key     Count MAC              
--------------------------------------------------------------------------------
1           0  0x03e9 00:2e:c7:dd:0a:10   32768  0x0241      1 00:04:96:97:ca:af

Enabled          : Yes
LAG State        : Up
Unack count      : 0
Wait-for-count   : 0
Current timeout  : Long
Activity mode    : Active
Defaulted Action : Delete
Fallback         : Disabled
Fallback timeout : 60 seconds
Receive state    : Enabled
Transmit state   : Enabled
Minimum active   : 1
Selected count   : 1
Standby count    : 0
LAG Id flag      : Yes
  S.pri:0   , S.id:00:04:96:97:ca:af, K:0x03e9
  T.pri:32768, T.id:00:2e:c7:dd:0a:10, L:0x0241

Port list:

Member     Port      Rx           Sel          Mux            Actor     Partner 
Port       Priority  State        Logic        State          Flags     Port    
--------------------------------------------------------------------------------
1          0         Idle         Unselected   Detached       --------  0        
45         0         Current      Selected     Collect-Dist   A-GSCD--  4        
================================================================================
Actor Flags: A-Activity, T-Timeout, G-Aggregation, S-Synchronization
             C-Collecting, D-Distributing, F-Defaulted, E-Expired

Когда подключал SNR - детальное состояние не снимал, но LAG был активен:

# sh lacp 

LACP Up                             : Yes
LACP Enabled                        : Yes
System MAC                          : 00:04:96:97:ca:af
LACP PDUs dropped on non-LACP ports : 840031

Lag        Actor    Actor   Partner            Partner  Partner  Agg   
           Sys-Pri  Key     MAC                Sys-Pri  Key      Count 
--------------------------------------------------------------------------------
1              0    0x03e9  f8:f0:82:d6:8b:55  32768    0x0002   2
================================================================================


# sh lacp lag 1

Lag   Actor    Actor  Partner           Partner  Partner Agg   Actor            
      Sys-Pri  Key    MAC               Sys-Pri  Key     Count MAC              
--------------------------------------------------------------------------------
1           0  0x03e9 f8:f0:82:d6:8b:55   32768  0x0002      2 00:04:96:97:ca:af

Port list:

Member     Port      Rx           Sel          Mux            Actor     Partner 
Port       Priority  State        Logic        State          Flags     Port    
--------------------------------------------------------------------------------
1          0         Current      Selected     Collect-Dist   A-GSCD--  5003     
45         0         Current      Selected     Collect-Dist   A-GSCD--  5004     
================================================================================
Actor Flags: A-Activity, T-Timeout, G-Aggregation, S-Synchronization
             C-Collecting, D-Distributing, F-Defaulted, E-Expired

 

 

Хм... Разве что автосогласование на SNR можно выключить.

[alibek]

Отключение автосогласования не помогло.

Остается разве что статичный port-channel сделать.

[passer]

configure sharing 1 lacp system-priority 1

https://habr.com/ru/companies/ivi/articles/264527/

[alibek]

На статике все заработало.

interface xe3
 speed-duplex force10g-full
 negotiation off
 switchport mode trunk
 switchport trunk native vlan 1
 static-channel-group 2
!
interface xe4
 speed-duplex force10g-full
 negotiation off
 switchport mode trunk
 switchport trunk native vlan 1
 static-channel-group 2
!
interface sa2
 description LAG-DN
 switchport mode trunk
 switchport trunk native vlan 1

enable sharing 1 grouping 1,45 algorithm address-based L2

 

Цитата

Ой, ну, зато, глюков нет

Все же вещи не сравнимые.

Да, LACP почему-то не заработал — может быть что-то настроено неправильно, может быть баг или несовместимость.

Но по крайней мере очевидна неисправность (неработоспособность) и есть возможности что-то поменять.

А с неуправляемым медиаконвертером нет очевидного способа понять, все ли работает нормально или нет.

[alibek]

Цитата

configure sharing 1 lacp system-priority 1

Однако.

Попробую, но уже завтра под утро.

[AN111]

Для SNR-S5210X-8F вроде заявлена "Поддержка QinQ Port-based"
 Если SNR-S5210 умеет пропускать LACP BPDU, можно сделать 2 пары транзитных QinQ портов и не заморачиваться с LACP и прочими настройками на SNR-S5210X-8F

Выше это уже описывали...

[alibek]

Вряд ли я буду это делать. LAG заработал, а лучшее - враг хорошего.

Но на будущее уточню. Вроде бы как в QinQ MAC-адреса кадров не инкапсулируются. При этом с обоих сторон есть одинаковые MAC-адреса в разных VLAN. Не получиться ли в QinQ коллизии?