[default_vlan]

Привет всем.

Клиенты сожрали аплинк на район, встала острая необходимость в агрегации линков. Заставил работать cisco3550-12G (10 портов GBIC) c foundry bigiron - используется как ядро.

Суть такова, что по причине использования foundry нет возможности не использовать native vlan, иначе трафк по vlan управления коммутатором не ходит. Решил делать на 3550 порты в активном режиме, а на foundry в пассивном. Суть такова, что в линках видно жесткую разбалансировку трафика - на одном линке 59/58 мегабит, на другом - 485/29 (входящий/исходящий трафик). 

 

Вот такая настройка на cisco:

interface Port-channel1
 description LACP_Foundry
 switchport trunk encapsulation dot1q
 switchport trunk native vlan 1000
 switchport trunk allowed vlan 1,3,555,556,899
 switchport mode trunk
...
interface GigabitEthernet0/9
 description DO_NOT_TOUCH_THIS_PORT
 switchport trunk encapsulation dot1q
 switchport trunk native vlan 1000
 switchport trunk allowed vlan 1,3,555,556,899
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active
!
interface GigabitEthernet0/10
 description DO_NOT_TOUCH_THIS_PORT
 switchport trunk encapsulation dot1q
 switchport trunk native vlan 1000
 switchport trunk allowed vlan 1,3,555,556,899
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

Вот neighbor, internal, counters по lacp:

#sh lacp 1 neighbor 
Flags:  S - Device is requesting Slow LACPDUs 
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode     

Channel group 1 neighbors

Partner's information:

                  LACP port                        Admin  Oper   Port    Port
Port      Flags   Priority  Dev ID          Age    key    Key    Number  State
Gi0/9     SP      1         0004.8074.6f00   9s    0x0    0x201  0x45    0x3C  
Gi0/10    SP      1         0004.8074.6f00   2s    0x0    0x201  0x46    0x3C  



#sh lacp 1 internal 
Flags:  S - Device is requesting Slow LACPDUs 
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode     

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi0/9     SA      bndl      32768         0x1       0x1     0xA         0x3D  
Gi0/10    SA      bndl      32768         0x1       0x1     0xB         0x3D  



#sh lacp 1 counters         
             LACPDUs         Marker      Marker Response    LACPDUs
Port       Sent   Recv     Sent   Recv     Sent   Recv      Pkts Err
---------------------------------------------------------------------
Channel group: 1
Gi0/9       7258   6714     0      0        0      0         0     
Gi0/10      7267   6715     0      0        0      0         0     

 

На foundry просто порты в link-aggregate passive, но заведено 2 агрегации:

System ID: 0004.8074.6f00
Long  timeout: 90, default: 90
Short timeout: 3, default: 3
Port  [Sys P] [Port P] [ Key ] [Act][Tio][Agg][Syn][Col][Dis][Def][Exp][Ope]
2/5        1        1     513   No    L   Agg  Syn  Col  Dis  No   No   Ope
2/6        1        1     513   No    L   Agg  Syn  Col  Dis  No   No   Ope

6/5        1        1     515   No    L   Agg  Syn  Col  Dis  No   No   Ope
6/6        1        1     515   No    L   Agg  Syn  Col  Dis  No   No   Ope

 

foundry участвует еще в одной агрегации с такой же cisco-3550. Смущает одинаковый ключ, но мало ли.

 

#port-channel load-balance обязательно ли? Как балансируется в cisco по дефолту?

 

Спасибо.

Edited November 9, 2017 by default_vlan

[alibek]

Активные каналы лучше использовать на оборудовании одного вендора.

На разнородном оборудовании лучше использовать статический LAG (mode on).

Если это агрегация, то балансировка по L2 (src-mac) должна быть достаточно равномерной.

[default_vlan]

9 минут назад, alibek сказал:

На разнородном оборудовании лучше использовать статический LAG (mode on).

Данная команда доступна только в cisco. Foundry предлагает вот что:

BigIron Router(config-mif-3/5-3/6)#link-aggregate 
  active               Active mode
  config-ind-monitor   Enable monitoring of individual trunk links
  configure            Configure key and priority values
  monitor              enable monitoring
  off                  Off mode
  passive              Passive mode

Я предполагаю, что режим включится, как только я нажму enter (делать не стану, т.к. на живой сети), но сомневаюсь в этом, потому что в документации жестко сказано или так или так.

Ничего нет страшного в том, что ключи одинаковые?

[alibek]

7 минут назад, default_vlan сказал:

Ничего нет страшного в том, что ключи одинаковые?

Смотря что это означает у Foundry.

А по команде link-aggregate configure какие опции возможны?

[vurd]

Откуда вы взяли этот бред с "между разновендором не надо делать lacp active"? Просто уже не первый раз его вижу. Имхо, у вас какой-то неудачный 10-и летний опыт.

У меня ни разу не было проблем с мультивендорными транками, даже между, прости господи, gepon элтексом. А уже между брокадой и подавно.

 

У тс обычная проблема балансировки трафика в эзерчанеле.

 

Нужно понимать, что там именно ходит, или сразу ставить универсальный l4 hash, по возможности.

 

Поэтому вопросы:

1. Что там ходит? L2 или L3? Т.е. куча маков или один-два?

2. Какие стоят хеш алгоритмы сейчас?

 

Я предполагаю, что у вас там L3, и с циски у вас не работает балансировка из-за ограничений модели 3550, там только src-dst-mac, судя по мурзилке. (https://www.cisco.com/c/en/us/support/docs/lan-switching/etherchannel/12023-4.html) Но вас это парить не должно, т.к. с циски у вас скорее всего исходящего вверх трафика куда меньше чем входящего в неё. Поэтому более интересно что там с балансировкой со стороны брокейда. Опять таки, судя по каким-то данным из инета там есть возможность делать так:

load-balance [ dst-mac-vid | src-dst-ip | src-dst-ip-mac-vid | src-dst-ip-mac-vid-port | src-dst-ip-port | src-dst-mac-vid | src-mac-vid ]. Вам нужен src-dst-ip-port.

 

[alibek]

1 час назад, vurd сказал:

Имхо, у вас какой-то неудачный 10-и летний опыт.

Дважды неудачный, 5 и 3 летней давности, с Cisco и другим вендором.

И не у меня одного, проблемы с активным LACP у людей периодически встречаются.

Да и в документации в описании ряда функций и возможностей идет примечание, что они работают с etherchannel, но не с LACP.

[v_r]

3 часа назад, vurd сказал:

У меня ни разу не было проблем с мультивендорными транками

+1

Кроме случаев кривых прошивок на дешевых свитчах проблем с LACP не было, в работе агрегации от 2Г до 80Г, большая часть из них между оборудованием разных вендоров, статических агрегаций вообще нету, только LACP.

[undro]

6 часов назад, v_r сказал:

кривых прошивок на дешевых свитчах

У меня как то лацп между двумя х670-48х развалился на лохматом софте 12.х, вот жеж весело было.

[zhenya`]

У экстримов на старом софте разных проблем куча, как и у других вендоров.

[default_vlan]

В 10.11.2017 в 00:45, vurd сказал:

Поэтому вопросы:

1. Что там ходит? L2 или L3? Т.е. куча маков или один-два?

2. Какие стоят хеш алгоритмы сейчас?

 

Из маков - там только запросы до DHCP. Из трафика - в основном трафик через сервера доступа pptp

 

В 10.11.2017 в 00:45, vurd сказал:

Опять таки, судя по каким-то данным из инета там есть возможность делать так:

load-balance [ dst-mac-vid | src-dst-ip | src-dst-ip-mac-vid | src-dst-ip-mac-vid-port | src-dst-ip-port | src-dst-mac-vid | src-mac-vid ]. Вам нужен src-dst-ip-port.

нет там такого счастья. Это не брокад, а "фындрь" - еще до покупки их брокадом. В мане к нему искал, по балансировке ничего - просто выбираем порты группой и в них link-aggregate active или passive, а также ключи и зеркалирование.

telnet@BigIron Router#lo
  locate              Specify the location of startup-configuration data
telnet@BigIron Router#conf t
telnet@BigIron Router(config)#lo
  lock-address                  Limit number of addresses for a port
  logging                       Event logging settings

Получается, что я по-идиотски сделал и там надо как транк заводить?
 

(config)#sh trunk
Max number of server trunks: 32; available: 32
Number of hash buckets per server trunk: 256
Configured number of hash buckets per server trunk: 256

Configured trunks:

Trunk ID: 35
Type: Switch ( 8023ad Trunk )

Ports_Configured: 2
Primary Port Monitored: Jointly

Ports         2/5     2/6
Port Names    MB_ERR* none
Port_Status   enable  enable
Monitor       off     off
Mirror Port   N/A     N/A
Monitor Dir   N/A     N/A

Trunk ID: 163
Type: Switch ( 8023ad Trunk )

Ports_Configured: 2
Primary Port Monitored: Jointly

Ports         6/5     6/6
Port Names    none    none
Port_Status   enable  enable
Monitor       off     off
Mirror Port   N/A     N/A
Monitor Dir   N/A     N/A

Operational trunks:

Trunk ID: 35
Type: Switch ( 8023ad Trunk )

Duplex: Full
Speed: 1G
Tag: Yes
Priority: level0
Active Ports: 2


Ports         2/5        2/6
Link_Status   active     active
port_state    Forward    Forward
LACP_Status   ready   ready
Load Sharing
 Mac Address  55      55
 IP           4529    0
 IPX          0       0
 Apple Talk   0       0
 Multicast    0       0

Trunk ID: 163
Type: Switch ( 8023ad Trunk )

Duplex: Full
Speed: 1G
Tag: Yes
Priority: level0
Active Ports: 2


Ports         6/5        6/6
Link_Status   active     active
port_state    Forward    Forward
LACP_Status   ready   ready
Load Sharing
 Mac Address  110     108
 IP           1455    2
 IPX          0       0
 Apple Talk   0       0
 Multicast    0       0

Хотя он и так создается как транк. Может я не прав и надо пытаться рулить самим транком?

[vurd]

Ну если у вас там маршрутизация и обе железки не умеют в load-balance ip-src-dst, то вам прямая дорога в ECMP на базе динамической маршрутизации. Видимо, OSFP. Поднимайте два "стыка" на двух разных портах между циской и фаундри и вперёд. Фаунрди умеет maximum-path 2. С транком можете заканчивать, у вас оба девайся не дадут нужного результата.