default_vlan Posted November 9, 2017 (edited) · Report post Привет всем. Клиенты сожрали аплинк на район, встала острая необходимость в агрегации линков. Заставил работать cisco3550-12G (10 портов GBIC) c foundry bigiron - используется как ядро. Суть такова, что по причине использования foundry нет возможности не использовать native vlan, иначе трафк по vlan управления коммутатором не ходит. Решил делать на 3550 порты в активном режиме, а на foundry в пассивном. Суть такова, что в линках видно жесткую разбалансировку трафика - на одном линке 59/58 мегабит, на другом - 485/29 (входящий/исходящий трафик). Вот такая настройка на cisco: interface Port-channel1 description LACP_Foundry switchport trunk encapsulation dot1q switchport trunk native vlan 1000 switchport trunk allowed vlan 1,3,555,556,899 switchport mode trunk ... interface GigabitEthernet0/9 description DO_NOT_TOUCH_THIS_PORT switchport trunk encapsulation dot1q switchport trunk native vlan 1000 switchport trunk allowed vlan 1,3,555,556,899 switchport mode trunk channel-protocol lacp channel-group 1 mode active ! interface GigabitEthernet0/10 description DO_NOT_TOUCH_THIS_PORT switchport trunk encapsulation dot1q switchport trunk native vlan 1000 switchport trunk allowed vlan 1,3,555,556,899 switchport mode trunk channel-protocol lacp channel-group 1 mode active Вот neighbor, internal, counters по lacp: #sh lacp 1 neighbor Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs A - Device is in Active mode P - Device is in Passive mode Channel group 1 neighbors Partner's information: LACP port Admin Oper Port Port Port Flags Priority Dev ID Age key Key Number State Gi0/9 SP 1 0004.8074.6f00 9s 0x0 0x201 0x45 0x3C Gi0/10 SP 1 0004.8074.6f00 2s 0x0 0x201 0x46 0x3C #sh lacp 1 internal Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs A - Device is in Active mode P - Device is in Passive mode Channel group 1 LACP port Admin Oper Port Port Port Flags State Priority Key Key Number State Gi0/9 SA bndl 32768 0x1 0x1 0xA 0x3D Gi0/10 SA bndl 32768 0x1 0x1 0xB 0x3D #sh lacp 1 counters LACPDUs Marker Marker Response LACPDUs Port Sent Recv Sent Recv Sent Recv Pkts Err --------------------------------------------------------------------- Channel group: 1 Gi0/9 7258 6714 0 0 0 0 0 Gi0/10 7267 6715 0 0 0 0 0 На foundry просто порты в link-aggregate passive, но заведено 2 агрегации: System ID: 0004.8074.6f00 Long timeout: 90, default: 90 Short timeout: 3, default: 3 Port [Sys P] [Port P] [ Key ] [Act][Tio][Agg][Syn][Col][Dis][Def][Exp][Ope] 2/5 1 1 513 No L Agg Syn Col Dis No No Ope 2/6 1 1 513 No L Agg Syn Col Dis No No Ope 6/5 1 1 515 No L Agg Syn Col Dis No No Ope 6/6 1 1 515 No L Agg Syn Col Dis No No Ope foundry участвует еще в одной агрегации с такой же cisco-3550. Смущает одинаковый ключ, но мало ли. #port-channel load-balance обязательно ли? Как балансируется в cisco по дефолту? Спасибо. Edited November 9, 2017 by default_vlan Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted November 9, 2017 · Report post Активные каналы лучше использовать на оборудовании одного вендора. На разнородном оборудовании лучше использовать статический LAG (mode on). Если это агрегация, то балансировка по L2 (src-mac) должна быть достаточно равномерной. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted November 9, 2017 · Report post 9 минут назад, alibek сказал: На разнородном оборудовании лучше использовать статический LAG (mode on). Данная команда доступна только в cisco. Foundry предлагает вот что: BigIron Router(config-mif-3/5-3/6)#link-aggregate active Active mode config-ind-monitor Enable monitoring of individual trunk links configure Configure key and priority values monitor enable monitoring off Off mode passive Passive mode Я предполагаю, что режим включится, как только я нажму enter (делать не стану, т.к. на живой сети), но сомневаюсь в этом, потому что в документации жестко сказано или так или так. Ничего нет страшного в том, что ключи одинаковые? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted November 9, 2017 · Report post 7 минут назад, default_vlan сказал: Ничего нет страшного в том, что ключи одинаковые? Смотря что это означает у Foundry. А по команде link-aggregate configure какие опции возможны? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vurd Posted November 9, 2017 · Report post Откуда вы взяли этот бред с "между разновендором не надо делать lacp active"? Просто уже не первый раз его вижу. Имхо, у вас какой-то неудачный 10-и летний опыт. У меня ни разу не было проблем с мультивендорными транками, даже между, прости господи, gepon элтексом. А уже между брокадой и подавно. У тс обычная проблема балансировки трафика в эзерчанеле. Нужно понимать, что там именно ходит, или сразу ставить универсальный l4 hash, по возможности. Поэтому вопросы: 1. Что там ходит? L2 или L3? Т.е. куча маков или один-два? 2. Какие стоят хеш алгоритмы сейчас? Я предполагаю, что у вас там L3, и с циски у вас не работает балансировка из-за ограничений модели 3550, там только src-dst-mac, судя по мурзилке. (https://www.cisco.com/c/en/us/support/docs/lan-switching/etherchannel/12023-4.html) Но вас это парить не должно, т.к. с циски у вас скорее всего исходящего вверх трафика куда меньше чем входящего в неё. Поэтому более интересно что там с балансировкой со стороны брокейда. Опять таки, судя по каким-то данным из инета там есть возможность делать так: load-balance [ dst-mac-vid | src-dst-ip | src-dst-ip-mac-vid | src-dst-ip-mac-vid-port | src-dst-ip-port | src-dst-mac-vid | src-mac-vid ]. Вам нужен src-dst-ip-port. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted November 9, 2017 · Report post 1 час назад, vurd сказал: Имхо, у вас какой-то неудачный 10-и летний опыт. Дважды неудачный, 5 и 3 летней давности, с Cisco и другим вендором. И не у меня одного, проблемы с активным LACP у людей периодически встречаются. Да и в документации в описании ряда функций и возможностей идет примечание, что они работают с etherchannel, но не с LACP. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 9, 2017 · Report post 3 часа назад, vurd сказал: У меня ни разу не было проблем с мультивендорными транками +1 Кроме случаев кривых прошивок на дешевых свитчах проблем с LACP не было, в работе агрегации от 2Г до 80Г, большая часть из них между оборудованием разных вендоров, статических агрегаций вообще нету, только LACP. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
undro Posted November 10, 2017 · Report post 6 часов назад, v_r сказал: кривых прошивок на дешевых свитчах У меня как то лацп между двумя х670-48х развалился на лохматом софте 12.х, вот жеж весело было. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted November 10, 2017 · Report post У экстримов на старом софте разных проблем куча, как и у других вендоров. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted November 11, 2017 · Report post В 10.11.2017 в 00:45, vurd сказал: Поэтому вопросы: 1. Что там ходит? L2 или L3? Т.е. куча маков или один-два? 2. Какие стоят хеш алгоритмы сейчас? Из маков - там только запросы до DHCP. Из трафика - в основном трафик через сервера доступа pptp В 10.11.2017 в 00:45, vurd сказал: Опять таки, судя по каким-то данным из инета там есть возможность делать так: load-balance [ dst-mac-vid | src-dst-ip | src-dst-ip-mac-vid | src-dst-ip-mac-vid-port | src-dst-ip-port | src-dst-mac-vid | src-mac-vid ]. Вам нужен src-dst-ip-port. нет там такого счастья. Это не брокад, а "фындрь" - еще до покупки их брокадом. В мане к нему искал, по балансировке ничего - просто выбираем порты группой и в них link-aggregate active или passive, а также ключи и зеркалирование. telnet@BigIron Router#lo locate Specify the location of startup-configuration data telnet@BigIron Router#conf t telnet@BigIron Router(config)#lo lock-address Limit number of addresses for a port logging Event logging settings Получается, что я по-идиотски сделал и там надо как транк заводить? (config)#sh trunk Max number of server trunks: 32; available: 32 Number of hash buckets per server trunk: 256 Configured number of hash buckets per server trunk: 256 Configured trunks: Trunk ID: 35 Type: Switch ( 8023ad Trunk ) Ports_Configured: 2 Primary Port Monitored: Jointly Ports 2/5 2/6 Port Names MB_ERR* none Port_Status enable enable Monitor off off Mirror Port N/A N/A Monitor Dir N/A N/A Trunk ID: 163 Type: Switch ( 8023ad Trunk ) Ports_Configured: 2 Primary Port Monitored: Jointly Ports 6/5 6/6 Port Names none none Port_Status enable enable Monitor off off Mirror Port N/A N/A Monitor Dir N/A N/A Operational trunks: Trunk ID: 35 Type: Switch ( 8023ad Trunk ) Duplex: Full Speed: 1G Tag: Yes Priority: level0 Active Ports: 2 Ports 2/5 2/6 Link_Status active active port_state Forward Forward LACP_Status ready ready Load Sharing Mac Address 55 55 IP 4529 0 IPX 0 0 Apple Talk 0 0 Multicast 0 0 Trunk ID: 163 Type: Switch ( 8023ad Trunk ) Duplex: Full Speed: 1G Tag: Yes Priority: level0 Active Ports: 2 Ports 6/5 6/6 Link_Status active active port_state Forward Forward LACP_Status ready ready Load Sharing Mac Address 110 108 IP 1455 2 IPX 0 0 Apple Talk 0 0 Multicast 0 0 Хотя он и так создается как транк. Может я не прав и надо пытаться рулить самим транком? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vurd Posted November 11, 2017 · Report post Ну если у вас там маршрутизация и обе железки не умеют в load-balance ip-src-dst, то вам прямая дорога в ECMP на базе динамической маршрутизации. Видимо, OSFP. Поднимайте два "стыка" на двух разных портах между циской и фаундри и вперёд. Фаунрди умеет maximum-path 2. С транком можете заканчивать, у вас оба девайся не дадут нужного результата. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...