[electro_]

Доброе утро! С Новым Годом форумчане!

 

Прошу помощи в настройки связки lacp dlink via linux bonding

 

Задача: есть сервер Ubuntu с 2 Gigabit ethernet и DGS-3627G Gigabit Ethernet Switch (Firmware: Build 2.84.B14)

 

Нужно сделать bonding на сервере и lacp на свиче. Линк должен быть сбалансированный и работать на максимальную отдачу свыше 1 Гбит

 

SWITCH CONF:

 

DGS-3627G:admin#show link_aggregation

Command: show link_aggregation

 

Link Aggregation Algorithm = IP-Source

Group ID : 1

Type : LACP

Master Port : 21

Member Port : 21-22

Active Port : 21-22

Status : Enabled

Flooding Port : 21

 

 

SERVER INTERFACE CONF:

 

 

# sp0 server interface Gigabit Ethernet up to 2 Gbit/s via link aggregation

auto bond0.99

iface bond0.99 inet static

address 192.168.101.1

network 192.168.101.0

netmask 255.255.255.0

broadcast 192.168.101.255

dns-nameserver 192.168.101.1

bond_mode 4

bond_miimon 100

bond_downdelay 200

bond_updelay 200

bond-slaves eth0 eth1

post-up /sbin/ifenslave bond0 eth0 eth1

pre-down /sbin/ifenslave -d bond0 eth0 eth1

 

 

Проблема в том, что не работает балансировака, постоянно трафик идет через один порт на свиче и линк не подымается свыше 1 Гбит. А канал у меня 1,4 Гбит :)

[zhenya`]

Проблема в трафике от свитча к серверу? Если да, то поменяйте алгоритм с айпи сорса на свитче на другой.

[electro_]

Проблема в трафике от свитча к серверу? Если да, то поменяйте алгоритм с айпи сорса на свитче на другой.

 

Видимо да, с алгоритмами балансировки игрался, резултат не дает, все равно идет все через один интерфейс

 

config link_aggregation algorithm mac_source mac_destination mac_source_dest ip_source ip_destination ip_source_dest (трафик идет от сервера к коммутатору)

 

Ставил каждый, результат ноль.

 

show utilization ports

 

 

Port TX/sec RX/sec Util

----- ---------- ---------- ---- ----- ---------- ---------- ----

21 10527 2 2

22 22766 57836 29

[pppoetest]

имхо алгоритм выбирать по л3 ip_source_dest

[electro_]

имхо алгоритм выбирать по л3 ip_source_dest

 

по подробней плз, этот алгоритм тоже ставил

[pppoetest]

Всё зависит от того, что и кому отдает сервер, если клиенты забирающие данные с сервера в одном широковещательном домене с сервером, оптимальный алгоритм будет src-dst mac, если в разных то src-dst ip.

[electro_]

Всё зависит от того, что и кому отдает сервер, если клиенты забирающие данные с сервера в одном широковещательном домене с сервером, оптимальный алгоритм будет src-dst mac, если в разных то src-dst ip.

 

на сервер приходит входящий канал интернета от провайдера

 

у меня в агрегации настроен исходящий канал (сервер является шлюзом), он же шлюз для всех серверов

[zhenya`]

алгоритм на коммутаторе повлияет только на TX (трафик от коммутатора на сервак). в случае линковой сети алгоритм должен быть про src ip / dst ip )

 

для RX надо крутить алгоритм на сервере.

 

за сервером от гора белых ипов или как? для подбора оптимального алгоритма надо знать профиль трафика )

 

если там точка точка, то протянуть больше гига не выйдет в один поток

[passer]

show utilization ports

 

 

Port TX/sec RX/sec Util

----- ---------- ---------- ---- ----- ---------- ---------- ----

21 10527 2 2

22 22766 57836 29

У вас свитч раскидывает в соотношении 1:2 (смотреть колонку TX), что не хорошо, но хоть что-то. А вот сервер все выдает в один порт. Покажите cat /proc/net/bonding/bond0 , сдается мне, что алгоритм хеширования на бонде стоит до сих пор дефолтный.

Edited January 6, 2016 by passer

[NiTr0]

 

Port TX/sec RX/sec Util

----- ---------- ---------- ---- ----- ---------- ---------- ----

21 10527 2 2

22 22766 57836 29

рулите на стороне сервера алгоритм. параметрами модуля.

[electro_]

show utilization ports

 

 

Port TX/sec RX/sec Util

----- ---------- ---------- ---- ----- ---------- ---------- ----

21 10527 2 2

22 22766 57836 29

У вас свитч раскидывает в соотношении 1:2 (смотреть колонку TX), что не хорошо, но хоть что-то. А вот сервер все выдает в один порт. Покажите cat /proc/net/bonding/bond0 , сдается мне, что алгоритм хеширования на бонде стоит до сих пор дефолтный.

 

 

cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

 

Bonding Mode: IEEE 802.3ad Dynamic link aggregation

Transmit Hash Policy: layer2 (0)

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

 

802.3ad info

LACP rate: fast

Min links: 0

Aggregator selection policy (ad_select): stable

Active Aggregator Info:

Aggregator ID: 1

Number of ports: 2

Actor Key: 9

Partner Key: 21

Partner Mac Address: 34:08:04:45:e7:00

 

Slave Interface: eth0

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 34:40:b5:88:2a:65

Aggregator ID: 1

Slave queue ID: 0

 

Slave Interface: eth1

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 34:40:b5:88:2a:66

Aggregator ID: 1

Slave queue ID: 0

 

Да, я над этим думал. Вот только у меня на сервере два бондинга. И как поставить два разных режима на бондинг не знаю

 

/etc/modules

 

bonding mode=4 miimon=100 max_bonds=2 lacp_rate=1

 

как сменить режим бондинга для 1-го bond0 интерфейса не понятно, стоит дефолтный 802.3ad

 

 

Port TX/sec RX/sec Util

----- ---------- ---------- ---- ----- ---------- ---------- ----

21 10527 2 2

22 22766 57836 29

рулите на стороне сервера алгоритм. параметрами модуля.

 

 

cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

 

Bonding Mode: IEEE 802.3ad Dynamic link aggregation

Transmit Hash Policy: layer2 (0)

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

 

802.3ad info

LACP rate: fast

Min links: 0

Aggregator selection policy (ad_select): stable

Active Aggregator Info:

Aggregator ID: 1

Number of ports: 2

Actor Key: 9

Partner Key: 21

Partner Mac Address: 34:08:04:45:e7:00

 

Slave Interface: eth0

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 34:40:b5:88:2a:65

Aggregator ID: 1

Slave queue ID: 0

 

Slave Interface: eth1

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 34:40:b5:88:2a:66

Aggregator ID: 1

Slave queue ID: 0

 

Да, я над этим думал. Вот только у меня на сервере два бондинга. И как поставить два разных режима на бондинг не знаю

 

/etc/modules

 

bonding mode=4 miimon=100 max_bonds=2 lacp_rate=1

 

как сменить режим бондинга для 1-го bond0 интерфейса не понятно, стоит дефолтный 802.3ad

[zhenya`]

Transmit Hash Policy: layer2 (0)

 

думается мне л3 + л4 вам на обоих не повредят)

[NiTr0]

или л2+л3

[electro_]

или л2+л3

 

включил l2+l3 - побежали пакеты по двум интерфейсам! фантастика.

 

Спасибо, друзья! Опыт видимо дает Вам возможность отвечать четко и на 100%. С наступающим Рождеством!

[electro_]

Transmit Hash Policy: layer2 (0)

 

думается мне л3 + л4 вам на обоих не повредят)

 

включил l2+l3 - побежали пакеты по двум интерфейсам! фантастика.

 

Спасибо, друзья! Опыт видимо дает Вам возможность отвечать четко и на 100%. С наступающим Рождеством!