[tonny_bennet]

Здравствуйте.

 

Есть сервер под Win2012R2 на базе МП Supermicro X10DRi, собрана агрегация в ОС из двух встроенных сетевых карт.

Подключена в серверную ферму стек D-Link DGS-3420-28TC. В разные юниты, порты в LACP группе.

Ферма подключена к ядру сети стек D-Link DGS-3620-28TC. В разные юниты, порты в LACP группе.

Ядро сети подключено к другой ферме стек D-Link DGS-3120-24PC + DGS-3120-24TC. В разные юниты, порты в LACP группе.

К ферме подключен сервер под Win2012R2 МП Supermicro X10DRi,собрана агрегация в ОС из двух встроенных сетевых карт.

 

Если коротко, два одинаковых сервера подключены через набор коммутаторов агрегированными каналами. Всё в одном vlan. Агрегация собрана, подключена, на коммутаторах все порты в статусе Active. на коммутаторах алгоритм MAC SourceDestinaton, а на Win2012R2 режим балансировки динамический.

 

Хочется скорость в 2Гбит/с между серверами. Получается реально 0.5 - 1 Гбит/с.

 

Подскажите в чём может быть проблема?

[azhur]

Хочется скорость в 2Гбит/с между серверами. Получается реально 0.5 - 1 Гбит/с.

Подскажите в чём может быть проблема?

На одном соединении больше скорее всего и не получится, так как балансировка идёт per flow.

Если на коммутаторах балансировка per packet ещё попадается, то умеет ли так винда - не уверен.

[tonny_bennet]

По идее встроенные сетевые от Intel умеют делать агрегацию при помощи драйвера, единственное что у меня есть горький опыт: сетевые выпадали по очереди из группы, причин так и не нашёл - съехал на группы на базе ОС.

 

Попробую снова перейти на агрегацию на уровне драйвера.

[tonny_bennet]

Собрал группу средствами драйвера. Скорость сети по iperf не изменилась, скорость при копировании по сети SMB упала с 50МБ/с до 2 МБ/с. Пересобрал средствами системы - скорость поднялась до 55 МБ/с.

 

Какие ещё будут предложения?

[tonny_bennet]

Убрал Планировщик пакетов QoS в списке протоколов на LACP интерфейсах серверов. Добился устойчивого 1Гбит/с в каждую сторону.

 

>iperf.exe -c 10.0.17.19 -d
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 10.0.17.19, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[280] local 10.0.17.10 port 51882 connected with 10.0.17.19 port 5001
[300] local 10.0.17.10 port 5001 connected with 10.0.17.19 port 49771
[ ID] Interval       Transfer     Bandwidth
[300]  0.0-10.0 sec   956 MBytes   800 Mbits/sec
[280]  0.0-10.0 sec  1.09 GBytes   933 Mbits/sec

 

Но он, получается, либо через один интерфейс только отправляет, а через второй только получает данные. Или вовсе используется только один интерфейс.

 

Проверил с двумя аналогичными серверами в пределах одной фермы - ситуация такая же.

[tonny_bennet]

Разобрался.

 

Логика работы LACP агрегации в большинстве своём лежит на механизме, а именно на алгоритме балансировки. У меня стоит MAC адрес источника и MAC адрес приёмника. Получается, при установке соединения между двумя серверами, пара МАС источник и МАС приёмник одна и та же и коммутатор такое соединение запихивает в один физический порт, который больше гигабита не вывезет. Если параллельно запустить соединение с другого сервера, то пара МАС источник и МАС приёмник будет другая, и коммутатор поместит соединение в другой физический порт. И получится, что сервер будет утилизировать более одного физического порта. Мне удалось с двух разных серверов загрузить канал на Rx: 1.8 Гбит/с Tx: 1.6 Гбит/с

[furai]

tonny_bennet, вам выше уже написали, почему только гигабит получается на одном потоке и куда копать, чтобы пофиксить, только вы видимо не поняли :)

 

На одном соединении больше скорее всего и не получится, так как балансировка идёт per flow.

Если на коммутаторах балансировка per packet ещё попадается, то умеет ли так винда - не уверен.

[itt1b]

Попутный вопрос про балансировку. Есть ASR1004 и D-link 3420. Построены port-channel по двум портам:

 

ASR:

interface GigabitEthernet0/2/0
no ip address
negotiation auto
channel-group 1 mode active
end
!
interface GigabitEthernet0/2/1
no ip address
negotiation auto
channel-group 1 mode active
end
!
interface Port-channel1
ip address xx.xx.xx.xx 255.255.255.252
ip virtual-reassembly
no negotiation auto
end

 

D-Link:

Command: show link_aggregation

Link Aggregation Algorithm = IP-Source-Dest

Group ID      : 10
Type          : LACP
Master Port   : 17
Member Port   : 17,19
Active Port   : 17,19
Status        : Enabled
Flooding Port : 17
Trap          : Disabled

Command: show lacp_port 17,19


Port     Activity

-----    --------
17       Active
19       Active

 

Конфиг d-link:

config link_aggregation algorithm ip_source_dest
create link_aggregation group_id 10 type lacp
config link_aggregation group_id 10 master_port 17 ports 17,19 state enable
config lacp_port 17,19 mode active

 

sh int po 1:

 MTU 1500 bytes, BW 2000000 Kbit/sec, DLY 10 usec,
    reliability 255/255, txload 7/255, rxload 5/255
 Encapsulation ARPA, loopback not set
 Keepalive set (10 sec)
 ARP type: ARPA, ARP Timeout 04:00:00
   No. of active members in this channel: 2
       Member 0 : GigabitEthernet0/2/0 , Full-duplex, 1000Mb/s
       Member 1 : GigabitEthernet0/2/1 , Full-duplex, 1000Mb/s
   No. of PF_JUMBO supported members in this channel : 2

 

sh int po 1 etherchannel:

All IDBs List contains 2 configured interfaces
 Port: GigabitEthernet0/2/0 (index: 0)
 Port: GigabitEthernet0/2/1 (index: 1)

Active Member List contains 2 interfaces
 Port: GigabitEthernet0/2/0
   LACP Mode: Active

 Port: GigabitEthernet0/2/1
   LACP Mode: Active

Passive Member List contains 0 interfaces
Load-Balancing method applied: flow-based

Bucket Information for Flow-Based LB:
Interface:                                Buckets
   GigabitEthernet0/2/0:
                          Bucket 0 , Bucket 1 , Bucket 2 , Bucket 3
                          Bucket 4 , Bucket 5 , Bucket 6 , Bucket 7
   GigabitEthernet0/2/1:
                          Bucket 8 , Bucket 9 , Bucket 10, Bucket 11
                          Bucket 12, Bucket 13, Bucket 14, Bucket 15

 

На d-link эти порты в vlan с 10G аплинком. На циске видно, что трафик раскладывается по интерфейсам.

Так вот, трафик приближается к 1G, может чуть превышает. Но совершенно точно известно, что его там может быть больше. Не правильно работает аггрегация?

Edited June 22, 2016 by itt1b

[Butch3r]

На циске выставите такую же балансировку, как на длинке

[pppoetest]

sh etherch lo

[Butch3r]

sh etherch lo

точно, вылетела из головы команда

[itt1b]

4#sh etherchannel load-balancing
EtherChannel Load-Balancing Method:
Global LB Method: flow-based

 Port-Channel:                       LB Method
   Port-channel1                   :  flow-based
   Port-channel2                   :  flow-based

[Butch3r]

Выставите:

sh etherch lo
EtherChannel Load-Balancing Configuration:
       src-dst-ip vlan included
       mpls label-ip

[itt1b]

Выставите:

sh etherch lo
EtherChannel Load-Balancing Configuration:
       src-dst-ip vlan included
       mpls label-ip

 

Глупый вопрос, но: как?

[pppoetest]

por lo ?

[itt1b]

por lo ?

 

Это ж не каталист, это ASR. Там такого нет. Только port-channel load-balancing vlan-manual.

[Butch3r]

Я вам отвечу где-то через 4 месяца, когда у меня будет ASR )))). На 76 кошаке делается именно так.