tonny_bennet Опубликовано 21 июня, 2016 Здравствуйте. Есть сервер под Win2012R2 на базе МП Supermicro X10DRi, собрана агрегация в ОС из двух встроенных сетевых карт. Подключена в серверную ферму стек D-Link DGS-3420-28TC. В разные юниты, порты в LACP группе. Ферма подключена к ядру сети стек D-Link DGS-3620-28TC. В разные юниты, порты в LACP группе. Ядро сети подключено к другой ферме стек D-Link DGS-3120-24PC + DGS-3120-24TC. В разные юниты, порты в LACP группе. К ферме подключен сервер под Win2012R2 МП Supermicro X10DRi,собрана агрегация в ОС из двух встроенных сетевых карт. Если коротко, два одинаковых сервера подключены через набор коммутаторов агрегированными каналами. Всё в одном vlan. Агрегация собрана, подключена, на коммутаторах все порты в статусе Active. на коммутаторах алгоритм MAC SourceDestinaton, а на Win2012R2 режим балансировки динамический. Хочется скорость в 2Гбит/с между серверами. Получается реально 0.5 - 1 Гбит/с. Подскажите в чём может быть проблема? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
azhur Опубликовано 21 июня, 2016 Хочется скорость в 2Гбит/с между серверами. Получается реально 0.5 - 1 Гбит/с. Подскажите в чём может быть проблема? На одном соединении больше скорее всего и не получится, так как балансировка идёт per flow.Если на коммутаторах балансировка per packet ещё попадается, то умеет ли так винда - не уверен. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tonny_bennet Опубликовано 21 июня, 2016 По идее встроенные сетевые от Intel умеют делать агрегацию при помощи драйвера, единственное что у меня есть горький опыт: сетевые выпадали по очереди из группы, причин так и не нашёл - съехал на группы на базе ОС. Попробую снова перейти на агрегацию на уровне драйвера. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tonny_bennet Опубликовано 21 июня, 2016 Собрал группу средствами драйвера. Скорость сети по iperf не изменилась, скорость при копировании по сети SMB упала с 50МБ/с до 2 МБ/с. Пересобрал средствами системы - скорость поднялась до 55 МБ/с. Какие ещё будут предложения? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tonny_bennet Опубликовано 21 июня, 2016 Убрал Планировщик пакетов QoS в списке протоколов на LACP интерфейсах серверов. Добился устойчивого 1Гбит/с в каждую сторону. >iperf.exe -c 10.0.17.19 -d ------------------------------------------------------------ Server listening on TCP port 5001 TCP window size: 64.0 KByte (default) ------------------------------------------------------------ ------------------------------------------------------------ Client connecting to 10.0.17.19, TCP port 5001 TCP window size: 64.0 KByte (default) ------------------------------------------------------------ [280] local 10.0.17.10 port 51882 connected with 10.0.17.19 port 5001 [300] local 10.0.17.10 port 5001 connected with 10.0.17.19 port 49771 [ ID] Interval Transfer Bandwidth [300] 0.0-10.0 sec 956 MBytes 800 Mbits/sec [280] 0.0-10.0 sec 1.09 GBytes 933 Mbits/sec Но он, получается, либо через один интерфейс только отправляет, а через второй только получает данные. Или вовсе используется только один интерфейс. Проверил с двумя аналогичными серверами в пределах одной фермы - ситуация такая же. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tonny_bennet Опубликовано 21 июня, 2016 Разобрался. Логика работы LACP агрегации в большинстве своём лежит на механизме, а именно на алгоритме балансировки. У меня стоит MAC адрес источника и MAC адрес приёмника. Получается, при установке соединения между двумя серверами, пара МАС источник и МАС приёмник одна и та же и коммутатор такое соединение запихивает в один физический порт, который больше гигабита не вывезет. Если параллельно запустить соединение с другого сервера, то пара МАС источник и МАС приёмник будет другая, и коммутатор поместит соединение в другой физический порт. И получится, что сервер будет утилизировать более одного физического порта. Мне удалось с двух разных серверов загрузить канал на Rx: 1.8 Гбит/с Tx: 1.6 Гбит/с Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
furai Опубликовано 21 июня, 2016 tonny_bennet, вам выше уже написали, почему только гигабит получается на одном потоке и куда копать, чтобы пофиксить, только вы видимо не поняли :) На одном соединении больше скорее всего и не получится, так как балансировка идёт per flow. Если на коммутаторах балансировка per packet ещё попадается, то умеет ли так винда - не уверен. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
itt1b Опубликовано 22 июня, 2016 (изменено) Попутный вопрос про балансировку. Есть ASR1004 и D-link 3420. Построены port-channel по двум портам: ASR: interface GigabitEthernet0/2/0 no ip address negotiation auto channel-group 1 mode active end ! interface GigabitEthernet0/2/1 no ip address negotiation auto channel-group 1 mode active end ! interface Port-channel1 ip address xx.xx.xx.xx 255.255.255.252 ip virtual-reassembly no negotiation auto end D-Link: Command: show link_aggregation Link Aggregation Algorithm = IP-Source-Dest Group ID : 10 Type : LACP Master Port : 17 Member Port : 17,19 Active Port : 17,19 Status : Enabled Flooding Port : 17 Trap : Disabled Command: show lacp_port 17,19 Port Activity ----- -------- 17 Active 19 Active Конфиг d-link: config link_aggregation algorithm ip_source_dest create link_aggregation group_id 10 type lacp config link_aggregation group_id 10 master_port 17 ports 17,19 state enable config lacp_port 17,19 mode active sh int po 1: MTU 1500 bytes, BW 2000000 Kbit/sec, DLY 10 usec, reliability 255/255, txload 7/255, rxload 5/255 Encapsulation ARPA, loopback not set Keepalive set (10 sec) ARP type: ARPA, ARP Timeout 04:00:00 No. of active members in this channel: 2 Member 0 : GigabitEthernet0/2/0 , Full-duplex, 1000Mb/s Member 1 : GigabitEthernet0/2/1 , Full-duplex, 1000Mb/s No. of PF_JUMBO supported members in this channel : 2 sh int po 1 etherchannel: All IDBs List contains 2 configured interfaces Port: GigabitEthernet0/2/0 (index: 0) Port: GigabitEthernet0/2/1 (index: 1) Active Member List contains 2 interfaces Port: GigabitEthernet0/2/0 LACP Mode: Active Port: GigabitEthernet0/2/1 LACP Mode: Active Passive Member List contains 0 interfaces Load-Balancing method applied: flow-based Bucket Information for Flow-Based LB: Interface: Buckets GigabitEthernet0/2/0: Bucket 0 , Bucket 1 , Bucket 2 , Bucket 3 Bucket 4 , Bucket 5 , Bucket 6 , Bucket 7 GigabitEthernet0/2/1: Bucket 8 , Bucket 9 , Bucket 10, Bucket 11 Bucket 12, Bucket 13, Bucket 14, Bucket 15 На d-link эти порты в vlan с 10G аплинком. На циске видно, что трафик раскладывается по интерфейсам. Так вот, трафик приближается к 1G, может чуть превышает. Но совершенно точно известно, что его там может быть больше. Не правильно работает аггрегация? Изменено 22 июня, 2016 пользователем itt1b Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Butch3r Опубликовано 22 июня, 2016 На циске выставите такую же балансировку, как на длинке Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 22 июня, 2016 sh etherch lo Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Butch3r Опубликовано 22 июня, 2016 sh etherch lo точно, вылетела из головы команда Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
itt1b Опубликовано 22 июня, 2016 4#sh etherchannel load-balancing EtherChannel Load-Balancing Method: Global LB Method: flow-based Port-Channel: LB Method Port-channel1 : flow-based Port-channel2 : flow-based Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Butch3r Опубликовано 22 июня, 2016 Выставите: sh etherch lo EtherChannel Load-Balancing Configuration: src-dst-ip vlan included mpls label-ip Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
itt1b Опубликовано 22 июня, 2016 Выставите: sh etherch lo EtherChannel Load-Balancing Configuration: src-dst-ip vlan included mpls label-ip Глупый вопрос, но: как? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 22 июня, 2016 por lo ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
itt1b Опубликовано 22 июня, 2016 por lo ? Это ж не каталист, это ASR. Там такого нет. Только port-channel load-balancing vlan-manual. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Butch3r Опубликовано 22 июня, 2016 Я вам отвечу где-то через 4 месяца, когда у меня будет ASR )))). На 76 кошаке делается именно так. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...