Выбор сетевой карты 10g

[roma33rus]

Всем привет. Имеем железку DL360 G6. С двумя процами и двухголовой сетевой картой 82599ES. Используем на ней bgp и ipt_NETFLOW. Встал вопрос подключить еще один сервак к нему. В связи с этим хотелось бы понять как лучше поступить, добавить еще одну двухголовую сетевую или ставить 4 головы. Если я допустим ставлю вторую сетевую и ее слот работает через другой проц, нежели первая сетевая, то ситуация в плане загрузки становится печальной. Можно ли как-то посмотреть через какой проц работает каждый pci слот. Как мне вообще поступить лучше в этой ситуации? Может вообще второй проц выдернуть из платы?

[jffulcrum]

17 минут назад, roma33rus сказал:

Можно ли как-то посмотреть через какой проц работает каждый pci слот.

У этой модели все PCIE еще из чипсета идет, так что пофиг. Вообще, ему на пенсию пора

 

45 минут назад, roma33rus сказал:

ставить 4 головы

Вам тогда карту X16 искать надо, ибо в PCIE 2.0 одна линия - 4 Гбит, соответственно в х8 вы получите только 32 Гбит/с, и то в теории... Вторая карта будет дешевле.

 

[nuclearcat]

On 8/30/2019 at 4:22 PM, roma33rus said:

Всем привет. Имеем железку DL360 G6. С двумя процами и двухголовой сетевой картой 82599ES. Используем на ней bgp и ipt_NETFLOW. Встал вопрос подключить еще один сервак к нему. В связи с этим хотелось бы понять как лучше поступить, добавить еще одну двухголовую сетевую или ставить 4 головы. Если я допустим ставлю вторую сетевую и ее слот работает через другой проц, нежели первая сетевая, то ситуация в плане загрузки становится печальной. Можно ли как-то посмотреть через какой проц работает каждый pci слот. Как мне вообще поступить лучше в этой ситуации? Может вообще второй проц выдернуть из платы?

Посмотреть проц (точнее NUMA node)

nat ~ # cat /sys/class/net/eth3/device/numa_node
0
nat ~ # cat /sys/class/net/eth5/device/numa_node
1

Если везде по нулям, хотя карта в слоте другого проца - значит NUMA настроена неправильно в BIOS.
Чтобы загрузка не была печальной - надо правильно настраивать RPS и возможно раскидывать прерывания по процам (но последние ядра делают это автоматически).
Что-то мне подсказывает, что 10G 4-х головая карта из разряда экзотики, сложная в эксплуатации.
Существуют 40G карты где можно разбить сороковку на 4x10G (и часто там 2x40G, соответственно можно 8x10G).

 

[roma33rus]

В 31.08.2019 в 18:48, nuclearcat сказал:

Посмотреть проц (точнее NUMA node)

nat ~ # cat /sys/class/net/eth3/device/numa_node
0
nat ~ # cat /sys/class/net/eth5/device/numa_node
1

Если везде по нулям, хотя карта в слоте другого проца - значит NUMA настроена неправильно в BIOS.
Чтобы загрузка не была печальной - надо правильно настраивать RPS и возможно раскидывать прерывания по процам (но последние ядра делают это автоматически).
Что-то мне подсказывает, что 10G 4-х головая карта из разряда экзотики, сложная в эксплуатации.
Существуют 40G карты где можно разбить сороковку на 4x10G (и часто там 2x40G, соответственно можно 8x10G).

 

Сейчас в разделе /sys/class/net у меня -1. Стоит одна карточка. Мне просто надо понять какую сетевую стоит брать. Да и 40г для нас пока рановато. Как и по требованиям, так и по деньгам.

 

А вообще еще была идея поставить 10г коммутатор. Какие можете посоветовать недорогие? Присмотрелся на наге к Cisco Nexus N5K-C5010P-BF. Стоит его вообще рассматривать? Или может какие другие посоветуете?

Edited September 2, 2019 by roma33rus

[nuclearcat]

-1 - возможно ваш сервер настолько древний, что там нет NUMA. Если это так - он вообще в тыкву превратится на мелком траффике, с десятками.

Потому мысль 10г коммутатор может быть вполне разумна, и с перспективой роста. А вот какой - коллеги посоветуют.

Я циски не люблю, но это субьективное, т.к. чтобы добывать к ним недырявые прошивки (после кучи проблем с безопасностью) надо с поклоном к менеджерам циски идти или с протянутой рукой по форумам и торрентам, да и апдейтить нексусы дело нетривиальное.

Апдейт обязателен - если она работает в L3.

В вашем случае проще - если с этим вам наг поможет.

 

[roma33rus]

Ну не знаю на счет тыквы. 4.9 гигабита через него пока что бегает

 

Кстати у меня сейчас очереди обеих сетевух прибиты к одному процу. если же я их разбивал по разным процам, то да, сервак умирал.

Вот сейчас текущая загрузка за сутки:

[nuclearcat]

5.7G это очень немного, учитывая что карта в теории может дать 16G.

И немаловажно количество пакетов в секунду. С крупными пакетами большинство серверов легко справится, а если кто-то насыплет мелких? (если такая возможность существует)
P.S. Поправка до 18G, т.к. оверхед

[roma33rus]

да, про пакеты конечно с Вами согласен. Я думаю пока при наших запросах должно хватать этого сервака. Железо конечно понятное дело старое. В будущем апгрейд делать надо в любом случае.

А вот про коммутатор надо бы подумать. К чему вообще склоняться надо.

[Стич]

В 30.08.2019 в 16:22, roma33rus сказал:

Можно ли как-то посмотреть через какой проц работает каждый pci слот

lspci -vvv

 

Для двух процессорных систем

0x:xx.x - socket 0.

8x:xx.x - socket 1.

 

В 30.08.2019 в 16:22, roma33rus сказал:

Как мне вообще поступить лучше в этой ситуации?

Использую две карты 82599ES и два проца.

numа не использую.

Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже.

Edited September 2, 2019 by Стич

[Стич]

4 часа назад, nuclearcat сказал:

что карта в теории может дать 16G. 

https://ru.wikipedia.org/wiki/PCI_Express

PCI Express* v2.0 5.0 GT/s, x8 Lanes = 4.0 Гбайт/с = 32ГБит/c

И это только в одном направлении, а шина двунаправленная.

 

[nuclearcat]

19 minutes ago, Стич said:

https://ru.wikipedia.org/wiki/PCI_Express

PCI Express* v2.0 5.0 GT/s, x8 Lanes = 4.0 Гбайт/с = 32ГБит/c

И это только в одном направлении, а шина двунаправленная.

 

Вы в реальный 10G порт пытались запихнуть больше 8-9G? :)

Если бы пытались, то пропускную способность PCI шины не считали. И кстати в PCIe есть масса других подводных камней, кроме голой пропускной способности, но именно PCIe в случае 82599 - не проблема.

 

[Стич]

26 минут назад, nuclearcat сказал:

Вы в реальный 10G порт пытались запихнуть больше 8-9G? :)

Использую две карты 82599ES и два проца.

numа не использую.

Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже.

В одной карте x520 2x10GE использую две карты, получается в сумме 4x10GE которые у меня в бондинге.

 

 

26 минут назад, nuclearcat сказал:

но именно PCIe в случае 82599 - не проблема.

 

В чем проблема?

Edited September 2, 2019 by Стич

[nuclearcat]

Just now, Стич said:

Использую две карты 82599ES и два проца.

numа не использую.

Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже.

Причем тут это? Я гоняю и больше, но это не меняет того, что формально 10G порт никто не нагружает более 7г. Потому как начинаются проблема с микроберстами.

А выше - начинаются еще и проблемы из-за накладных расходов на сам ethernet, т.к. формально вы не сможете получить line rate 64b начиная с 7.14Gbps IP пакетов (с 802.1q еще меньше).

[roma33rus]

17 часов назад, Стич сказал:

lspci -vvv

 

Для двух процессорных систем

0x:xx.x - socket 0.

8x:xx.x - socket 1.

 

Использую две карты 82599ES и два проца.

numа не использую.

Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже.

 

 

А какая у Вас загрузка проца получается?

[roma33rus]

16 часов назад, nuclearcat сказал:

Причем тут это? Я гоняю и больше, но это не меняет того, что формально 10G порт никто не нагружает более 7г. Потому как начинаются проблема с микроберстами.

А выше - начинаются еще и проблемы из-за накладных расходов на сам ethernet, т.к. формально вы не сможете получить line rate 64b начиная с 7.14Gbps IP пакетов (с 802.1q еще меньше).

А выход какой тогда в ситуации, если трафика больше 7г через один порт пропустить надо? Бондинг или 40г порт?

[nuclearcat]

40 minutes ago, roma33rus said:

А выход какой тогда в ситуации, если трафика больше 7г через один порт пропустить надо? Бондинг или 40г порт? 

Лучше всего 40Г, если есть возможность. А так да, бондинг или ECMP.

[roma33rus]

22 часа назад, nuclearcat сказал:

Лучше всего 40Г, если есть возможность. А так да, бондинг или ECMP.

Спасибо за советы. Будем думать тогда как поступить.

[NiTr0]

В 02.09.2019 в 11:19, nuclearcat сказал:

-1 - возможно ваш сервер настолько древний, что там нет NUMA. Если это так - он вообще в тыкву превратится на мелком траффике, с десятками.

дык LGA1366 же. NUMA есть, но PCI-e контроллер в чипсете.

[roma33rus]

1 час назад, NiTr0 сказал:

дык LGA1366 же. NUMA есть, но PCI-e контроллер в чипсете.

Для молотилки трафика это естественно плохо?

[QWE]

В 31.08.2019 в 18:48, nuclearcat сказал:

Посмотреть проц (точнее NUMA node)

nat ~ # cat /sys/class/net/eth3/device/numa_node
0
nat ~ # cat /sys/class/net/eth5/device/numa_node
1

Если везде по нулям, хотя карта в слоте другого проца - значит NUMA настроена неправильно в BIOS.
Чтобы загрузка не была печальной - надо правильно настраивать RPS и возможно раскидывать прерывания по процам (но последние ядра делают это автоматически).
Что-то мне подсказывает, что 10G 4-х головая карта из разряда экзотики, сложная в эксплуатации.
Существуют 40G карты где можно разбить сороковку на 4x10G (и часто там 2x40G, соответственно можно 8x10G).

 

в  серваке две 2х10Г карты (82599ES) + два встроенных (82576) сетевых интерфейса, NUMA везде по нулям ((

хотя прерывания двух используемых 10Г интерфейсов прибиты к разным CPU

и в каком месте BIOS смотреть правильную настройку ?

numa в сервере есть

# numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3
node 0 size: 3941 MB
node 0 free: 187 MB
node 1 cpus: 4 5 6 7
node 1 size: 4029 MB
node 1 free: 80 MB
node distances:
node   0   1
  0:  10  21
  1:  21  10

 

 

В 03.09.2019 в 10:59, nuclearcat сказал:

Лучше всего 40Г, если есть возможность. А так да, бондинг или ECMP.

какой мат платой и каким процом роутить траф на 40Г интерфейсе(ах) ? сколько pps выходит? чисто на Linux ядре?

Edited September 4, 2019 by QWE

[jffulcrum]

2 часа назад, QWE сказал:

в  серваке две 2х10Г карты (82599ES) + два встроенных (82576) сетевых интерфейса, NUMA везде по нулям

Значит вся шина PCI-E идет от одного проца. Обычно в мануале на сервер/мать есть карта, откуда на какие слоты все идет. BTW, если это роутер, то есть что на входе - то и на выходе (за минусом ин/декапсуляций), то это и правильно.

[QWE]

13 минут назад, jffulcrum сказал:

Значит вся шина PCI-E идет от одного проца. Обычно в мануале на сервер/мать есть карта, откуда на какие слоты все идет. BTW, если это роутер, то есть что на входе - то и на выходе (за минусом ин/декапсуляций), то это и правильно.

прерывания интерфейсов прибиты к разным CPU

[h3ll1]

On 9/4/2019 at 11:43 AM, roma33rus said:

плохо

НЕ плохо, есть ли MHz!

[NiTr0]

В 04.09.2019 в 11:43, roma33rus сказал:

Для молотилки трафика это естественно плохо?

нет. плохо было бы если бы это был лга771. 1366 - таки десяток гигабит вполне должен промолотить даже на одной голове. а вот насколько хорошо будет при работе обеих голов (NUMA, да) - вопрос...

[TriKS]

34 минуты назад, NiTr0 сказал:

вот насколько хорошо будет при работе обеих голов (NUMA, да) - вопрос...

брасом до 8Г гонял(без ната, 1 сетевка), форвардил 12. Раскидывал всегда на 2 нумы.