roma33rus Опубликовано 30 августа, 2019 · Жалоба Всем привет. Имеем железку DL360 G6. С двумя процами и двухголовой сетевой картой 82599ES. Используем на ней bgp и ipt_NETFLOW. Встал вопрос подключить еще один сервак к нему. В связи с этим хотелось бы понять как лучше поступить, добавить еще одну двухголовую сетевую или ставить 4 головы. Если я допустим ставлю вторую сетевую и ее слот работает через другой проц, нежели первая сетевая, то ситуация в плане загрузки становится печальной. Можно ли как-то посмотреть через какой проц работает каждый pci слот. Как мне вообще поступить лучше в этой ситуации? Может вообще второй проц выдернуть из платы? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 30 августа, 2019 · Жалоба 17 минут назад, roma33rus сказал: Можно ли как-то посмотреть через какой проц работает каждый pci слот. У этой модели все PCIE еще из чипсета идет, так что пофиг. Вообще, ему на пенсию пора 45 минут назад, roma33rus сказал: ставить 4 головы Вам тогда карту X16 искать надо, ибо в PCIE 2.0 одна линия - 4 Гбит, соответственно в х8 вы получите только 32 Гбит/с, и то в теории... Вторая карта будет дешевле. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 31 августа, 2019 · Жалоба On 8/30/2019 at 4:22 PM, roma33rus said: Всем привет. Имеем железку DL360 G6. С двумя процами и двухголовой сетевой картой 82599ES. Используем на ней bgp и ipt_NETFLOW. Встал вопрос подключить еще один сервак к нему. В связи с этим хотелось бы понять как лучше поступить, добавить еще одну двухголовую сетевую или ставить 4 головы. Если я допустим ставлю вторую сетевую и ее слот работает через другой проц, нежели первая сетевая, то ситуация в плане загрузки становится печальной. Можно ли как-то посмотреть через какой проц работает каждый pci слот. Как мне вообще поступить лучше в этой ситуации? Может вообще второй проц выдернуть из платы? Посмотреть проц (точнее NUMA node) nat ~ # cat /sys/class/net/eth3/device/numa_node 0 nat ~ # cat /sys/class/net/eth5/device/numa_node 1 Если везде по нулям, хотя карта в слоте другого проца - значит NUMA настроена неправильно в BIOS. Чтобы загрузка не была печальной - надо правильно настраивать RPS и возможно раскидывать прерывания по процам (но последние ядра делают это автоматически). Что-то мне подсказывает, что 10G 4-х головая карта из разряда экзотики, сложная в эксплуатации. Существуют 40G карты где можно разбить сороковку на 4x10G (и часто там 2x40G, соответственно можно 8x10G). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roma33rus Опубликовано 2 сентября, 2019 (изменено) · Жалоба В 31.08.2019 в 18:48, nuclearcat сказал: Посмотреть проц (точнее NUMA node) nat ~ # cat /sys/class/net/eth3/device/numa_node 0 nat ~ # cat /sys/class/net/eth5/device/numa_node 1 Если везде по нулям, хотя карта в слоте другого проца - значит NUMA настроена неправильно в BIOS. Чтобы загрузка не была печальной - надо правильно настраивать RPS и возможно раскидывать прерывания по процам (но последние ядра делают это автоматически). Что-то мне подсказывает, что 10G 4-х головая карта из разряда экзотики, сложная в эксплуатации. Существуют 40G карты где можно разбить сороковку на 4x10G (и часто там 2x40G, соответственно можно 8x10G). Сейчас в разделе /sys/class/net у меня -1. Стоит одна карточка. Мне просто надо понять какую сетевую стоит брать. Да и 40г для нас пока рановато. Как и по требованиям, так и по деньгам. А вообще еще была идея поставить 10г коммутатор. Какие можете посоветовать недорогие? Присмотрелся на наге к Cisco Nexus N5K-C5010P-BF. Стоит его вообще рассматривать? Или может какие другие посоветуете? Изменено 2 сентября, 2019 пользователем roma33rus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 2 сентября, 2019 · Жалоба -1 - возможно ваш сервер настолько древний, что там нет NUMA. Если это так - он вообще в тыкву превратится на мелком траффике, с десятками. Потому мысль 10г коммутатор может быть вполне разумна, и с перспективой роста. А вот какой - коллеги посоветуют. Я циски не люблю, но это субьективное, т.к. чтобы добывать к ним недырявые прошивки (после кучи проблем с безопасностью) надо с поклоном к менеджерам циски идти или с протянутой рукой по форумам и торрентам, да и апдейтить нексусы дело нетривиальное. Апдейт обязателен - если она работает в L3. В вашем случае проще - если с этим вам наг поможет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roma33rus Опубликовано 2 сентября, 2019 · Жалоба Ну не знаю на счет тыквы. 4.9 гигабита через него пока что бегает Кстати у меня сейчас очереди обеих сетевух прибиты к одному процу. если же я их разбивал по разным процам, то да, сервак умирал. Вот сейчас текущая загрузка за сутки: Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 2 сентября, 2019 · Жалоба 5.7G это очень немного, учитывая что карта в теории может дать 16G. И немаловажно количество пакетов в секунду. С крупными пакетами большинство серверов легко справится, а если кто-то насыплет мелких? (если такая возможность существует) P.S. Поправка до 18G, т.к. оверхед Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roma33rus Опубликовано 2 сентября, 2019 · Жалоба да, про пакеты конечно с Вами согласен. Я думаю пока при наших запросах должно хватать этого сервака. Железо конечно понятное дело старое. В будущем апгрейд делать надо в любом случае. А вот про коммутатор надо бы подумать. К чему вообще склоняться надо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 2 сентября, 2019 (изменено) · Жалоба В 30.08.2019 в 16:22, roma33rus сказал: Можно ли как-то посмотреть через какой проц работает каждый pci слот lspci -vvv Для двух процессорных систем 0x:xx.x - socket 0. 8x:xx.x - socket 1. В 30.08.2019 в 16:22, roma33rus сказал: Как мне вообще поступить лучше в этой ситуации? Использую две карты 82599ES и два проца. numа не использую. Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже. Изменено 2 сентября, 2019 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 2 сентября, 2019 · Жалоба 4 часа назад, nuclearcat сказал: что карта в теории может дать 16G. https://ru.wikipedia.org/wiki/PCI_Express PCI Express* v2.0 5.0 GT/s, x8 Lanes = 4.0 Гбайт/с = 32ГБит/c И это только в одном направлении, а шина двунаправленная. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 2 сентября, 2019 · Жалоба 19 minutes ago, Стич said: https://ru.wikipedia.org/wiki/PCI_Express PCI Express* v2.0 5.0 GT/s, x8 Lanes = 4.0 Гбайт/с = 32ГБит/c И это только в одном направлении, а шина двунаправленная. Вы в реальный 10G порт пытались запихнуть больше 8-9G? :) Если бы пытались, то пропускную способность PCI шины не считали. И кстати в PCIe есть масса других подводных камней, кроме голой пропускной способности, но именно PCIe в случае 82599 - не проблема. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 2 сентября, 2019 (изменено) · Жалоба 26 минут назад, nuclearcat сказал: Вы в реальный 10G порт пытались запихнуть больше 8-9G? :) Использую две карты 82599ES и два проца. numа не использую. Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже. В одной карте x520 2x10GE использую две карты, получается в сумме 4x10GE которые у меня в бондинге. 26 минут назад, nuclearcat сказал: но именно PCIe в случае 82599 - не проблема. В чем проблема? Изменено 2 сентября, 2019 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 2 сентября, 2019 · Жалоба Just now, Стич said: Использую две карты 82599ES и два проца. numа не использую. Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже. Причем тут это? Я гоняю и больше, но это не меняет того, что формально 10G порт никто не нагружает более 7г. Потому как начинаются проблема с микроберстами. А выше - начинаются еще и проблемы из-за накладных расходов на сам ethernet, т.к. формально вы не сможете получить line rate 64b начиная с 7.14Gbps IP пакетов (с 802.1q еще меньше). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roma33rus Опубликовано 3 сентября, 2019 · Жалоба 17 часов назад, Стич сказал: lspci -vvv Для двух процессорных систем 0x:xx.x - socket 0. 8x:xx.x - socket 1. Использую две карты 82599ES и два проца. numа не использую. Две карты прибиты к разным процам, а очереди прибиты жестко к ядрам и потокам. Прогоняю 20Гигабит. И да bgp и ipt_NETFLOW тоже. А какая у Вас загрузка проца получается? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roma33rus Опубликовано 3 сентября, 2019 · Жалоба 16 часов назад, nuclearcat сказал: Причем тут это? Я гоняю и больше, но это не меняет того, что формально 10G порт никто не нагружает более 7г. Потому как начинаются проблема с микроберстами. А выше - начинаются еще и проблемы из-за накладных расходов на сам ethernet, т.к. формально вы не сможете получить line rate 64b начиная с 7.14Gbps IP пакетов (с 802.1q еще меньше). А выход какой тогда в ситуации, если трафика больше 7г через один порт пропустить надо? Бондинг или 40г порт? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 3 сентября, 2019 · Жалоба 40 minutes ago, roma33rus said: А выход какой тогда в ситуации, если трафика больше 7г через один порт пропустить надо? Бондинг или 40г порт? Лучше всего 40Г, если есть возможность. А так да, бондинг или ECMP. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roma33rus Опубликовано 4 сентября, 2019 · Жалоба 22 часа назад, nuclearcat сказал: Лучше всего 40Г, если есть возможность. А так да, бондинг или ECMP. Спасибо за советы. Будем думать тогда как поступить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 4 сентября, 2019 · Жалоба В 02.09.2019 в 11:19, nuclearcat сказал: -1 - возможно ваш сервер настолько древний, что там нет NUMA. Если это так - он вообще в тыкву превратится на мелком траффике, с десятками. дык LGA1366 же. NUMA есть, но PCI-e контроллер в чипсете. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roma33rus Опубликовано 4 сентября, 2019 · Жалоба 1 час назад, NiTr0 сказал: дык LGA1366 же. NUMA есть, но PCI-e контроллер в чипсете. Для молотилки трафика это естественно плохо? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 4 сентября, 2019 (изменено) · Жалоба В 31.08.2019 в 18:48, nuclearcat сказал: Посмотреть проц (точнее NUMA node) nat ~ # cat /sys/class/net/eth3/device/numa_node 0 nat ~ # cat /sys/class/net/eth5/device/numa_node 1 Если везде по нулям, хотя карта в слоте другого проца - значит NUMA настроена неправильно в BIOS. Чтобы загрузка не была печальной - надо правильно настраивать RPS и возможно раскидывать прерывания по процам (но последние ядра делают это автоматически). Что-то мне подсказывает, что 10G 4-х головая карта из разряда экзотики, сложная в эксплуатации. Существуют 40G карты где можно разбить сороковку на 4x10G (и часто там 2x40G, соответственно можно 8x10G). в серваке две 2х10Г карты (82599ES) + два встроенных (82576) сетевых интерфейса, NUMA везде по нулям (( хотя прерывания двух используемых 10Г интерфейсов прибиты к разным CPU и в каком месте BIOS смотреть правильную настройку ? numa в сервере есть # numactl --hardware available: 2 nodes (0-1) node 0 cpus: 0 1 2 3 node 0 size: 3941 MB node 0 free: 187 MB node 1 cpus: 4 5 6 7 node 1 size: 4029 MB node 1 free: 80 MB node distances: node 0 1 0: 10 21 1: 21 10 В 03.09.2019 в 10:59, nuclearcat сказал: Лучше всего 40Г, если есть возможность. А так да, бондинг или ECMP. какой мат платой и каким процом роутить траф на 40Г интерфейсе(ах) ? сколько pps выходит? чисто на Linux ядре? Изменено 4 сентября, 2019 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 4 сентября, 2019 · Жалоба 2 часа назад, QWE сказал: в серваке две 2х10Г карты (82599ES) + два встроенных (82576) сетевых интерфейса, NUMA везде по нулям Значит вся шина PCI-E идет от одного проца. Обычно в мануале на сервер/мать есть карта, откуда на какие слоты все идет. BTW, если это роутер, то есть что на входе - то и на выходе (за минусом ин/декапсуляций), то это и правильно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 4 сентября, 2019 · Жалоба 13 минут назад, jffulcrum сказал: Значит вся шина PCI-E идет от одного проца. Обычно в мануале на сервер/мать есть карта, откуда на какие слоты все идет. BTW, если это роутер, то есть что на входе - то и на выходе (за минусом ин/декапсуляций), то это и правильно. прерывания интерфейсов прибиты к разным CPU Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
h3ll1 Опубликовано 5 сентября, 2019 · Жалоба On 9/4/2019 at 11:43 AM, roma33rus said: плохо НЕ плохо, есть ли MHz! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 5 сентября, 2019 · Жалоба В 04.09.2019 в 11:43, roma33rus сказал: Для молотилки трафика это естественно плохо? нет. плохо было бы если бы это был лга771. 1366 - таки десяток гигабит вполне должен промолотить даже на одной голове. а вот насколько хорошо будет при работе обеих голов (NUMA, да) - вопрос... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
TriKS Опубликовано 5 сентября, 2019 · Жалоба 34 минуты назад, NiTr0 сказал: вот насколько хорошо будет при работе обеих голов (NUMA, да) - вопрос... брасом до 8Г гонял(без ната, 1 сетевка), форвардил 12. Раскидывал всегда на 2 нумы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...