[sirmax]

7 часов назад, Стич сказал:

Ну не знаю, имею два роутера с двумя физическими процессорами, прерывания карт прибиты к ядрам, numa=off,

34gbps туда и обратно проблем не имею.

и что процессоры загружены равномерно? 
 

[sdy_moscow]

1 час назад, sirmax сказал:

и что процессоры загружены равномерно? 

Если сетевые карты "прибиты" к процам - то тут только вопрос  в равномерности нагрузки на сетевые платы.

[1boris]

12 часов назад, Стич сказал:

Ну не знаю, имею два роутера с двумя физическими процессорами, прерывания карт прибиты к ядрам, numa=off,

34gbps туда и обратно проблем не имею.

А что за процессоры, если не секрет?

[Стич]

9 часов назад, sdy_moscow сказал:

Если сетевые карты "прибиты" к процам - то тут только вопрос  в равномерности нагрузки на сетевые платы.

4x10Gbps bond плюс on-stick поэтому нагрузка на сетевые равномерная нагрузка на процы то же.

 

5 часов назад, 1boris сказал:

А что за процессоры, если не секрет?

E5-2697A v4 покупали на aliexpress за копейки с запасом. Загрузка 50%

[Умник]

20 часов назад, Стич сказал:

34gbps туда и обратно проблем не имею.

Какой суммарный входящий в сервер PPS? PPPoE? IPoE? Я так понимаю у вас NAT. Штатный nftables - или еще что-то? Есть ли ipt_netflow?

[Azamat]

2 по 4х10 (типа вход/выход) ? или один 4*10 и на вланы побито и трафик 15/3 гиг в одном влане и 15/3 после нат в другом влане ? Итоговый трафик тоже будет как бы порядка 34 гиг

[Стич]

32 минуты назад, Azamat сказал:

2 по 4х10 (типа вход/выход) ? или один 4*10 и на вланы побито и трафик 15/3 гиг в одном влане и 15/3 после нат в другом влане ? Итоговый трафик тоже будет как бы порядка 34 гиг

Итоговый трафик у вас будет как бы порядка 18Г. На бонд 18вход 18 выход . Не ну если считать по cisco маркетингу тогда 18+18=36

У меня На бонд 34вход 34 выход если считать по cisco маркетингу тогда 34+34 аж 68

[Azamat]

По "чесноку" считается то если на борту 2х40 (ну или 2 по 4х10) например - тогда да - 34/6 в серую сеть, 34/6 выход за НАТ- итого 80 гиг. 

 

причем эти /6 туда - сюда делают серверу больнее

 

В вашем случае не исключено, что 28/5 туда - сюда, графики покажут что зеленая/синяя зоны по 33-34 гига

чисто технически 28/3 ( 2х40 Мелланокс) натятся на бытовом i9-9900k и плате Асус.

Изменено 16 января пользователем Azamat

[sirmax]

13 часов назад, sdy_moscow сказал:

Если сетевые карты "прибиты" к процам - то тут только вопрос  в равномерности нагрузки на сетевые платы.

 Если я правильно понимаю современную архитектуру многопроцессорных систем то PCI  карта, точнее слот тоже относится к какой-то NUMА-ноде? 

Или это не так?

[Стич]

1 час назад, Azamat сказал:

По "чесноку" считается то если на борту 2х40 (ну или 2 по 4х10) например - тогда да - 34/6 в серую сеть, 34/6 выход за НАТ- итого 80 гиг. 

Если схема подключения on-stick то в вашем случае достаточно одной 4x10 Объединяем 4x10 в один bond в нём один vlan трафик до nat второй vlan после, загрузка ровненько распределяется по ядрам. Зачем плодить 2 по 4x10?

[Стич]

1 час назад, sirmax сказал:

 Если я правильно понимаю современную архитектуру многопроцессорных систем то PCI  карта, точнее слот тоже относится к какой-то NUMА-ноде? 

Или это не так?

http://mails.dpdk.org/archives/dev/2013-December/000988.html

[Умник]

1 час назад, sirmax сказал:

Если я правильно понимаю современную архитектуру многопроцессорных систем то PCI  карта, точнее слот тоже относится к какой-то NUMА-ноде? 

Да. И обычно в документации к материнской плате есть картинка. Пример во вложении.

[sirmax]

1 минуту назад, Умник сказал:

Да. И обычно в документации к материнской плате есть картинка. Пример во вложении.

 

8 минут назад, Стич сказал:

http://mails.dpdk.org/archives/dev/2013-December/000988.html

Я не могу интерпретировать вывод 
 

root@r710:~# cat /sys/class/net/enp6s0f0/device/numa_node
-1
root@r710:~# cat /sys/class/net/enp7s0f0/device/numa_node
-1

(в моем случае хочется numa affinity, что бы VNF давалась виртуалке на той же ноде что и память) 

Пока задача скорее теоретическая

 

@Умник
Если я правильно понимаю схему, то в 2-х сокетной схеме разумнее использовать для роутинга PCI-слоты для NUMA-node 1 (второй сокет), так как на первом остануться другие задачи которые нельзя перенести?

[Умник]

1 минуту назад, sirmax сказал:

Я не могу интерпретировать вывод 

Оба процессора установлены?

numa=off не передаете ядру?

В BIOS не должен быть включен Node Interleaving.

 

4 минуты назад, sirmax сказал:

так как на первом остануться другие задачи которые нельзя перенести?

Мне не кажется, что если машина используется под маршрутизатор, что-то из того, что жестко подключено к первому сокету, создает сколь-нибудь значимую нагрузку.

[sirmax]

В 16.01.2024 в 12:57, Умник сказал:

Оба процессора установлены?

numa=off не передаете ядру?

В BIOS не должен быть включен Node Interleaving.

Проверил на разных серверах, на разных сетевых картах - ситуация одинаковая
 

ethtool -i enp7s1f0
driver: qla3xxx

ethtool -i enp3s0f0
driver: ixgbe

root@blade-3:~# cat /sys/class/net/enp7s1f0/device/numa_node
-1
root@blade-3:~# cat /sys/class/net/enp3s0f1/device/numa_node
-1

 

root@blade-3:~# cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-5.15.0-91-generic root=UUID=bfc54566-94ff-418d-96f6-2231e8114932 ro

Где искать настройку Node Interleaving ?

(прошу прощения за фото но скриншотилка странно себя ведет и не делает скриншот, учитывая что это старое железо и нужна старая Java запускаю в Javafox  у которого под капотом докер, в общем только так)

 

[jffulcrum]

Возможно опция в настройках Memory

 

Система-то какая?

[sirmax]

3 минуты назад, jffulcrum сказал:

Возможно опция в настройках Memory

 

Система-то какая?

Система в значении "какой линукс?" 
 

lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 22.04.1 LTS
Release:	22.04
Codename:	jammy

Железка - это 4-х нодовый а-ля блейд от  Dell - C6100 
В 2-х юнитах там 4 ноды (каждая на  2 процессора и 6 сетевок 2 из которых Intel 520 DA2)


По памяти вот что 

[jffulcrum]

А, понял, просто глаз замылился. Для много портовых карт метод не работает, т.к. порт - дочернее устройство. Вам надо смотреть с помощью cat /sys/bus/pci/devices/ родителя

[Умник]

Подхватывает ли ядро таблицу Resource Affinity Table (SRAT) из ACPI? На базе информации из нее формируются nodes. Проверьте:

cat /var/log/dmesg | grep -i srat

В некоторых BIOS она явным образом включается в Advanced ACPI Configuration.

Изменено 17 января пользователем Умник

[jffulcrum]

5 минут назад, sirmax сказал:

C6100

Херасе античности подвезли. Она может быть вообще ещё не NUMA, с контроллером в чипсете

 

А нет, 5530 - это уже Нехалимы, NUMA должен быть

[Умник]

NUMA там есть. Но в материнке старый чипсет Intel 5500/5600, PCI lanes там еще не подключаются непосредственно к CPU. См. здесь вторую картинку: https://www.servethehome.com/answered-cpu-dual-processor-motherboard/. Поэтому карта не может быть привязана к какой-то одной ноде.

 

На последней картинке - современный порядок дел.

Изменено 17 января пользователем Умник

[sirmax]

5 часов назад, Умник сказал:

NUMA там есть. Но в материнке старый чипсет Intel 5500/5600, PCI lanes там еще не подключаются непосредственно к CPU. См. здесь вторую картинку: https://www.servethehome.com/answered-cpu-dual-processor-motherboard/. Поэтому карта не может быть привязана к какой-то одной ноде.

 

На последней картинке - современный порядок дел.

Отличная статья, спасибо
 

[sirmax]

В 17.01.2024 в 15:25, jffulcrum сказал:

Херасе античности подвезли. Она может быть вообще ещё не NUMA, с контроллером в чипсете

 

А нет, 5530 - это уже Нехалимы, NUMA должен быть

«старый, но не бесполезный» (это цитата) 😉