Перейти к содержимому
Калькуляторы

FreeBSD 11.3-RELEASE-p5 - тюнинг системы для 20G LAGG (LACP)

Коллеги, приветствую!

Есть пара серверов под FreeBSD 11.3-RELEASE-p5, камень CPU: Intel(R) Xeon(R) CPU           E5607  @ 2.27GHz (2266.79-MHz K8-class CPU)

В каждом установлен двухголовый сетевой адаптер:

ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xec00-0xec1f mem 0xfbd80000-0xfbdfffff,0xfbcfc000-0xfbcfffff irq 32 at device 0.0 numa-domain 0 on pci5
ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xe880-0xe89f mem 0xfbc00000-0xfbc7ffff,0xfbb7c000-0xfbb7ffff irq 42 at device 0.1 numa-domain 0 on pci5
 

Сейчас iperf выше 10-12G между серверами не показывает, при этом interrupt 20-30%

 

Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности?

Изменено пользователем mse.rus77

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так а с чего LACP будет ускорять "один-к-одному"? LACP - это агрегация "много-к-одному". Вам нужен roundrobin, и если софт готов к reorder ошибкам (когда датаграмма со следующим номером последовательности прилетает раньше, чем с предыдущим). 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 часов назад, vlad11 сказал:

Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов?

***я это всё? пусть буфера просто увеличит для сети и всё у него поедет

к тому же расчетные значения под 10ж подавно по всей сети разбросаны, а ему просто увеличить в пару раз это дело надо

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 часов назад, mse.rus77 сказал:

Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности?

Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

34 минуты назад, Ivan_83 сказал:

Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего.

LACP balances outgoing traffic across the active ports based on hashed protocol header information and accepts incoming traffic from any active port. The hash includes the Ethernet source and destination address and, if available, the VLAN tag, and the IPv4 or IPv6 source and destination address.

 

или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать

или просто RR сделать и тоже всё будет ок

ну и хочется видеть как именно товарищ iperf запускает, есть смутные подозрения

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

11 hours ago, mse.rus77 said:

Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности?

 

Для начала , посмотрите как у вас трафик по интерфейсам распределяется

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 часов назад, GrandPr1de сказал:

или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать

Там по пути может быть коммутатор, который там умом не отличается и просто на основе маков или ещё как размазывает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Он сюда из сосденей темы пришел.

И схема включения там есть (возможно полная):

 

Цитата

собрали все это дело в LACP на MX-104

 

server#1<---2x10G--->MX-104<---2x10G--->server#2

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подозреваю что там

systat -ifstat 1

будет показывать что один из линков в полку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.