Jump to content
Калькуляторы

FreeBSD 11.3-RELEASE-p5 - тюнинг системы для 20G LAGG (LACP)

Коллеги, приветствую!

Есть пара серверов под FreeBSD 11.3-RELEASE-p5, камень CPU: Intel(R) Xeon(R) CPU           E5607  @ 2.27GHz (2266.79-MHz K8-class CPU)

В каждом установлен двухголовый сетевой адаптер:

ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xec00-0xec1f mem 0xfbd80000-0xfbdfffff,0xfbcfc000-0xfbcfffff irq 32 at device 0.0 numa-domain 0 on pci5
ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xe880-0xe89f mem 0xfbc00000-0xfbc7ffff,0xfbb7c000-0xfbb7ffff irq 42 at device 0.1 numa-domain 0 on pci5
 

Сейчас iperf выше 10-12G между серверами не показывает, при этом interrupt 20-30%

 

Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности?

Edited by mse.rus77

Share this post


Link to post
Share on other sites

Так а с чего LACP будет ускорять "один-к-одному"? LACP - это агрегация "много-к-одному". Вам нужен roundrobin, и если софт готов к reorder ошибкам (когда датаграмма со следующим номером последовательности прилетает раньше, чем с предыдущим). 

Share this post


Link to post
Share on other sites

Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов?

Share this post


Link to post
Share on other sites
5 часов назад, vlad11 сказал:

Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов?

нахуя это всё? пусть буфера просто увеличит для сети и всё у него поедет

к тому же расчетные значения под 10ж подавно по всей сети разбросаны, а ему просто увеличить в пару раз это дело надо

Share this post


Link to post
Share on other sites
8 часов назад, mse.rus77 сказал:

Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности?

Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего.

Share this post


Link to post
Share on other sites
34 минуты назад, Ivan_83 сказал:

Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего.

LACP balances outgoing traffic across the active ports based on hashed protocol header information and accepts incoming traffic from any active port. The hash includes the Ethernet source and destination address and, if available, the VLAN tag, and the IPv4 or IPv6 source and destination address.

 

или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать

или просто RR сделать и тоже всё будет ок

ну и хочется видеть как именно товарищ iperf запускает, есть смутные подозрения

Share this post


Link to post
Share on other sites
11 hours ago, mse.rus77 said:

Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности?

 

Для начала , посмотрите как у вас трафик по интерфейсам распределяется

Share this post


Link to post
Share on other sites
13 часов назад, GrandPr1de сказал:

или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать

Там по пути может быть коммутатор, который там умом не отличается и просто на основе маков или ещё как размазывает.

Share this post


Link to post
Share on other sites

Он сюда из сосденей темы пришел.

И схема включения там есть (возможно полная):

 

Цитата

собрали все это дело в LACP на MX-104

 

server#1<---2x10G--->MX-104<---2x10G--->server#2

 

Share this post


Link to post
Share on other sites

Подозреваю что там

systat -ifstat 1

будет показывать что один из линков в полку.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now