smart85 Posted December 2, 2019 (edited) · Report post Коллеги, приветствую! Есть пара серверов под FreeBSD 11.3-RELEASE-p5, камень CPU: Intel(R) Xeon(R) CPU E5607 @ 2.27GHz (2266.79-MHz K8-class CPU) В каждом установлен двухголовый сетевой адаптер: ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xec00-0xec1f mem 0xfbd80000-0xfbdfffff,0xfbcfc000-0xfbcfffff irq 32 at device 0.0 numa-domain 0 on pci5 ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xe880-0xe89f mem 0xfbc00000-0xfbc7ffff,0xfbb7c000-0xfbb7ffff irq 42 at device 0.1 numa-domain 0 on pci5 Сейчас iperf выше 10-12G между серверами не показывает, при этом interrupt 20-30% Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности? Edited December 2, 2019 by mse.rus77 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted December 2, 2019 · Report post Так а с чего LACP будет ускорять "один-к-одному"? LACP - это агрегация "много-к-одному". Вам нужен roundrobin, и если софт готов к reorder ошибкам (когда датаграмма со следующим номером последовательности прилетает раньше, чем с предыдущим). Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vlad11 Posted December 2, 2019 · Report post Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
GrandPr1de Posted December 2, 2019 · Report post 5 часов назад, vlad11 сказал: Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов? ***я это всё? пусть буфера просто увеличит для сети и всё у него поедет к тому же расчетные значения под 10ж подавно по всей сети разбросаны, а ему просто увеличить в пару раз это дело надо Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted December 2, 2019 · Report post 8 часов назад, mse.rus77 сказал: Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности? Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
GrandPr1de Posted December 2, 2019 · Report post 34 минуты назад, Ivan_83 сказал: Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего. LACP balances outgoing traffic across the active ports based on hashed protocol header information and accepts incoming traffic from any active port. The hash includes the Ethernet source and destination address and, if available, the VLAN tag, and the IPv4 or IPv6 source and destination address. или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать или просто RR сделать и тоже всё будет ок ну и хочется видеть как именно товарищ iperf запускает, есть смутные подозрения Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
orlik Posted December 3, 2019 · Report post 11 hours ago, mse.rus77 said: Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности? Для начала , посмотрите как у вас трафик по интерфейсам распределяется Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted December 3, 2019 · Report post 13 часов назад, GrandPr1de сказал: или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать Там по пути может быть коммутатор, который там умом не отличается и просто на основе маков или ещё как размазывает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
GrandPr1de Posted December 3, 2019 · Report post Он сюда из сосденей темы пришел. И схема включения там есть (возможно полная): Цитата собрали все это дело в LACP на MX-104 server#1<---2x10G--->MX-104<---2x10G--->server#2 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted December 3, 2019 · Report post Подозреваю что там systat -ifstat 1 будет показывать что один из линков в полку. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
