smart85 Опубликовано 2 декабря, 2019 (изменено) · Жалоба Коллеги, приветствую! Есть пара серверов под FreeBSD 11.3-RELEASE-p5, камень CPU: Intel(R) Xeon(R) CPU E5607 @ 2.27GHz (2266.79-MHz K8-class CPU) В каждом установлен двухголовый сетевой адаптер: ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xec00-0xec1f mem 0xfbd80000-0xfbdfffff,0xfbcfc000-0xfbcfffff irq 32 at device 0.0 numa-domain 0 on pci5 ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xe880-0xe89f mem 0xfbc00000-0xfbc7ffff,0xfbb7c000-0xfbb7ffff irq 42 at device 0.1 numa-domain 0 on pci5 Сейчас iperf выше 10-12G между серверами не показывает, при этом interrupt 20-30% Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности? Изменено 2 декабря, 2019 пользователем mse.rus77 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 2 декабря, 2019 · Жалоба Так а с чего LACP будет ускорять "один-к-одному"? LACP - это агрегация "много-к-одному". Вам нужен roundrobin, и если софт готов к reorder ошибкам (когда датаграмма со следующим номером последовательности прилетает раньше, чем с предыдущим). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 2 декабря, 2019 · Жалоба Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 2 декабря, 2019 · Жалоба 5 часов назад, vlad11 сказал: Где схемы L1? L2? графики нагрузки в байтах, pps, прерываний, CPU? Пояснение о типе траффика, соотношения размеров пакетов? ***я это всё? пусть буфера просто увеличит для сети и всё у него поедет к тому же расчетные значения под 10ж подавно по всей сети разбросаны, а ему просто увеличить в пару раз это дело надо Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 2 декабря, 2019 · Жалоба 8 часов назад, mse.rus77 сказал: Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности? Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 2 декабря, 2019 · Жалоба 34 минуты назад, Ivan_83 сказал: Тебе надо iperf запускать хотя бы с 2 отдельных серверов, а лучше с 4х на твой новый, потому что LACP тебе соединения между одним и тем же хостом гонит через один линк, скорее всего. LACP balances outgoing traffic across the active ports based on hashed protocol header information and accepts incoming traffic from any active port. The hash includes the Ethernet source and destination address and, if available, the VLAN tag, and the IPv4 or IPv6 source and destination address. или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать или просто RR сделать и тоже всё будет ок ну и хочется видеть как именно товарищ iperf запускает, есть смутные подозрения Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
orlik Опубликовано 3 декабря, 2019 · Жалоба 11 hours ago, mse.rus77 said: Пожалуйста, подскажите, куда копать в плане тюнинга сетевого стека для бОльшей производительности? Для начала , посмотрите как у вас трафик по интерфейсам распределяется Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 3 декабря, 2019 · Жалоба 13 часов назад, GrandPr1de сказал: или просто алисасов навесить, что б хеш разный был и разные сорс\дест делать Там по пути может быть коммутатор, который там умом не отличается и просто на основе маков или ещё как размазывает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 3 декабря, 2019 · Жалоба Он сюда из сосденей темы пришел. И схема включения там есть (возможно полная): Цитата собрали все это дело в LACP на MX-104 server#1<---2x10G--->MX-104<---2x10G--->server#2 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 3 декабря, 2019 · Жалоба Подозреваю что там systat -ifstat 1 будет показывать что один из линков в полку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...