[Valaskor]

Соберите нормальный драйвер, исходники скачайте свежие, фикс на unsupported SFP+ описан страницу назад.

[lllsergeyv]

Есть карта на 82598EB и проц X3430(4ядра).Сервер на Linux. 1 порт смотрит с вланами в сторону аплинков, 2 порт смотрит с вланами в локалку. Сервак принимает bgp и просто роутит.

Как правильнее раскидать прерывания от сетевушек по ядрам? и какие параметры нужно подкрутить чтоб прожевать максимальное количество трафика? Сколько такое железо может прожевать?

[nicol@s]

Соберите нормальный драйвер, исходники скачайте свежие, фикс на unsupported SFP+ описан страницу назад.

А ларчик просто открывался. Все взлетело! Спасибо!

А по поводу тюнинга не подскажете?

Изменено 16 декабря, 2011 пользователем nicol@s

[Стич]

Соберите нормальный драйвер, исходники скачайте свежие, фикс на unsupported SFP+ описан страницу назад.

А ларчик просто открывался. Все взлетело! Спасибо!

А по поводу тюнинга не подскажете?

Вы хотите сказать, что у Вас заработало с не родными SFP+?

[Valaskor]

Да работает оно без проблем.

[voron]

2 вариант:

вкючаем 1х10G линк, вход-выход вланами, вешаем iptables с ipset, ipt_netflow, шейперы не вешаем

все так же больше 1mpps, карта разгоняется без проблем хоть в полку, пинги нормальные, потерь нет.

 

3 вариант:

вкючаем 1х10G линк, вход-выход вланами, вешаем iptables с ipset, ipt_netflow, шейперы с хешами на eth0(по dst-ip и src-ip отдельные классы).

больше 900kpps не хочет жевать

 

Вопрос - где узкое место в 3м случае?

если 2 и 3 отличаются только шейпером, то, очевидно, шейпер. Если его перевесить на вланы вместо eth0, что-то меняется?

[dmitry_]

 

3 вариант:

вкючаем 1х10G линк, вход-выход вланами, вешаем iptables с ipset, ipt_netflow, шейперы с хешами на eth0(по dst-ip и src-ip отдельные классы).

больше 900kpps не хочет жевать

 

 

не жует больше 900kpps, а что говорит

ethtool -S ethX

ethtool -k ethX

ethtool -c ethX

ethtool -g ethX

 

и как загрузка ЦПУ?

настроена ли irq affinity?

[Valaskor]

если 2 и 3 отличаются только шейпером, то, очевидно, шейпер. Если его перевесить на вланы вместо eth0, что-то меняется?

Шейперы на vlan глючат. Если не ошибаюсь, они хоть и висят на вланах, по факту работают на eth, конфликтуя друг с другом.

 

не жует больше 900kpps, а что говорит

ethtool -S ethX

ethtool -k ethX

ethtool -c ethX

ethtool -g ethX

 

и как загрузка ЦПУ?

настроена ли irq affinity?

Ошибок нет, офлоады все off, ринг на максимуме (4096)

Irq разнесены, перегрузки по ядрам нет.

 

 

ethtool -c eth0

Coalesce parameters for eth0:

Adaptive RX: off TX: off

stats-block-usecs: 0

sample-interval: 0

pkt-rate-low: 0

pkt-rate-high: 0

 

rx-usecs: 125

rx-frames: 0

rx-usecs-irq: 0

rx-frames-irq: 0

 

tx-usecs: 0

tx-frames: 0

tx-usecs-irq: 0

tx-frames-irq: 0

 

rx-usecs-low: 0

rx-frame-low: 0

tx-usecs-low: 0

tx-frame-low: 0

 

rx-usecs-high: 0

rx-frame-high: 0

tx-usecs-high: 0

tx-frame-high: 0

 

 

[Valaskor]

Провел еще пару интересных тестов.

Убрал исходящий трафик с сервера в другое место, а входящий нагрузил по-максимуму.

Получил односторонный трафик 5-6Г (сильно колеблется) и прыгающие пинги.

Откуда приходит трафик (тот же линк или другой) - не влияет.

Такое впечатление, что шейпер не может выпустить с интерфейса больше определенного объема трафика.

Но никаких корневых шейперов не делалось.

Изменено 19 декабря, 2011 пользователем Valaskor

[nicol@s]

Коллеги, подскажите по тюнингу сего девайса?

Пока что выставил:

/sbin/ethtool -A eth9  autoneg off rx off tx off
/sbin/modprobe igb IntMode=2,2,2,2,2,2,2,2,2,2,2,2 InterruptThrottleRate=8000,8000,8000,8000,8000,8000,8000,8000,8000,8000,8000,8000 RSS=6,6,6,6,6,6,6,6,6,6,6,6 QueuePairs=1,1,1,1,1,1,1,1,1,1,1,1 LLIPort=80
/sbin/ethtool -G eth9  tx 2048
/sbin/ethtool -G eth9  rx 2048
/sbin/ifconfig eth9  txqueuelen 10000

+ распределил прерывания по ядрам проца.

Имеет смысл увеличить размеры буферов? txqueuelen? Или что-то еще стоит добавить?

Изменено 20 декабря, 2011 пользователем nicol@s

[Dyr]

Вы сначала скажите, что вы хотите получить и чего вам сейчас не хватает.

 

И вопрос (продублирую) остальным - что нынче из дешёвых десяточных коммутаторов есть? Интересует тупо L2-молотилка, в которую можно воткнуть линки от гипервизоров и стораджа общим количеством 3x10Gbase-SR и возможность дальнейшего увеличения.