Linux softrouter

[rm_]

Что только не придумают вместо того чтобы просто поставить Debian.

[alibek]

Есть сервера на дебиане, есть на убунту сервер.

Не сказать, что они прямо сильно отличаются друг от друга.

Мне привычнее дебиан, но один сервер делали под контентный кеш и была рекомендация использовать убунту.

[nixx]

подниму снова вопрос про версии, теперь более конкретно.

у кого-нибудь есть успешный опыт скрещивания древней ConnectX-3Pro с линуксом свежих версий? если есть, то сочетание озвучьте, пожалуйста.

 

задача - бордер с тремя фулл-вью и ipt_netflow в цму ссоп, больше ничего.

debian 11 (ядро 5.10) + драйвер mlx4_en 4.0 от самого дебиана - загадочные массовые дропы rx_fifo_error (до 1000 в сек) на смотрящем в мир интерфейсе бордера даже на трафике меньше гигабита. мануал мелланокса говорит, что не хватает скорости забора данных осью из буфера сетевухи.  абоненты при этом не жаловались ни на что. размер ring'ов крутил в уменьшение, netdev_budget(usecs) в обе стороны, не помогало. подозреваю кривость/старость драйвера.

debian 10 (ядро 4.19) + LTS драйвер mlx4_en 4.9 с сайта мелланокса - дропов нет, все шикарно, context switches охренели и висят в районе 15к при трафике 4гбита. ну и занятость процессора раз этак в шесть выше, чем в предыдущем случае, что явно не хорошо.

 

драйвер LTS 4.9 с сайта мелланокса на 11-й дебиан ставиться не захотел, падает при сборке.

 

пока что планирую взять еще более старый дебиан, ибо мелланокс свой драйвер позиционировала для версии 10.0 с ядром соответствующей древности.

 

да, еще забыл сказать, что дебиановский 4.0 драйвер не дает включить ntuple - пишет "off [fixed]". не то, чтобы очень хотелось, но насколько я понимаю, это полезно.

 

Скрытый текст

# процы восьмиядерные, HT выключен
/usr/sbin/ethtool --set-channels enp3s0 rx 8 tx 8
/usr/sbin/ethtool --set-channels enp130s0 rx 8 tx 8

# тут вешаю прерывания каждой карты на свой проц
/home/scripts/mlx/bind_cards.sh

/usr/sbin/ethtool --features enp3s0 rx off
/usr/sbin/ethtool --features enp130s0 rx off
/usr/sbin/ethtool --features enp3s0 tso off
/usr/sbin/ethtool --features enp130s0 tso off
/usr/sbin/ethtool --features enp3s0 ntuple on
/usr/sbin/ethtool --features enp130s0 ntuple on

/usr/sbin/ethtool --set-ring enp3s0 rx 8192 tx 8192
/usr/sbin/ethtool --set-ring enp130s0 rx 8192 tx 8192

/usr/sbin/ethtool --pause enp3s0 rx off tx off
/usr/sbin/ethtool --pause enp130s0 rx off tx off

/usr/sbin/ethtool --coalesce enp3s0 adaptive-rx off rx-usecs 50 tx-usecs 50
/usr/sbin/ethtool --coalesce enp130s0 adaptive-rx off rx-usecs 50 tx-usecs 50

net.core.rmem_default = 4194304
net.core.wmem_default = 4194304

net.core.rmem_max = 268435456
net.core.wmem_max = 268435456

net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728

net.core.netdev_max_backlog = 262144
net.core.netdev_budget = 3000
net.core.netdev_budget_usecs = 4001

net.core.dev_weight = 512

net.ipv4.tcp_congestion_control = htcp
net.core.default_qdisc = fq

net.core.optmem_max = 67108864

 

Edited August 30, 2022 by nixx

[nixx]

стоит во всеуслышанье пожаловаться, как всё лечится )

даунгрейд до ядра 4.19.37 помог (поставил чистый дебиан 10.0 и "зафиксировал" apt-mark'ом пакеты ядра от обновлений). нагрузка снизилась до приемлемых процентов/переключений и ошибок на интерфейсах пока ноль. подожду чнн.

драйвер сетевухи 4.9 из отсюда.

[alex39x]

Подскажите :  i210 справится с  ~1 Гб/с   ( ~140k pps )? ( ipt-ratelimit, NAT iptables, ipt_NETFLOW ).

Процессор E3-1230 v3.

 

Пишут про 1.6 Гб/с в бондинге 

 

[Antares]

В 06.09.2022 в 17:15, alex39x сказал:

Подскажите :  i210 справится с  ~1 Гб/с   ( ~140k pps )? ( ipt-ratelimit, NAT iptables, ipt_NETFLOW ).

Процессор E3-1230 v3.

 

Пишут про 1.6 Гб/с в бондинге 

 

Сомнительная затея. Возьмите лучше i350

[passer]

В 06.09.2022 в 15:15, alex39x сказал:

Подскажите :  i210 справится с  ~1 Гб/с   ( ~140k pps )? ( ipt-ratelimit, NAT iptables, ipt_NETFLOW ).

Процессор E3-1230 v3.

 

Пишут про 1.6 Гб/с в бондинге 

Да норм, если других нет - работали с этими. 1.6Гбит/с в лацпе и через более старые сетевушки проходило.

[jffulcrum]

Спокойно пролезает гигабит хоть на вход, хоть на выход. Но если CPU не является фактором, если является, то лучше и впрямь поискать i350.

[sanyasi]

Никто не сталкивался с таким: обновил ubuntu 18.04 до 22.04. Ядро 14.15 до 5.15  с резким увеличением загрузки на процессор.

Трафик до 7 гигов, работаeт pbr. Оно же и грузит процессор.

Неужели такая деградация на ровном месте?

 13,00%  [kernel]           [k] fib_rules_lookup
   5,39%  [kernel]           [k] hash_net4_test_cidrs
   4,36%  [kernel]           [k] fib_table_lookup
   3,23%  [kernel]           [k] fib4_rule_match
   3,12%  [kernel]           [k] nft_do_chain
   2,40%  [kernel]           [k] _raw_spin_lock
   1,41%  [kernel]           [k] ixgbe_clean_tx_irq
   1,33%  [kernel]           [k] __dev_queue_xmit
 

[John_obn]

В 01.12.2022 в 12:38, sanyasi сказал:

Никто не сталкивался с таким: обновил ubuntu 18.04 до 22.04. Ядро 14.15 до 5.15  с резким увеличением загрузки на процессор.

Трафик до 7 гигов, работаeт pbr. Оно же и грузит процессор.

Неужели такая деградация на ровном месте?

 13,00%  [kernel]           [k] fib_rules_lookup
   5,39%  [kernel]           [k] hash_net4_test_cidrs
   4,36%  [kernel]           [k] fib_table_lookup
   3,23%  [kernel]           [k] fib4_rule_match
   3,12%  [kernel]           [k] nft_do_chain
   2,40%  [kernel]           [k] _raw_spin_lock
   1,41%  [kernel]           [k] ixgbe_clean_tx_irq
   1,33%  [kernel]           [k] __dev_queue_xmit
 

Добрый день.

Какая сетевая стоит? Если интел, то пробуйте оставить драйвер, который установлен в Ubuntu (не ставьте с sourceforge)

Что у вас прописано в /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

[sanyasi]

В 01.12.2022 в 13:34, John_obn сказал:

Добрый день.

Какая сетевая стоит? Если интел, то пробуйте оставить драйвер, который установлен в Ubuntu (не ставьте с sourceforge)

Что у вас прописано в /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

82599ES
performance

8 ядер. i7-9700K, прерывания разбросаны также, как и в 18.04.  Настройки все сохранились. Поменялись только ядро, и соответственно iproute2 iptables.
Драйвер дистрибутивный в обоих случаях.



 

[John_obn]

В 01.12.2022 в 13:41, sanyasi сказал:

82599ES
performance

8 ядер. i7-9700K, прерывания разбросаны также, как и в 18.04.  Настройки все сохранились. Поменялись только ядро, и соответственно iproute2 iptables.
Драйвер дистрибутивный в обоих случаях.



 

sysctl значения такие же все остались?

[sanyasi]

В 01.12.2022 в 13:52, John_obn сказал:

sysctl значения такие же все остались?

Да, всё сохранилось, как и было. PBR, похоже, сломали в новом ядре. Вот теперь интересно как в ядре debian 11. Пока поддержка  ubuntu 18.04 есть, можно и откатиться. Просто на долго этого не хватит. 

 

[John_obn]

В 01.12.2022 в 13:56, sanyasi сказал:

Да, всё сохранилось, как и было. PBR, похоже, сломали в новом ядре. Вот теперь интересно как в ядре debian 11. Пока поддержка  ubuntu 18.04 есть, можно и откатиться. Просто на долго этого не хватит. 

 

Если новых задач не планируется от машины, я бы оставил ubuntu 18 и не дергался.

[rm_]

On 12/1/2022 at 3:41 PM, sanyasi said:

соответственно iproute2 iptables.

Может у вас под капот iptables засунули nftables теперь? Оно медленнее, это известно.

https://www.danami.com/clients/knowledgebase/194/How-can-I-switch-back-to-iptables-from-nftables-after-upgrading-to-Ubuntu.html?language=english

[sanyasi]

В 01.12.2022 в 16:27, rm_ сказал:

Может у вас под капот iptables засунули nftables теперь? Оно медленнее, это известно.

https://www.danami.com/clients/knowledgebase/194/How-can-I-switch-back-to-iptables-from-nftables-after-upgrading-to-Ubuntu.html?language=english

Засунули. Но смена на legacy не уменьшает загрузку. Да и fib_rules_lookup, fib_table_lookup — к iproute2 относятся. И именно эта система грузит процессор. 

[pppoetest]

Сколько правил?

ip ru | wc -l

iptables -vnL | wc -l

iptables -vnL -t raw | wc -l

iptables -vnL -t mangle | wc -l

iptables -vnL -t nat | wc -l

 

[sanyasi]

В 01.12.2022 в 21:47, pppoetest сказал:

Сколько правил?

ip ru | wc -l

iptables -vnL | wc -l

iptables -vnL -t raw | wc -l

iptables -vnL -t mangle | wc -l

iptables -vnL -t nat | wc -l

 

66
81
5
14
11

Снял iproute правила. Загрузка снизилась. Но не до тех значений, как у 4.15 ядра. 
 

[pppoetest]

На так уж и много.

[nixx]

В 01.12.2022 в 12:38, sanyasi сказал:

Никто не сталкивался с таким: обновил ubuntu 18.04 до 22.04. Ядро 14.15 до 5.15  с резким увеличением загрузки на процессор.

Трафик до 7 гигов, работаeт pbr. Оно же и грузит процессор.

оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня в разных вариантах конфигурации с разными сетевухами.

без pbr'а, но тем не менее.

[John_obn]

В 02.12.2022 в 13:05, nixx сказал:

оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня в разных вариантах конфигурации с разными сетевухами.

без pbr'а, но тем не менее.

Индивидуально.

У меня, к примеру, NAT на Ubuntu 20 (ядро 5.4) - показывает отличный результат;

Debian 11 (ядро 5.10) показывает отличный результат на BRAS (iptables+ipt_ratelimit+ipt_netflow)

[ne-vlezay80]

В 02.12.2022 в 14:37, John_obn сказал:

Индивидуально.

У меня, к примеру, NAT на Ubuntu 20 (ядро 5.4) - показывает отличный результат;

Debian 11 (ядро 5.10) показывает отличный результат на BRAS (iptables+ipt_ratelimit+ipt_netflow)

PBR есть?

[John_obn]

2 часа назад, ne-vlezay80 сказал:

PBR есть?

Нет

[rm_]

On 12/2/2022 at 3:05 PM, nixx said:

оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня

Ещё можно наоборот, попробовать самое последнее (6.0.11). Может там уже исправили эту проблему. Либо ради интереса посмотреть, не стало ли ещё хуже.

[pppoetest]

В 02.12.2022 в 16:05, nixx сказал:

оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня в разных вариантах конфигурации с разными сетевухами.

Селективно, сейчас брас с натом крутятся на 5.10, всё норм

 

В 02.12.2022 в 22:44, ne-vlezay80 сказал:

PBR есть?

Малюсенький, должников мечу и их рулю в отдельную таблицу.