rm_ Опубликовано 11 августа, 2022 · Жалоба Что только не придумают вместо того чтобы просто поставить Debian. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 11 августа, 2022 · Жалоба Есть сервера на дебиане, есть на убунту сервер. Не сказать, что они прямо сильно отличаются друг от друга. Мне привычнее дебиан, но один сервер делали под контентный кеш и была рекомендация использовать убунту. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nixx Опубликовано 30 августа, 2022 (изменено) · Жалоба подниму снова вопрос про версии, теперь более конкретно. у кого-нибудь есть успешный опыт скрещивания древней ConnectX-3Pro с линуксом свежих версий? если есть, то сочетание озвучьте, пожалуйста. задача - бордер с тремя фулл-вью и ipt_netflow в цму ссоп, больше ничего. debian 11 (ядро 5.10) + драйвер mlx4_en 4.0 от самого дебиана - загадочные массовые дропы rx_fifo_error (до 1000 в сек) на смотрящем в мир интерфейсе бордера даже на трафике меньше гигабита. мануал мелланокса говорит, что не хватает скорости забора данных осью из буфера сетевухи. абоненты при этом не жаловались ни на что. размер ring'ов крутил в уменьшение, netdev_budget(usecs) в обе стороны, не помогало. подозреваю кривость/старость драйвера. debian 10 (ядро 4.19) + LTS драйвер mlx4_en 4.9 с сайта мелланокса - дропов нет, все шикарно, context switches охренели и висят в районе 15к при трафике 4гбита. ну и занятость процессора раз этак в шесть выше, чем в предыдущем случае, что явно не хорошо. драйвер LTS 4.9 с сайта мелланокса на 11-й дебиан ставиться не захотел, падает при сборке. пока что планирую взять еще более старый дебиан, ибо мелланокс свой драйвер позиционировала для версии 10.0 с ядром соответствующей древности. да, еще забыл сказать, что дебиановский 4.0 драйвер не дает включить ntuple - пишет "off [fixed]". не то, чтобы очень хотелось, но насколько я понимаю, это полезно. Скрытый текст # процы восьмиядерные, HT выключен /usr/sbin/ethtool --set-channels enp3s0 rx 8 tx 8 /usr/sbin/ethtool --set-channels enp130s0 rx 8 tx 8 # тут вешаю прерывания каждой карты на свой проц /home/scripts/mlx/bind_cards.sh /usr/sbin/ethtool --features enp3s0 rx off /usr/sbin/ethtool --features enp130s0 rx off /usr/sbin/ethtool --features enp3s0 tso off /usr/sbin/ethtool --features enp130s0 tso off /usr/sbin/ethtool --features enp3s0 ntuple on /usr/sbin/ethtool --features enp130s0 ntuple on /usr/sbin/ethtool --set-ring enp3s0 rx 8192 tx 8192 /usr/sbin/ethtool --set-ring enp130s0 rx 8192 tx 8192 /usr/sbin/ethtool --pause enp3s0 rx off tx off /usr/sbin/ethtool --pause enp130s0 rx off tx off /usr/sbin/ethtool --coalesce enp3s0 adaptive-rx off rx-usecs 50 tx-usecs 50 /usr/sbin/ethtool --coalesce enp130s0 adaptive-rx off rx-usecs 50 tx-usecs 50 net.core.rmem_default = 4194304 net.core.wmem_default = 4194304 net.core.rmem_max = 268435456 net.core.wmem_max = 268435456 net.ipv4.tcp_rmem = 4096 87380 134217728 net.ipv4.tcp_wmem = 4096 65536 134217728 net.core.netdev_max_backlog = 262144 net.core.netdev_budget = 3000 net.core.netdev_budget_usecs = 4001 net.core.dev_weight = 512 net.ipv4.tcp_congestion_control = htcp net.core.default_qdisc = fq net.core.optmem_max = 67108864 Изменено 30 августа, 2022 пользователем nixx Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nixx Опубликовано 31 августа, 2022 · Жалоба стоит во всеуслышанье пожаловаться, как всё лечится ) даунгрейд до ядра 4.19.37 помог (поставил чистый дебиан 10.0 и "зафиксировал" apt-mark'ом пакеты ядра от обновлений). нагрузка снизилась до приемлемых процентов/переключений и ошибок на интерфейсах пока ноль. подожду чнн. драйвер сетевухи 4.9 из отсюда. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alex39x Опубликовано 6 сентября, 2022 · Жалоба Подскажите : i210 справится с ~1 Гб/с ( ~140k pps )? ( ipt-ratelimit, NAT iptables, ipt_NETFLOW ). Процессор E3-1230 v3. Пишут про 1.6 Гб/с в бондинге Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 6 сентября, 2022 · Жалоба В 06.09.2022 в 17:15, alex39x сказал: Подскажите : i210 справится с ~1 Гб/с ( ~140k pps )? ( ipt-ratelimit, NAT iptables, ipt_NETFLOW ). Процессор E3-1230 v3. Пишут про 1.6 Гб/с в бондинге Сомнительная затея. Возьмите лучше i350 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 7 сентября, 2022 · Жалоба В 06.09.2022 в 15:15, alex39x сказал: Подскажите : i210 справится с ~1 Гб/с ( ~140k pps )? ( ipt-ratelimit, NAT iptables, ipt_NETFLOW ). Процессор E3-1230 v3. Пишут про 1.6 Гб/с в бондинге Да норм, если других нет - работали с этими. 1.6Гбит/с в лацпе и через более старые сетевушки проходило. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 7 сентября, 2022 · Жалоба Спокойно пролезает гигабит хоть на вход, хоть на выход. Но если CPU не является фактором, если является, то лучше и впрямь поискать i350. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 1 декабря, 2022 · Жалоба Никто не сталкивался с таким: обновил ubuntu 18.04 до 22.04. Ядро 14.15 до 5.15 с резким увеличением загрузки на процессор. Трафик до 7 гигов, работаeт pbr. Оно же и грузит процессор. Неужели такая деградация на ровном месте? 13,00% [kernel] [k] fib_rules_lookup 5,39% [kernel] [k] hash_net4_test_cidrs 4,36% [kernel] [k] fib_table_lookup 3,23% [kernel] [k] fib4_rule_match 3,12% [kernel] [k] nft_do_chain 2,40% [kernel] [k] _raw_spin_lock 1,41% [kernel] [k] ixgbe_clean_tx_irq 1,33% [kernel] [k] __dev_queue_xmit Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 1 декабря, 2022 · Жалоба В 01.12.2022 в 12:38, sanyasi сказал: Никто не сталкивался с таким: обновил ubuntu 18.04 до 22.04. Ядро 14.15 до 5.15 с резким увеличением загрузки на процессор. Трафик до 7 гигов, работаeт pbr. Оно же и грузит процессор. Неужели такая деградация на ровном месте? 13,00% [kernel] [k] fib_rules_lookup 5,39% [kernel] [k] hash_net4_test_cidrs 4,36% [kernel] [k] fib_table_lookup 3,23% [kernel] [k] fib4_rule_match 3,12% [kernel] [k] nft_do_chain 2,40% [kernel] [k] _raw_spin_lock 1,41% [kernel] [k] ixgbe_clean_tx_irq 1,33% [kernel] [k] __dev_queue_xmit Добрый день. Какая сетевая стоит? Если интел, то пробуйте оставить драйвер, который установлен в Ubuntu (не ставьте с sourceforge) Что у вас прописано в /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 1 декабря, 2022 · Жалоба В 01.12.2022 в 13:34, John_obn сказал: Добрый день. Какая сетевая стоит? Если интел, то пробуйте оставить драйвер, который установлен в Ubuntu (не ставьте с sourceforge) Что у вас прописано в /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor 82599ES performance 8 ядер. i7-9700K, прерывания разбросаны также, как и в 18.04. Настройки все сохранились. Поменялись только ядро, и соответственно iproute2 iptables. Драйвер дистрибутивный в обоих случаях. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 1 декабря, 2022 · Жалоба В 01.12.2022 в 13:41, sanyasi сказал: 82599ES performance 8 ядер. i7-9700K, прерывания разбросаны также, как и в 18.04. Настройки все сохранились. Поменялись только ядро, и соответственно iproute2 iptables. Драйвер дистрибутивный в обоих случаях. sysctl значения такие же все остались? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 1 декабря, 2022 · Жалоба В 01.12.2022 в 13:52, John_obn сказал: sysctl значения такие же все остались? Да, всё сохранилось, как и было. PBR, похоже, сломали в новом ядре. Вот теперь интересно как в ядре debian 11. Пока поддержка ubuntu 18.04 есть, можно и откатиться. Просто на долго этого не хватит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 1 декабря, 2022 · Жалоба В 01.12.2022 в 13:56, sanyasi сказал: Да, всё сохранилось, как и было. PBR, похоже, сломали в новом ядре. Вот теперь интересно как в ядре debian 11. Пока поддержка ubuntu 18.04 есть, можно и откатиться. Просто на долго этого не хватит. Если новых задач не планируется от машины, я бы оставил ubuntu 18 и не дергался. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 1 декабря, 2022 · Жалоба On 12/1/2022 at 3:41 PM, sanyasi said: соответственно iproute2 iptables. Может у вас под капот iptables засунули nftables теперь? Оно медленнее, это известно. https://www.danami.com/clients/knowledgebase/194/How-can-I-switch-back-to-iptables-from-nftables-after-upgrading-to-Ubuntu.html?language=english Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 1 декабря, 2022 · Жалоба В 01.12.2022 в 16:27, rm_ сказал: Может у вас под капот iptables засунули nftables теперь? Оно медленнее, это известно. https://www.danami.com/clients/knowledgebase/194/How-can-I-switch-back-to-iptables-from-nftables-after-upgrading-to-Ubuntu.html?language=english Засунули. Но смена на legacy не уменьшает загрузку. Да и fib_rules_lookup, fib_table_lookup — к iproute2 относятся. И именно эта система грузит процессор. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 1 декабря, 2022 · Жалоба Сколько правил? ip ru | wc -l iptables -vnL | wc -l iptables -vnL -t raw | wc -l iptables -vnL -t mangle | wc -l iptables -vnL -t nat | wc -l Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 1 декабря, 2022 · Жалоба В 01.12.2022 в 21:47, pppoetest сказал: Сколько правил? ip ru | wc -l iptables -vnL | wc -l iptables -vnL -t raw | wc -l iptables -vnL -t mangle | wc -l iptables -vnL -t nat | wc -l 66 81 5 14 11 Снял iproute правила. Загрузка снизилась. Но не до тех значений, как у 4.15 ядра. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 1 декабря, 2022 · Жалоба На так уж и много. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nixx Опубликовано 2 декабря, 2022 · Жалоба В 01.12.2022 в 12:38, sanyasi сказал: Никто не сталкивался с таким: обновил ubuntu 18.04 до 22.04. Ядро 14.15 до 5.15 с резким увеличением загрузки на процессор. Трафик до 7 гигов, работаeт pbr. Оно же и грузит процессор. оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня в разных вариантах конфигурации с разными сетевухами. без pbr'а, но тем не менее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 2 декабря, 2022 · Жалоба В 02.12.2022 в 13:05, nixx сказал: оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня в разных вариантах конфигурации с разными сетевухами. без pbr'а, но тем не менее. Индивидуально. У меня, к примеру, NAT на Ubuntu 20 (ядро 5.4) - показывает отличный результат; Debian 11 (ядро 5.10) показывает отличный результат на BRAS (iptables+ipt_ratelimit+ipt_netflow) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 2 декабря, 2022 · Жалоба В 02.12.2022 в 14:37, John_obn сказал: Индивидуально. У меня, к примеру, NAT на Ubuntu 20 (ядро 5.4) - показывает отличный результат; Debian 11 (ядро 5.10) показывает отличный результат на BRAS (iptables+ipt_ratelimit+ipt_netflow) PBR есть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 2 декабря, 2022 · Жалоба 2 часа назад, ne-vlezay80 сказал: PBR есть? Нет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 2 декабря, 2022 · Жалоба On 12/2/2022 at 3:05 PM, nixx said: оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня Ещё можно наоборот, попробовать самое последнее (6.0.11). Может там уже исправили эту проблему. Либо ради интереса посмотреть, не стало ли ещё хуже. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 5 декабря, 2022 · Жалоба В 02.12.2022 в 16:05, nixx сказал: оставьте четвертое ядро насовсем. я уже три раза поднимал пятое, и три раза получалась какая-то муйня в разных вариантах конфигурации с разными сетевухами. Селективно, сейчас брас с натом крутятся на 5.10, всё норм В 02.12.2022 в 22:44, ne-vlezay80 сказал: PBR есть? Малюсенький, должников мечу и их рулю в отдельную таблицу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...