John_obn

@nixxЭти тайминги я сделал такими же, какие были применены для Intel XL710: Coalesce parameters for ens6: Adaptive RX: off TX: off stats-block-usecs: 0 sample-interval: 0 pkt-rate-low: 0 pkt-rate-high: 0 rx-usecs: 50 rx-frames: 128 rx-usecs-irq: 0 rx-frames-irq: 0 tx-usecs: 50 tx-frames: 128 tx-usecs-irq: 0 tx-frames-irq: 0 rx-usecs-low: 0 rx-frames-low: 0 tx-usecs-low: 0 tx-frames-low: 0 rx-usecs-high: 0 rx-frames-high: 0 tx-usecs-high: 0 tx-frames-high: 0

@AzamatВ этом плане вы правы. Довод к тому, чтобы разобраться с загрузкой после замены на Мелланокс. Второй сервер менее нагружен, поэтому запас есть. Пока есть.

@AzamatКто сказал, что сервер один? 🙂

@Стич График idle ядер приложил. Пик приходится на 37,6 гигабит трафика в каждую сторону, 4,78Мппс, 1,46М трансляций. Очереди сетевой прибиты к своему процессору. Да, их стоит 2, но занят только один процессор, что видно из графика. HT включен. NAT родной, настраивал через nft. Тюнинг sysctl и в /etc/default/grub (mitigations=off): GRUB_CMDLINE_LINUX_DEFAULT="maybe-ubiquity mitigations=off Заметил, что после замены XL710 на Mellanox idle уменьшился в среднем на 5% (то есть загрузка возросла). Пока не критично, поэтому в причинах не разбирался.

По трафику мы добрались до 38,5G в пике, поэтому я решил заранее апгрейдиться. E5-2690 v4 Только ipt_netflow + NAT. @taf_321 - спасибо

Плохого ничего не скажу. Сам недавно заменил 40G Intel XL710 на 100G Mellanox Connect-x 5. Проблем не имел. Машина в роли on-stick, 1 влан смотрит в сторону внутренней сети, 1 влан во внешний мир (NATит трафик). С ходу не нагуглил, где эта проблема описана. Можете поделиться?

Вы из РФ? nix.ru, яндекс маркет находят без проблем X520 В качестве аналога X710. По 40G тоже проблем не видно - на чипе XL710 ищите там же.

@nixx Мониторю, Ubuntu 20 на ядре 5.4, график без пилы, ровные горочки с максимумом в 1.46М. Посмотрите, может у вас в sysctl таймауты поменялись в net.netfilter.nf_conntrack_ после обновления. Что сподвигло вас обновиться?

Нет

Индивидуально. У меня, к примеру, NAT на Ubuntu 20 (ядро 5.4) - показывает отличный результат; Debian 11 (ядро 5.10) показывает отличный результат на BRAS (iptables+ipt_ratelimit+ipt_netflow)

Если новых задач не планируется от машины, я бы оставил ubuntu 18 и не дергался.

sysctl значения такие же все остались?

Добрый день. Какая сетевая стоит? Если интел, то пробуйте оставить драйвер, который установлен в Ubuntu (не ставьте с sourceforge) Что у вас прописано в /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

Ищите место, где они теряются. Смотрите дамп трафика на выходе с bgp и shaper в сторону NAT. Смотрите пакетики на входе в NAT. На промежуточных коммутаторах или маршрутизаторах (если таковые имеются). Счетчики ошибок/дропов на портах, и сетевых картах в эти моменты.

Решил свою проблему, описанную выше. Для начала вынес роль бордера на mx204 в надежде, что, оставив только роль NAT на сервере , чтобы не пришлось бегать по таблице маршрутизации, проблема уйдет. Но нет, проблема осталась. Машину под NAT я сделал, используя nftables + flow offload ( статья на Хабре ), для этого взял Ubuntu 20.04. Изначально я поставил самый свежий драйвер i40e от Intel на sourceforge. И только потом вспомнил, что на этом драйвере дропы выросли многократно. Итоговый вариант: включен HyperThreading, ubuntu 20.04, mitigations=off, драйвер i40e в комплекте с ядром, кол-во очередей равно ядрам+HT, ethtool -C rx tx 50. Трафик на одном интерфейсе разделенный на 2 влана (влан1- наша сеть, влан2 - в сторону бордера/аплинков). Поскольку очереди привязаны к local numa, получается, второй процессор отдыхает совсем. За последние сутки дропов 0 при пике в 26,57 гбит/с и 3,39 мппс в каждую сторону. При этом минимальный idle у задействованных ядер примерно 82% . Напомню , cpu E5-2690v4 Благодарю за ценные советы автора статьи на Хабре.