Jump to content
Калькуляторы

Linux softrouter

В 24.02.2019 в 09:54, jffulcrum сказал:

ОК, идем на материалы SIGCOMM 2018 paper "Understanding PCIe Performance for End Host Networking", на основе которой калькулятор писали.

вы хоть поняли-то что на графике, который вы привели?

намекаю: transfer size - это не max payload size. более того - немного подумав над графиком, можно даже понять сколько max payload size там взят :)

Share this post


Link to post
Share on other sites
3 часа назад, NiTr0 сказал:

немного подумав над графиком, можно даже понять сколько max payload size там взят

Думать не обязательно, в полном материале указано, что это для MPS 256.

Share this post


Link to post
Share on other sites

Всем привет.

Есть  вопрос:
Имеем железку-маршрутизатор (ж-м)  которая на данный момент по 1Г линку гонит трафик пользователей на сервер NAS ( linux 4.9: NAT ip_ratelimit ipt_NETFLOW ).
Подбираемся к 1Гбит на этой схеме. Думаем использовать 2й 1Г линк на ж-м + ECMP. У ж-м бондинга нету. Только ECMP с контролем соединений на основе "source IP address" . Ядро как мы поняли должно быть >= 4.4.
Вопрос:

корректна ли схема?

насколько ECMP увеличит нагрузку на сервер NAS?
какие могут быть проблемы в такой конфигурации ?
 

ecmp.thumb.png.ba52e1beec7589700bec8289168091c2.png

 

 

Edited by alex39x

Share this post


Link to post
Share on other sites
В 06.03.2019 в 12:22, alex39x сказал:

У ж-м бондинга нету.

а что это за зверек такой, без бондинга-то?...

 

как вариант извратиться, - не 802.3ad, а статик бондинг на лине, с RR балансировкой. аплоад с железки, соответственно, пойдет в какой-то один из линков (но это думаю не проблема - аплоада обычно намного меньше). но минус, как и в вашей схеме - при падении одного из линков случается беда...

Share this post


Link to post
Share on other sites

Пример команды дефолтов оч похожи на экстрим, но они вроде умеют )

Share this post


Link to post
Share on other sites

Коллеги подскажите немного куда копать. Недавно подключили кроме FV и пиринга w-ix еще FV от inet2. Через недельку начали звонить танкисты, капитаны дальнего плавания, авиаторы и т.п. пропадают пинги. Присылали отчеты PingPlotter, по ним видно что теряются пинги на сервере. Ради эксперимента запустил пинги до login.p6.worldoftanks.net и посмотрел что из 1500 потерялось 11% на другом тазике который стоит так на экскременты из 1500 потерялось 2 пакета. Конечно это все в ЧНН. Утром вроде потерь нет.

Имеется тазик с встроенной 4 головой сетевой на i350 и установленная тоже 4 головая на i350. Bonding по 3 порта. На тазике шейпер + NAT

Проц Intel(R) Xeon(R) CPU E5-2690 0 @ 2.90GHz c 8 Гб оперативы. HP и виртуализация отключена.

rc.local mtu поднят в сторону ipoe QinQ

Скрытый текст

ip link show | grep " eth[0-9]: "| grep "UP" | awk '{print $2}' | sed 's/://g' | sed 's/eth//' | while read int
do
    echo ff > /sys/class/net/eth$int/queues/rx-0/rps_cpus
    echo ff > /sys/class/net/eth$int/queues/rx-1/rps_cpus
    echo ff > /sys/class/net/eth$int/queues/rx-2/rps_cpus
    echo ff > /sys/class/net/eth$int/queues/rx-3/rps_cpus
    echo ff > /sys/class/net/eth$int/queues/rx-4/rps_cpus
    echo ff > /sys/class/net/eth$int/queues/rx-5/rps_cpus
    echo ff > /sys/class/net/eth$int/queues/rx-6/rps_cpus
    echo ff > /sys/class/net/eth$int/queues/rx-7/rps_cpus

    ifconfig eth$int txqueuelen 10000

    ethtool -G eth$int tx 4096

    ethtool -G eth$int rx 4096

    ethtool -K eth$int tso off  gso off gro off

    ethtool -A eth$int autoneg off rx off tx off

    grep eth$int- /proc/interrupts | awk '{print $1}' | sed 's/://' | (n=1; while read irq; do
        printf "%x" $n > /proc/irq/$irq/smp_affinity
        n=$(($n*2))
        if [ $n -eq 256 ]; then
            n=1
        fi
    done)

done

ip link set eth4 mtu 1504
ip link set eth5 mtu 1504
ip link set eth6 mtu 1504

 

 

sysctl.conf

Скрытый текст

net.ipv4.ip_forward=1

net.netfilter.nf_conntrack_max = 1048576

kernel.panic = 10
kernel.panic_on_oops = 1
kernel.hung_task_panic = 1
net.core.warnings = 0

net.ipv4.neigh.default.gc_thresh1 = 1024
net.ipv4.neigh.default.gc_thresh2 = 2048
net.ipv4.neigh.default.gc_thresh3 = 4096

net.netfilter.nf_conntrack_generic_timeout=120

net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180
net.netfilter.nf_conntrack_tcp_timeout_established=180

 

 

По htop загрузка процов выше 50% не бывает. Вот не могу понять где собака зарыта почему пинги теряются когда загрузка не выше 50% Трафик только к 2 ГБ подбирается. Ifconfig показывает RX errors в торону абонов но думаю они не причем. Ведь в сторону центрального маршрутизватора ошибок нет.

 

 

Share this post


Link to post
Share on other sites
4 minutes ago, arhead said:

Ради эксперимента запустил пинги до login.p6.worldoftanks.net и посмотрел что из 1500 потерялось 11%

mtr запустите и посмотрите начиная с какого хопа идут потери. Может это у inet2 вообще.

Share this post


Link to post
Share on other sites
6 минут назад, rm_ сказал:

mtr запустите и посмотрите начиная с какого хопа идут потери. Может это у inet2 вообще.

Спасибо. Сейчас попробую. Не думаю что у inet2 может быть такое. Хотя были косяки с их пирингом.

Share this post


Link to post
Share on other sites

Может кто-нибудь сталкивался с 4-х портовой i350 от SNR?

https://shop.nag.ru/catalog/31464.Komplektuyuschie-dlya-serverov-i-SHD/02273.Setevye-karty/24751.SNR-E1G44ET2

Цена в 2 раза ниже  по сравнению с   Silicom  https://shop.nag.ru/catalog/31464.Komplektuyuschie-dlya-serverov-i-SHD/02273.Setevye-karty/21363.PE2G4i35L

 

Как она в деле?

Share this post


Link to post
Share on other sites
3 hours ago, alex39x said:

Может кто-нибудь сталкивался с 4-х портовой i350 от SNR?

Цена в 2 раза ниже  по сравнению с

Ещё в 2 раза ниже: https://www.ebay.com/itm/INTEL-i350T4V2BLK-Gigabit-Ethernet-Network-Server-Adapter-I350-T4-V2-Quad-Ports/152541619682

Share this post


Link to post
Share on other sites
Quote

Ради эксперимента запустил пинги до login.p6.worldoftanks.net и посмотрел

Експеримента ето есть в lg.he.net.

Проблема по моем, потому что во первиьх я танкист. Во вторьих, ето как раз рутер в6> в4, которьй он как веть, хочеть, НО НЕ НАДО.

Edited by h3ll1

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now