[NiTr0]

как по мне, вместо очередей вполне себе RPS успешно юзается. то же PPPoE равномерно по ядрам размазывает...

[kayot]

А броадкомы какие? Я так понимаю сервак НР? Какая модель? Просто у меня как раз сейчас сервак НР и работаю на бортовых броадкомах

HP DL380 G6, было 4 бортовых BCM5709 + 2 отдельной платой. Работали отменно, думал заменой выиграю что-то по ресурсам - в итоге фиг, пришлось включить RPS, загрузка и поведение точно то же.

[s.lobanov]

как по мне, вместо очередей вполне себе RPS успешно юзается. то же PPPoE равномерно по ядрам размазывает...

 

дайте готовый конфиг плиз как это делать

[nuclearcat]

У меня на X520 при 14к юзеров на pppoe начал этот нюанс очень нехорошо вылезать и RPS не помогает, дисбаланс очень сильный

[Ivan_83]

Если верить 10-ти летнему треду, то по прерываниям распределялся только IP-трафик, коим PPPOE не является. Как сейчас обстоят дела?

Для фри можно довольно быстро налабать решение или даже просто патч к нетграф ноде, но никому не надо походу.

[fspi]

all:

Пардон,тут на форуме оказывается ограничение для вновь зарегистрированных в 3поста/сутки,поэтому отвечают только сейчас.

 

Есть набор правил для сбора софт-роутеров. Они предельно простые.

1) платформа должна быть с быстрой памятью, amd отправляется на помойку.

1.1) не брать устаревшие платформы(с медленной же памятью), s775, s771 и тем паче всякие pentium4 на помойку.

 

Ок,поставлю i3.

 

Насчет сетевушек так и не понял,в чем таки сильное преимущество EXPI9402PT над EXPI9301CT. Хотелось бы услышать какое-либо фактологическое обоснование.

 

500-600мбит 82574 вполне себе нормально осилит. ближе к гигу - могут начаться сюрпризы, да.

 

Вот тут товарищи пишут,что выжали из 82574L 985Мбит/с. Пишут,что ничего не тюнили,впечатления описывают как:

 

No apparent ramp in sustained throughput

Minor improvement with multiple data streams

Minor taper in performance with higher data streams

 

Думаю,потюнив,можно выжать и гигабит. Что думаете?

 

как по мне, вместо очередей вполне себе RPS успешно юзается. то же PPPoE равномерно по ядрам размазывает...

Сколько ядер? Какой трафик?

Изменено 31 марта, 2017 пользователем fspi

[telecom]

как по мне, вместо очередей вполне себе RPS успешно юзается. то же PPPoE равномерно по ядрам размазывает...

+1

PS

Что-то часто у нас мнение похожее)))

 

У меня на X520 при 14к юзеров на pppoe начал этот нюанс очень нехорошо вылезать и RPS не помогает, дисбаланс очень сильный

И тут пришли взрослые дядки и засмущали парня. У автора полгига и полтысячи, ему до ваших проблем еще расти и расти!

[Tau]

Если верить 10-ти летнему треду, то по прерываниям распределялся только IP-трафик, коим PPPOE не является. Как сейчас обстоят дела?

Для фри можно довольно быстро налабать решение или даже просто патч к нетграф ноде, но никому не надо походу.

А как нетграф может повлиять на ВХОДЯЩИЙ трафик?

[snvoronkov]

А как нетграф может повлиять на ВХОДЯЩИЙ трафик?

Балансировать с одной ноды на несколько.

 

Проблема только в том, что все они будут в контексте одного netisr обрабатываться.

 

Но Иван этого не слышит уже не первый год. :-)

[edo]

HP DL380 G6, было 4 бортовых BCM5709 + 2 отдельной платой. Работали отменно, думал заменой выиграю что-то по ресурсам - в итоге фиг, пришлось включить RPS, загрузка и поведение точно то же.

А почему не вернулись на broadcom?

[NiTr0]

дайте готовый конфиг плиз как это делать

 

echo 0f >/sys/class/net/eth1/queues/rx-0/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-1/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-2/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-3/rps_cpus

 

Ок,поставлю i3.

а чем он лучше пентиума? от ихнего гипертрипера в роутинге профита ноль целых хрен десятых. как и от AES-NI и более навороченной встроенной видяхи.

 

и да, с вашими 500 мбитами легко даже какой-то атом справится.

 

Насчет сетевушек так и не понял,в чем таки сильное преимущество EXPI9402PT над EXPI9301CT. Хотелось бы услышать какое-либо фактологическое обоснование.

больше буфферы как минимум (256 и 4096 пакетов ЕМНИП). ну и первая - серверная, вторая - десктопно-встроенная.

 

Вот тут товарищи пишут,что выжали из 82574L 985Мбит/с. Пишут,что ничего не тюнили,впечатления описывают как:

iperf не показатель ни разу. на том же forcedeth под iperf все будет шелковисто, а поставить его под реальный трафик - на 500-600 мбитах 4-ядерный проц в роутинге, без особого ната/файрвола, скукожится, при том что на интеле нагрузка на том же трафике на проц - единицы %.

 

Думаю,потюнив,можно выжать и гигабит. Что думаете?

может и можно, а может и не можно, от трафика зависит. я бы особо не рассчитывал на них. хоть и лучше реалтека.

тем более - РТ стоят б/у баксов по 20.

потому если они у вас валяются - ставьте и готовьтесь морально сменить, если покупать новые - лучше РТ.

 

Сколько ядер? Какой трафик?

из опыта - 4-ядерные феномы и 2-ядерные целероны сэнди бридж спокойно молотят под гигабит трафика/1000 сессий с загрузкой камня порядка 30%.

[nuclearcat]

из опыта - 4-ядерные феномы и 2-ядерные целероны сэнди бридж спокойно молотят под гигабит трафика/1000 сессий с загрузкой камня порядка 30%.

 

Тут все зависит от деталей.

NAT - сколько сессий у пользователей в среднем, может у них торренты в почете. Есть ли шейперы, и насколько сложные. Есть ли еще что-то, что может увеличить нагрузку.

Но как по мне, приличный i5 или не самый тухлый i7 потянут с запасом. Сетевые желательно с multiqueue, но если учесть то, что pppoe не балансируется и надежда на RPS, просто хороший интель (pci express конечно) - потянет.

[kayot]

Сетевые желательно с multiqueue, но если учесть то, что pppoe не балансируется и надежда на RPS, просто хороший интель (pci express конечно) - потянет.

Я свои последние PPPoE БРАСы собирал более простым способом.

4ех ядерный камень + 4ех головый PT. Сетевки в бондинг, балансировать ничего не нужно, очереди не нужны, трафика сервер пропустит сколько в сетевки влезет - 2G.

Цена "сервера на 5к абонентов" - 350$ :)

 

HP DL380 G6, было 4 бортовых BCM5709 + 2 отдельной платой. Работали отменно, думал заменой выиграю что-то по ресурсам - в итоге фиг, пришлось включить RPS, загрузка и поведение точно то же.

А почему не вернулись на broadcom?

А зачем? Работает и пусть себе работает, лучше не стало, но и хуже тоже.

[a290]

На QinQ трафике сраные очереди точно так же не работают, ибо трафик опять "не IP".

Блин, а я только хотел поднимать сервак с QinQ взамен старому, т.к. виланы заканчиваются. Или на I350 не всё так печально??

 

IMHO для гигабита вполне хватит линуксового RPS.

 

Но вообще в спеках на i350 есть Double VLAN Support (глава 7.4.5), включаться должен выставлением бита CTRL_EXT.EXT_VLAN. Чтобы это сделать, нужно патчить драйвер (igb).

На X520 выставление DMATXCTL.GDV и CTRL_EXT.EXT_VLAN включает балансировку по очередям для QinQ трафика. Патч для ixgbe, который это делает, тут на форуме выкладывали - думаю, что его несложно переделать для igb. Но вот нужно ли?

 

http://www.intel.com/content/www/us/en/embedded/products/networking/ethernet-controller-i350-datasheet.html

 

Вот на X710 все печальнее.

А можно поподробней что там не так?

 

Там балансировки qinq тоже нет, и способа включить её я не нашел.

 

Раз уже подняли тему про софтбрас: Кто что может сказать про Xeon E5-1660v4 (3.2Ghz; 8 cores) + Intel 82599 (X520) для софтового vlan-per-user BRAS? BRAS только терминирует VLANы и нарезает скорость (policing; пробовал ipt_ratelimit - нагрузка на проц минимальная. ещё вариант - tc на qinq интерфейс). 20Gbps(in+out)/5Mpps(in+out)/20000 qinq интерфейсов вытянет?

[fspi]

а чем он лучше пентиума? от ихнего гипертрипера в роутинге профита ноль целых хрен десятых. как и от AES-NI и более навороченной встроенной видяхи.

 

и да, с вашими 500 мбитами легко даже какой-то атом справится.

 

Хотелось бы повесить туда еще squid,небольшой локальный сайтик и пр. по мелочи.

 

больше буфферы как минимум (256 и 4096 пакетов ЕМНИП). ну и первая - серверная, вторая - десктопно-встроенная.

тем более - РТ стоят б/у баксов по 20.

потому если они у вас валяются - ставьте и готовьтесь морально сменить, если покупать новые - лучше РТ.

 

Ок,убедили :)

 

при том что на интеле нагрузка на том же трафике на проц - единицы %.

 

?? 82574L - это чипсет,на базе которого EXPI9301CT. Там на графике и видна загрузка CPU в 5% при 985Мбит/с.

 

из опыта - 4-ядерные феномы

 

??

 

amd отправляется на помойку

Просьба тогда привести аппаратную конфигурацию этой машины.

Изменено 31 марта, 2017 пользователем fspi

[nuclearcat]

pppoe, 2.4k юзеров

i7-2600 CPU @ 3.40GHz/8G ram

Это как пример

[Saab95]

Сейчас можно купить серверную платформу под ксеон, там обычно идут встроенные интеловские сетевушки не самого плохого качества, поэтому для простых задач никаких внешних сетевух уже не требуется.

4 ядра для сервера лучше, чем 2, так что стоит немного переплатить.

[rdc]

Проблема только в том, что все они будут в контексте одного netisr обрабатываться.

Полученные пакеты кладутся в очередь, и вся дальнейшая обработка этой очереди уже легко распараллеливается.

Получается что-то вот такого вида:

   12 root     -44    -     0K   320K WAIT    3 606.2H 42.77% intr{swi1: netisr 3}
  12 root     -44    -     0K   320K WAIT    0 621.0H 42.19% intr{swi1: netisr 0}
  12 root     -44    -     0K   320K WAIT    2 594.8H 39.06% intr{swi1: netisr 2}
   0 root     -68    0     0K   160K -       1 317.0H 17.58% kernel{em0 que}

А чтобы не билось в полку ядро, которое кладёт в очередь - придумано interrupt moderation.

[snvoronkov]

Проблема только в том, что все они будут в контексте одного netisr обрабатываться.

Полученные пакеты кладутся в очередь, и вся дальнейшая обработка этой очереди уже легко распараллеливается.

Получается что-то вот такого вида:

   12 root     -44    -     0K   320K WAIT    3 606.2H 42.77% intr{swi1: netisr 3}
  12 root     -44    -     0K   320K WAIT    0 621.0H 42.19% intr{swi1: netisr 0}
  12 root     -44    -     0K   320K WAIT    2 594.8H 39.06% intr{swi1: netisr 2}
   0 root     -68    0     0K   160K -       1 317.0H 17.58% kernel{em0 que}

А чтобы не билось в полку ядро, которое кладёт в очередь - придумано interrupt moderation.

Это ip или pppoe? Интересует именно второе. Ибо про него разговариваем.

[rdc]

В данном случае это QinQ.

Но разницы никакой - повторюсь, на этом тазике сетевуха em, у неё нет очередей, очередь сделана программно.

[snvoronkov]

В данном случае это QinQ.

Но разницы никакой - повторюсь, на этом тазике сетевуха em, у неё нет очередей, очередь сделана программно.

Плюха в коде netisr. Оно tcp/udp etc по очередям раскладывает без помощи сетевой... А вот для непопавшего в список предусмотрена единственная очередь.

[fspi]

pppoe, 2.4k юзеров

i7-2600 CPU @ 3.40GHz/8G ram

Это как пример

Уточните,пжста: 1) Гигабит прожевывает? 2) Какой pps? 3) NAT сильно грузит? 4) Память DDR3?

 

Я примерно такую конфигурацию изначально рассматривал (+ двухголовую PT как и советовали),так как хотелось туда повесить еще прозрачный сквид (с ssl bump),а также нагрузки от PAT из-за единственного белого ip и предполагаемого большого количества любителей торрентов. Просчитать второе нереально,так вкусы пользователей могут поменяться,когда войдут во вкус :)

Бюджет не резиновый,так кроме тазика требуется много еще чего,поэтому решил посоветоваться с сообществом,мож получиться как-нибудь ужаться :).

 

Но похоже самым разумным решением,думаю,будет взять такую конфигурацию. На худой конец,тазик этот можно будет приспособить под что-то еще: файлопомойку,игровой сервер итп.

[kayot]

fspi

Такое железо 'жует' грубо говоря 1Гбит трафика на ядро. С натом, шейперами и прочим.

[NiTr0]

?? 82574L - это чипсет,на базе которого EXPI9301CT. Там на графике и видна загрузка CPU в 5% при 985Мбит/с.

да в жопу те графики, пардон за французский. один поток tcp к реальной жизни никакого отношения не имеет от слова вообще - вам не iperf на сетевухе гонять, и даже не speedtest хостить.

 

я вам пишу, что forcedeth, который на сокет 754 одноядерном целероне легко гигабит в один поток прожевывал, ложил в полку 4-ядерный феном на реальном трафике. потому то, что творится на стенде, и то, что будет твориться на 500-1000 абонах - две больших разницы.

 

Просьба тогда привести аппаратную конфигурацию этой машины.

обычный феном2, с ддр2/ддр3 (разные). гиг трафика - не так много чтобы они не справились.

 

но по производительности - да, 4-ядерный молотит как целерон g530 (ставил рядом на пробу), а кушает много.

[fspi]

да в жопу те графики, пардон за французский. один поток tcp к реальной жизни никакого отношения не имеет от слова вообще - вам не iperf на сетевухе гонять, и даже не speedtest хостить.

 

я вам пишу, что forcedeth, который на сокет 754 одноядерном целероне легко гигабит в один поток прожевывал, ложил в полку 4-ядерный феном на реальном трафике. потому то, что творится на стенде, и то, что будет твориться на 500-1000 абонах - две больших разницы.

 

В принципе,да,так они там тестировали на маленьком количестве потоков,что далеко от реальной ситуации. Я лишь только хотел уточнить,что с EXPI9402PT не будет такая же картина и она вытянет несколько сотен-тысяч параллельных tcp-потоков.

 

The throughput and CPU usage in the test results are given for the peak throughput obtained after testing at 1, 2, 4, 6, 8 & 10 parallel data streams

 

обычный феном2, с ддр2/ддр3 (разные). гиг трафика - не так много чтобы они не справились.

 

А как насчет PAT и нагрузки от него? У вас на этой машинке PAT используется?

 

 

Что еще хотелось уточнить,так это насчет балансировки по ядрам,если количество ядер < количества очередей на nic,что лучше в плане производительности: раскидать все очереди на ядра или оставить количество очередей равное количеству ядер?

Изменено 1 апреля, 2017 пользователем fspi