Шейпер трафика

[dignity]

Товарищи, надо бы выбрать платформу для шейпинга на L2 (бридж) трафика... Что-то я не нашел опыта по использованию разных девайсов и сравнения. Читал ранее статью на НАГ, но она однозначного ответа не дает... Значит, какие альтернативы:

1) рэк-сервер + 2 карты intel + ipset/u32 + htb (сейчас так шейпим пользователей pptp vpn)

не очень нравится то, что ipset, который мы юзаем для маркировки достаточно сильно нагибает систему, а сеты адресов надо, поскольку есть клиенты, которые получают несколько разных ip

2) sup720 + ubrl /aggregate policers - это нравится, но есть тарифы 512 кбитс - будут поди говорить что не доливаем... или надо подбирать берст, непонятно как будет себя вести на мелких полосах

3) ?

 

надо отшейпить до 2 гбит (ин+аут), не хочу что-то дорогое брать ибо есть ощущение что скоро будет 10 Мбитс, 100Мбитс тарифы для этой задачи и все... Но сейчас что-то надо. Есть juniper ISG, но там нет шейпинга, в общем если бы что-то в тысяч 70-100 подсказали, был бы признателен. Если не найду разумной альтернативы - будем делать на pc.

 

Предвидя вопрос "зачем, если можно на pc?" отвечаю что с PC все конечно очень гибко и конфигурируемо, но в данную задачу хочется поставить что-то ,что просто будет работать и для чего можно будет написать простую инструкцию по эксплуатации для службы NOC, как с точки зрения конфигурирования, так и аналитики, траблшутинга".

Edited March 20, 2012 by dignity

[darkagent]

sce2020 же

[dignity]

sce2020 - это пинзес как дорого и много не нужного, кроме деления на полосы ничего не надо, а в sce там еще много вкусняшек)

говорю же, б.у. за 70-100 килорублев или PC.

 

... хотя с eBay за 120 килорублев можно и sce притащить... интересный вариант.

[darkagent]

одолжите у кого на трай-н-бай, и затем денег не пожалеете )

[dignity]

волшебный девайс?

[darkagent]

хехе, каких только чудес с этим мэджик-боксом не сотворяли - видел и тех кто его заместо браса использует, а кто-то как защиту от ддоса в пределах полосы, или как кто-то подсовывает абонентам редирект или страничку с антивирусом и предупреждением, если dpi обнаруживает паразитный трафик. ну и классическое зажимание торрента в тиски...

[Ilya Evseev]

надо отшейпить до 2 гбит (ин+аут)

ipfw + dummynet.

На FreeBSD справится, на Линуксе пока не проверял.

[dignity]

ipfw + dummynet.

На FreeBSD справится, на Линуксе пока не проверял.

 

Мне надо чтобы поддерживался функционал типа ipset и на 200 сетов оно прожевало 2гбит... Так-то и htb + hashtables вывозят без особых напрягов.

[Ilya Evseev]

Мне надо чтобы поддерживался функционал типа ipset

Оно там есть.

 

и на 200 сетов оно прожевало 2гбит

Платформа 2U - Supermicro SYS-5026T-T или SYS-5027R-WRF.

Процессор 6-ядерный - Core i7-980 или свежевышедший Xeon E5-26x0.

Сетевые карты - две встроенных + http://www.intel.com/content/www/us/en/network-adapters/gigabit-network-adapters/ethernet-ef-et.html

[snark]

Товарищи, надо бы выбрать платформу для шейпинга на L2 (бридж) трафика...

sce2020 же

После этого ответа тему можно (нужно?) было закрывать )))

 

 

есть тарифы 512 кбитс

Я через SCE и 128 и 256 раздавал - вполне жизнеспособно, а благодаря приоритетам типов трафика торрент никогда не мог "убить" открывние страничек, голос и т.п. "наглядные" сервисы, т.е. те где тормоза видно глазами (страничка/видео/ХЗ долго грузится) или слышно ушами (VoIP/SIP/т.п.).

[martini]

по моему дешевле бу SCE ничего нет, но опять же - он полисит а не шейпит. Если дорого то только PC, у меня почти 4г разруливает не напрягаясь двухпроцовый старый ксеон (5420 вроде), все на htb + hash, и приоритет и несколько ип в тарифе..

Вроде как все остальное либо дорого, либо от лукавого )

[shicoy]

при правильном приоритете трафика SCE даст фору любому шейперу.

Ну и конечно же надо понимать бизнес применение шейпера и полисера, а то у нас в стране любят из пушек по воробьям палить.

SCE2020 подешевели до безобразия, если не нужно IPv6 и есть возможность раскидывать трафик пачками по 2Гбит линкам, то SCE можно смело покупать пачками.

[NiTr0]

SCE2020 подешевели до безобразия, если не нужно IPv6...

От того и подешевели ;) Когда IPv6 станет насущной необходимостью (эдак срок от 2-3 до 10 лет, в зависимости от активности его внедрения) - они еще больше подешевеют...

[dignity]

в общем), как ТС скажу свое слово - я все же остановился на связке sup720 в ядро для ubrl и brocade cer2024 на бордер. Рейтлимитить можно и там и там, в общем, все мои потребности закрыает. Правда из бюджета вылеза на 80тр (720 фабрика была, brocade взял новый серый за 5990, не -rt).

Edited April 7, 2012 by dignity

[shicoy]

В CER2024 рейт лимиты вешаются же только на интерфейс/влан? А вам вроде как надо было на абонента? Или не?

[dignity]

нет. интерфейс+ацл+рейтлимит до 3000+ штук. в общем в конфиггайде написано.

[Ilya Evseev]

интерфейс+ацл+рейтлимит до 3000+ штук.

Теперь сравните:

[root@shaper2 ~]# ipfw pipe list | perl -ne '@a=split; print "$a[2]\n$a[3]\n"' | sort | uniq | wc -l
   5437

[root@shaper2 ~]# uptime
3:49AM  up 268 days, 23:58, 1 user, load averages: 0.03, 0.05, 0.01

[root@shaper2 ~]# uname -a
FreeBSD shaper2.lan 8.2-RELEASE FreeBSD 8.2-RELEASE #2: Fri Mar  4 19:38:06 MSK 2011     root@shaper.lan:/usr/obj/usr/src/sys/SHAPER_82_AMD64  amd64

[root@shaper2 ~]# sysctl hw.model
hw.model: Intel(R) Core(TM)2 Duo CPU     E7300  @ 2.66GHz

Железке 3,5 года, покупалась за $930, одноюнитовая платформа.

Тарифы до 20 мегабит, суммарный трафик в пиках до 800. Файрволл, шейперы, netflow.

[dignity]

Для меня важен wirespeed и долгожительство. я не шпдшник - абонентская база в цоде. шейпинг нужен ддя скоростей между 10 - 100. Остальное на портах. типовые тарифы в ubrl. экзотика сюда. в общем, своя специфика))

[Ilya Evseev]

Для меня важен wirespeed и долгожительство. я не шпдшник - абонентская база в цоде.

Для шейпера характер абонентской базы особой роли не играет, это не bras.

К вопросу про долгожительство:

> uptime
5:14AM  up 998 days, 52 mins, 1 user, load averages: 0.00, 0.08, 0.16
> uname -a
FreeBSD gate.terabita.net 7.0-RELEASE FreeBSD 7.0-RELEASE #0: Sun Feb 24 19:59:52 UTC 2008     root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  i386
> sysctl hw.model
hw.model: Intel(R) Core(TM)2 Duo CPU     E4600  @ 2.40GHz
>

Сервер за $1300, запущен в мае 2008 года, перезапускался один раз для тестирования обновленных настроек.

Тарифы от 3 до 125(!) мбпс. Шейпер, файрволл, nat, netflow, spamblock, dns, ...

[dignity]

Ну не хочу я PC, понимаете. Это не хомяковые сервисы. У меня на хомяковые стоят PC и шейпят, но это другая история - здесь могут быть и DoS и DDoS, всякая мерзость типа корявых пакетов и т.п.

 

Я же не говорю что PC - плохо. Просто, на данный сегмент я не готов ставить pc-рутер. Мне надо чтобы у админов был гайд по CLI и они могли это все дело конфигурять по мануалам, чтобы можно было не думать на тему, как побороть драйверы - у меня есть опыт эксплуатации и NAS и шейперов и бордера на PC, я представляю что это такое.

 

Да, аппаратная платформа дороже безусловно, но есть случаи, когда это оправдано. В конце концов, ее стоимость по сравнению со стоимостью услуг и репутационными издержками от проблем незначительна.

Edited April 10, 2012 by dignity

[Ilya Evseev]

Да, аппаратная платформа дороже безусловно, но есть случаи, когда это оправдано. В конце концов, ее стоимость по сравнению со стоимостью услуг и репутационными издержками от проблем незначительна.

Наконец нашёлся кто-то, сформулировавший преимущества hardrouters лаконично, спокойно и грамотно :)

[nashvill]

Кто-нибудь сталкивался с тем, что в определенные моменты времени (чаще в районе ЧНН) dummynet срывается с цепи и начинает жрать проц?

Сразу скажу, что dummynet прибит к 0-му ядру, переприбивание к другим ситуацию не исправляет.

Выглядит приблизительно так:

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  12 root     -68    -     0K   432K RUN     0 336.9H 59.67% {irq256: ix0:que }
  12 root     -68    -     0K   432K CPU1    1 347.0H 54.79% {irq257: ix0:que }
  12 root     -68    -     0K   432K WAIT    3 340.9H 53.27% {irq259: ix0:que }
  12 root     -68    -     0K   432K CPU2    2 341.2H 51.22% {irq258: ix0:que }
  11 root     171 ki31     0K    64K RUN     3 935.0H 43.55% {idle: cpu3}
  11 root     171 ki31     0K    64K RUN     2 929.9H 43.51% {idle: cpu2}
   0 root     -68    0     0K   240K CPU0    0 295.2H 42.58% {dummynet}
  11 root     171 ki31     0K    64K RUN     1 919.0H 42.04% {idle: cpu1}
   0 root     -68    0     0K   240K RUN     2  24.9H  8.06% {ix0 que}
   0 root     -68    0     0K   240K -       3  24.4H  7.81% {ix0 que}
   0 root     -68    0     0K   240K -       1  20.7H  3.76% {ix0 que}
  11 root     171 ki31     0K    64K RUN     0 652.7H  2.34% {idle: cpu0}
  20 root      46    -     0K    16K flowcl  3 224:08  1.61% flowcleaner

 

Рост нагрузки от dummynet приводит к:

 

last pid: 37071;  load averages:  1.64,  1.19,  1.07                                              up 54+03:24:19  21:31:27
97 processes:  8 running, 63 sleeping, 26 waiting
CPU 0:  0.0% user,  0.0% nice, 43.2% system, 53.8% interrupt,  3.0% idle
CPU 1:  0.0% user,  0.0% nice, 10.9% system, 49.6% interrupt, 39.5% idle
CPU 2:  0.0% user,  0.0% nice,  6.4% system, 50.8% interrupt, 42.9% idle
CPU 3:  0.0% user,  0.0% nice,  6.0% system, 49.2% interrupt, 44.7% idle

 

Стоит:

8.2-RELEASE

Проц:

hw.model: Intel® Core i5 CPU 750 @ 2.67GHz

сетевка:

dev.ix.0.%desc: Intel® PRO/10GbE PCI-Express Network Driver, Version - 2.4.4

 

Трафика в этот момент:

# netstat -w1
           input        (Total)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
   480390     0     0  398294331     464098     0  389276521     0
   483444     0     0  399290958     466407     0  389351369     0
   494071     0     0  408192286     477179     0  398549997     0

 

sysctl net.inet.ip.dummynet

net.inet.ip.dummynet.io_pkt_drop: 5985692106
net.inet.ip.dummynet.io_pkt_fast: 284037670438
net.inet.ip.dummynet.io_pkt: 560893217954
net.inet.ip.dummynet.queue_count: 0
net.inet.ip.dummynet.fsk_count: 114
net.inet.ip.dummynet.si_count: 3013
net.inet.ip.dummynet.schk_count: 114
net.inet.ip.dummynet.tick_lost: 0
net.inet.ip.dummynet.tick_diff: 276455091
net.inet.ip.dummynet.tick_adjustment: 192956890
net.inet.ip.dummynet.tick_delta_sum: -50
net.inet.ip.dummynet.tick_delta: -500
net.inet.ip.dummynet.red_max_pkt_size: 1500
net.inet.ip.dummynet.red_avg_pkt_size: 512
net.inet.ip.dummynet.red_lookup_depth: 256
net.inet.ip.dummynet.expire_cycle: 0
net.inet.ip.dummynet.expire: 1
net.inet.ip.dummynet.debug: 0
net.inet.ip.dummynet.io_fast: 1
net.inet.ip.dummynet.pipe_byte_limit: 1048576
net.inet.ip.dummynet.pipe_slot_limit: 2048
net.inet.ip.dummynet.hash_size: 16384

 

В какую сторону лучше копать?

Машинка шейпит (ipfw pipe) и натит (ipfw nat).

[Ilya Evseev]

в определенные моменты времени (чаще в районе ЧНН) dummynet срывается с цепи и начинает жрать проц?

Сразу скажу, что dummynet прибит к 0-му ядру, переприбивание к другим ситуацию не исправляет.

Покажите правила ipfw, относящиеся в dummynet.

[nashvill]

в определенные моменты времени (чаще в районе ЧНН) dummynet срывается с цепи и начинает жрать проц?

Сразу скажу, что dummynet прибит к 0-му ядру, переприбивание к другим ситуацию не исправляет.

Покажите правила ipfw, относящиеся в dummynet.

 

# ipfw show
00005   3042620557   2753179119952 skipto 3000 ip from any to any in recv vlan106
00050   5757206360   4957649843911 allow ip from any to any via vlan105
01200     12865143      5522588396 skipto 1501 ip from table(1) to table(3) out xmit vlan106
01500   2840946009   2234824163588 pipe tablearg ip from table(1) to any out xmit vlan106
01600        39269         6375344 skipto 1900 ip from any to table(5) out xmit vlan106
01700        36173         7532569 fwd 127.0.0.1,49850 ip from not table(1) to any dst-port 80 out xmit vlan106
01800       164547        11487435 deny ip from not table(1) to any out xmit vlan106
02000   2844501471   2229638142697 nat tablearg ip from table(20) to any out xmit vlan106
02100   2845424428   2230288943082 allow ip from any to any out xmit vlan106
03000   3041929830   2752446450923 nat tablearg ip from any to table(21) in recv vlan106
03300     16617822     17930641986 skipto 3600 ip from table(3) to any in recv vlan106
03500   2906984392   2727385123576 pipe tablearg ip from any to table(2) in recv vlan106
65535 281334507249 260304493681205 allow ip from any to any

 

table 1 и 2 - список IP абонентов

table 3 - список сетей до которых скорость не режем

table 5 - список сетей на которые пускаем даже при отключенном инете

table 20 и 21 - таблички для натов

 

vlan105 - в сторону абонентов

vlan106 - в сторону инета