Софтовый бордер на 10Г

[Jugernault]

Предо мной стоит задача собрать "нечто" (софтовый роутер - т.е. сервер) способное принять 2-3 full view + 1-2 ix (1000-2000 префиксов) и промаршрутизировать около 10Г суммарного трафика (6 down + 4 up) при 1.5-2Mpps, при этом необходимо обеспечить фейловер, т.е. планируется поставить два таких устройства и поднять VRRP.

 

Решение видится таким: коммутатор типа D-Link 3627, в него двумя 10Г портами (Intel® 10 Gigabit CX4 Dual Port Server Adapter) включен сервер на базе Dual Xeon 5520, памяти на сервере 4Г, ОС - Linux на ванильном ядре 2.6.35, BGP будет выруливаться при помощи BIRD Internet Routing Daemon.

 

Вопрос: взлетит ли эта "балалайка" и хватит ли у нее производительности что бы обеспечить вводные условия. Может быть у кого то был похожий опыт? Поделитесь "картой подводных камней" плиз.

 

p.s. Juniper MX80 покупать не предлагать. :) - Пока несколько дороговато.

[lelick]

Я думаю 10 Г не прокачает делинк на полную. Я бы циску поставил однозначно 3560Е. И сервачек тоже скорей всего не осилит такие потребности.

 

[Jugernault]

Я думаю 10 Г не прокачает делинк на полную. Я бы циску поставил однозначно 3560Е.

Нууу, согласно даташита по D-Link-у:

- Коммутационная фабрика: 108 Гбит/с

- Скорость продвижения пакетов: 80.36 Mpps

 

Т.е. чисто теоретически должен пропихнуть.

И сервачек тоже скорей всего не осилит такие потребности.

Не вопрос - сервачка то еще нет, т.е. есть возможность взять такой какой осилит. Только понять бы какой?

[cmhungry]

Например в Cisco ME6524 есть 32 порта 1Ge и если следовать логике D-Link, то коммутационная фабрика у МЕ6524 должна быть 32 х 2 = 64 Гбит. :)

Однако в инструкции cisco честно пишет 20Гбит, больше никак.

Так они и пишут, что там 24 гиговых дырки с переподпиской 1:3.

[Jugernault]

Т.е. чисто теоретически должен пропихнуть.

И сервачек тоже скорей всего не осилит такие потребности.

Не вопрос - сервачка то еще нет, т.е. есть возможность взять такой какой осилит. Только понять бы какой?

Ну т.е. Вы хотите сказать что даташиту верить нельзя? - допустим...

Но тогда хотелось бы узнать, а сколько же это dlink провернуть сможет.

 

p.s. если честно, то меня в этой задумке больше сервер беспокоит, чем свич.

 

[rover-lt]

BGP будет выруливаться при помощи BIRD Internet Routing Daemon.

на BIRDe была фишка, когда интерфейс на котором он висел имел VLAN отличный от 1, то BIRD отваливался раз в минуту. В сислог что-то такое невнятное, что определить, что же это за ботва было ну никак нельзя. И с документацией на свое поделие подкачали.

[Jugernault]

BGP будет выруливаться при помощи BIRD Internet Routing Daemon.

на BIRDe была фишка, когда интерфейс на котором он висел имел VLAN отличный от 1, то BIRD отваливался раз в минуту. В сислог что-то такое невнятное, что определить, что же это за ботва было ну никак нельзя. И с документацией на свое поделие подкачали.

Это в какой версии "птички" было? - можно ссылку где это обсуждалось?

[Info-lan]

Т.е. чисто теоретически должен пропихнуть.

И сервачек тоже скорей всего не осилит такие потребности.

Не вопрос - сервачка то еще нет, т.е. есть возможность взять такой какой осилит. Только понять бы какой?

Ну т.е. Вы хотите сказать что даташиту верить нельзя? - допустим...

Но тогда хотелось бы узнать, а сколько же это dlink провернуть сможет.

 

p.s. если честно, то меня в этой задумке больше сервер беспокоит, чем свич.

Даташиту верить можно. И почему длинк "по определению" быстрее циски сделать не может? Вот сделать "менее глючно" не может.

Прокачает он свои 108гбит на скорости порта, только если его ни чем другим не загружать. А если посадить хотя бы 100VLAN и 1000 мак адресов то ему уже плохо станет :-(

 

По серверу еще несколько лет назад jab выжал 1 миллион пакетов на офисном ПК.

 

Мы 10Гбит карты не использовали, но 4 Гбит in/out lacp нормально работают на роутинге. Только после этого, туда хочется прикрутить файрвал, шейпер и нат :-(. И уже предел 2 Гбита на core i7 920 ( 5520 смысла использовать нет - dummynet плохо параллелиться).

 

PS: Ну и пиринги на сервер загонять не хорошо.

Edited November 23, 2010 by Info-lan

[make.kernel]

По серверу еще несколько лет назад jab выжал 1 миллион пакетов на офисном ПК.

Без фаервола и таблицы маршрутизации не вопрос, тока смысл от этого?

Мы всетаки на ксеонах 5520 бордера собираем, из рассчета ядро на порт.

CPU 0:  0.0% user,  0.0% nice,  7.1% system, 22.6% interrupt, 70.3% idle
CPU 1:  0.0% user,  0.0% nice,  4.9% system, 16.9% interrupt, 78.2% idle
CPU 2:  0.0% user,  0.0% nice,  4.5% system, 20.2% interrupt, 75.3% idle
CPU 3:  0.0% user,  0.0% nice,  1.5% system, 18.4% interrupt, 80.1% idle
CPU 4:  0.4% user,  0.0% nice,  6.4% system, 24.4% interrupt, 68.8% idle
CPU 5:  0.0% user,  0.0% nice,  6.4% system, 17.7% interrupt, 75.9% idle
CPU 6:  0.0% user,  0.0% nice,  3.4% system, 29.2% interrupt, 67.4% idle
CPU 7:  0.0% user,  0.0% nice,  0.7% system, 18.0% interrupt, 81.3% idle
Mem: 280M Active, 69M Inact, 357M Wired, 25M Buf, 3145M Free
Swap: 

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
   10 root       171 ki31     0K   128K RUN     3 129.3H 82.08% {idle: cpu3}
   10 root       171 ki31     0K   128K RUN     7 129.0H 79.98% {idle: cpu7}
   10 root       171 ki31     0K   128K RUN     5 126.2H 79.88% {idle: cpu5}
   10 root       171 ki31     0K   128K RUN     0 124.6H 78.66% {idle: cpu0}
   10 root       171 ki31     0K   128K CPU4    4 124.6H 78.27% {idle: cpu4}
   10 root       171 ki31     0K   128K CPU2    2 127.7H 77.98% {idle: cpu2}
   10 root       171 ki31     0K   128K CPU1    1 126.4H 77.69% {idle: cpu1}
   10 root       171 ki31     0K   128K RUN     6 127.4H 76.17% {idle: cpu6}
   11 root       -68    -     0K   592K WAIT    4  23.4H 22.75% {irq268: igb6:que}
   11 root       -68    -     0K   592K CPU0    0  22.8H 22.56% {irq260: igb2:que}
   11 root       -68    -     0K   592K WAIT    6  23.4H 21.78% {irq272: igb8:que}
   11 root       -68    -     0K   592K WAIT    2  22.7H 21.48% {irq264: igb4:que}
   11 root       -68    -     0K   592K WAIT    5  22.2H 19.09% {irq270: igb7:que}
   11 root       -68    -     0K   592K WAIT    3  21.7H 19.09% {irq266: igb5:que}
   11 root       -68    -     0K   592K WAIT    7  22.2H 18.90% {irq274: igb9:que}
   11 root       -68    -     0K   592K WAIT    1  21.4H 18.26% {irq262: igb3:que}
    0 root       -68    0     0K   256K -       3 282:46  4.30% {igb9 que}
    0 root       -68    0     0K   256K RUN     1 277:19  3.86% {igb8 que}
    0 root       -68    0     0K   256K -       4 239:30  3.76% {igb2 que}
    0 root       -68    0     0K   256K -       0 237:10  3.37% {igb7 que}
    0 root       -68    0     0K   256K -       4 235:34  3.08% {igb3 que}
    0 root       -68    0     0K   256K -       6 241:39  2.98% {igb5 que}
    0 root       -68    0     0K   256K -       5 239:03  2.78% {igb4 que}
    0 root       -68    0     0K   256K -       5 236:47  2.49% {igb6 que}
    0 root       -68    0     0K   256K -       1  16:49  0.10% {dummynet}

# netstat -I lagg0 -w 1
            input        (lagg0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
    214108     0     0  196348044     187199     0  117557545     0
    214677     0     0  197811935     187832     0  118370027     0
    214361     0     0  195393462     189165     0  120197066     0
    214213     0     0  195368142     187847     0  119691154     0
    215617     0     0  198495193     188577     0  118839699     0
    208037     0     0  188968206     184416     0  116183911     0
    206681     0     0  187530539     183483     0  117242441     0
    208745     0     0  188917296     184966     0  118008542     0
    210850     0     0  190809055     184943     0  117747065     0
    216325     0     0  196620575     188058     0  118936928     0
    210108     0     0  188436726     184468     0  118391959     0
    211043     0     0  189892078     186480     0  121115462     0
    202705     0     0  180498679     182842     0  119972615     0
    210211     0     0  189526433     185986     0  122013066     0
    206440     0     0  185344690     186073     0  122087237     0
    210165     0     0  189427737     188532     0  124385031     0
    211322     0     0  190817035     188409     0  123551023     0
    212699     0     0  193612244     187891     0  122275944     0
    211927     0     0  190893586     189256     0  122913413     0
    216819     0     0  197219161     191886     0  123388074     0

# ifconfig lagg0
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=b8<VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM>
    ether 00:1b:21:57:52:14
    media: Ethernet autoselect
    status: active
    laggproto loadbalance
    laggport: igb8 flags=4<ACTIVE>
    laggport: igb6 flags=4<ACTIVE>
    laggport: igb4 flags=4<ACTIVE>
    laggport: igb2 flags=4<ACTIVE>
# ifconfig lagg1
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=b8<VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM>
    ether 00:1b:21:57:52:15
    media: Ethernet autoselect
    status: active
    laggproto loadbalance
    laggport: igb9 flags=4<ACTIVE>
    laggport: igb7 flags=4<ACTIVE>
    laggport: igb5 flags=4<ACTIVE>
    laggport: igb3 flags=4<ACTIVE>

 

На лаге вланы, не чнн сейчас, нагрузка половина от существующей. имхо мппс не прожует, просто в карточки не влезет :)

Таких бордеров сейчас два, скоро приедет мх-80, сниму оба, поставлю в резерв.

 

[yakuzzza]

Хорошие аппараты у вас. А можно некоторые подробности в виде:

- какое шасси?

- какие основные параметры системы - по процессорам я понял, а материнская плата, диски или флеш?

- uname -a?

- сетевые какие карточки? Пользуете Yandex-драйверы?

- что используете в качестве файрволла: pf, ipfw?

- что используете в качестве BGP-демона?

 

Если бордер то ната быть не должно, но вдруг?

 

Заранее благодарен.

 

PS: Не пора ли по теме FreeBSD as Border FAQ намалевать?

[CNick]

PS: Не пора ли по теме FreeBSD as Border FAQ намалевать?

На этом форуме тема уже столько раз подымалась что на целую книжку хватит, а если jab'a добавить то на целых две ))