Jump to content
Калькуляторы

Софтовый бордер на 10Г

Предо мной стоит задача собрать "нечто" (софтовый роутер - т.е. сервер) способное принять 2-3 full view + 1-2 ix (1000-2000 префиксов) и промаршрутизировать около 10Г суммарного трафика (6 down + 4 up) при 1.5-2Mpps, при этом необходимо обеспечить фейловер, т.е. планируется поставить два таких устройства и поднять VRRP.

 

Решение видится таким: коммутатор типа D-Link 3627, в него двумя 10Г портами (Intel® 10 Gigabit CX4 Dual Port Server Adapter) включен сервер на базе Dual Xeon 5520, памяти на сервере 4Г, ОС - Linux на ванильном ядре 2.6.35, BGP будет выруливаться при помощи BIRD Internet Routing Daemon.

 

Вопрос: взлетит ли эта "балалайка" и хватит ли у нее производительности что бы обеспечить вводные условия. Может быть у кого то был похожий опыт? Поделитесь "картой подводных камней" плиз.

 

p.s. Juniper MX80 покупать не предлагать. :) - Пока несколько дороговато.

Share this post


Link to post
Share on other sites

Я думаю 10 Г не прокачает делинк на полную. Я бы циску поставил однозначно 3560Е. И сервачек тоже скорей всего не осилит такие потребности.

 

Share this post


Link to post
Share on other sites
Я думаю 10 Г не прокачает делинк на полную. Я бы циску поставил однозначно 3560Е.
Нууу, согласно даташита по D-Link-у:

- Коммутационная фабрика: 108 Гбит/с

- Скорость продвижения пакетов: 80.36 Mpps

 

Т.е. чисто теоретически должен пропихнуть.

И сервачек тоже скорей всего не осилит такие потребности.
Не вопрос - сервачка то еще нет, т.е. есть возможность взять такой какой осилит. Только понять бы какой?

Share this post


Link to post
Share on other sites
Например в Cisco ME6524 есть 32 порта 1Ge и если следовать логике D-Link, то коммутационная фабрика у МЕ6524 должна быть 32 х 2 = 64 Гбит. :)

Однако в инструкции cisco честно пишет 20Гбит, больше никак.

Так они и пишут, что там 24 гиговых дырки с переподпиской 1:3.

Share this post


Link to post
Share on other sites
Т.е. чисто теоретически должен пропихнуть.
И сервачек тоже скорей всего не осилит такие потребности.
Не вопрос - сервачка то еще нет, т.е. есть возможность взять такой какой осилит. Только понять бы какой?

Ну т.е. Вы хотите сказать что даташиту верить нельзя? - допустим...

Но тогда хотелось бы узнать, а сколько же это dlink провернуть сможет.

 

p.s. если честно, то меня в этой задумке больше сервер беспокоит, чем свич.

 

Share this post


Link to post
Share on other sites

BGP будет выруливаться при помощи BIRD Internet Routing Daemon.

на BIRDe была фишка, когда интерфейс на котором он висел имел VLAN отличный от 1, то BIRD отваливался раз в минуту. В сислог что-то такое невнятное, что определить, что же это за ботва было ну никак нельзя. И с документацией на свое поделие подкачали.

Share this post


Link to post
Share on other sites
BGP будет выруливаться при помощи BIRD Internet Routing Daemon.
на BIRDe была фишка, когда интерфейс на котором он висел имел VLAN отличный от 1, то BIRD отваливался раз в минуту. В сислог что-то такое невнятное, что определить, что же это за ботва было ну никак нельзя. И с документацией на свое поделие подкачали.

Это в какой версии "птички" было? - можно ссылку где это обсуждалось?

Share this post


Link to post
Share on other sites
Т.е. чисто теоретически должен пропихнуть.
И сервачек тоже скорей всего не осилит такие потребности.
Не вопрос - сервачка то еще нет, т.е. есть возможность взять такой какой осилит. Только понять бы какой?

Ну т.е. Вы хотите сказать что даташиту верить нельзя? - допустим...

Но тогда хотелось бы узнать, а сколько же это dlink провернуть сможет.

 

p.s. если честно, то меня в этой задумке больше сервер беспокоит, чем свич.

Даташиту верить можно. И почему длинк "по определению" быстрее циски сделать не может? Вот сделать "менее глючно" не может.

Прокачает он свои 108гбит на скорости порта, только если его ни чем другим не загружать. А если посадить хотя бы 100VLAN и 1000 мак адресов то ему уже плохо станет :-(

 

По серверу еще несколько лет назад jab выжал 1 миллион пакетов на офисном ПК.

 

Мы 10Гбит карты не использовали, но 4 Гбит in/out lacp нормально работают на роутинге. Только после этого, туда хочется прикрутить файрвал, шейпер и нат :-(. И уже предел 2 Гбита на core i7 920 ( 5520 смысла использовать нет - dummynet плохо параллелиться).

 

PS: Ну и пиринги на сервер загонять не хорошо.

Edited by Info-lan

Share this post


Link to post
Share on other sites
По серверу еще несколько лет назад jab выжал 1 миллион пакетов на офисном ПК.
Без фаервола и таблицы маршрутизации не вопрос, тока смысл от этого?

Мы всетаки на ксеонах 5520 бордера собираем, из рассчета ядро на порт.

CPU 0:  0.0% user,  0.0% nice,  7.1% system, 22.6% interrupt, 70.3% idle
CPU 1:  0.0% user,  0.0% nice,  4.9% system, 16.9% interrupt, 78.2% idle
CPU 2:  0.0% user,  0.0% nice,  4.5% system, 20.2% interrupt, 75.3% idle
CPU 3:  0.0% user,  0.0% nice,  1.5% system, 18.4% interrupt, 80.1% idle
CPU 4:  0.4% user,  0.0% nice,  6.4% system, 24.4% interrupt, 68.8% idle
CPU 5:  0.0% user,  0.0% nice,  6.4% system, 17.7% interrupt, 75.9% idle
CPU 6:  0.0% user,  0.0% nice,  3.4% system, 29.2% interrupt, 67.4% idle
CPU 7:  0.0% user,  0.0% nice,  0.7% system, 18.0% interrupt, 81.3% idle
Mem: 280M Active, 69M Inact, 357M Wired, 25M Buf, 3145M Free
Swap: 

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
   10 root       171 ki31     0K   128K RUN     3 129.3H 82.08% {idle: cpu3}
   10 root       171 ki31     0K   128K RUN     7 129.0H 79.98% {idle: cpu7}
   10 root       171 ki31     0K   128K RUN     5 126.2H 79.88% {idle: cpu5}
   10 root       171 ki31     0K   128K RUN     0 124.6H 78.66% {idle: cpu0}
   10 root       171 ki31     0K   128K CPU4    4 124.6H 78.27% {idle: cpu4}
   10 root       171 ki31     0K   128K CPU2    2 127.7H 77.98% {idle: cpu2}
   10 root       171 ki31     0K   128K CPU1    1 126.4H 77.69% {idle: cpu1}
   10 root       171 ki31     0K   128K RUN     6 127.4H 76.17% {idle: cpu6}
   11 root       -68    -     0K   592K WAIT    4  23.4H 22.75% {irq268: igb6:que}
   11 root       -68    -     0K   592K CPU0    0  22.8H 22.56% {irq260: igb2:que}
   11 root       -68    -     0K   592K WAIT    6  23.4H 21.78% {irq272: igb8:que}
   11 root       -68    -     0K   592K WAIT    2  22.7H 21.48% {irq264: igb4:que}
   11 root       -68    -     0K   592K WAIT    5  22.2H 19.09% {irq270: igb7:que}
   11 root       -68    -     0K   592K WAIT    3  21.7H 19.09% {irq266: igb5:que}
   11 root       -68    -     0K   592K WAIT    7  22.2H 18.90% {irq274: igb9:que}
   11 root       -68    -     0K   592K WAIT    1  21.4H 18.26% {irq262: igb3:que}
    0 root       -68    0     0K   256K -       3 282:46  4.30% {igb9 que}
    0 root       -68    0     0K   256K RUN     1 277:19  3.86% {igb8 que}
    0 root       -68    0     0K   256K -       4 239:30  3.76% {igb2 que}
    0 root       -68    0     0K   256K -       0 237:10  3.37% {igb7 que}
    0 root       -68    0     0K   256K -       4 235:34  3.08% {igb3 que}
    0 root       -68    0     0K   256K -       6 241:39  2.98% {igb5 que}
    0 root       -68    0     0K   256K -       5 239:03  2.78% {igb4 que}
    0 root       -68    0     0K   256K -       5 236:47  2.49% {igb6 que}
    0 root       -68    0     0K   256K -       1  16:49  0.10% {dummynet}

# netstat -I lagg0 -w 1
            input        (lagg0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
    214108     0     0  196348044     187199     0  117557545     0
    214677     0     0  197811935     187832     0  118370027     0
    214361     0     0  195393462     189165     0  120197066     0
    214213     0     0  195368142     187847     0  119691154     0
    215617     0     0  198495193     188577     0  118839699     0
    208037     0     0  188968206     184416     0  116183911     0
    206681     0     0  187530539     183483     0  117242441     0
    208745     0     0  188917296     184966     0  118008542     0
    210850     0     0  190809055     184943     0  117747065     0
    216325     0     0  196620575     188058     0  118936928     0
    210108     0     0  188436726     184468     0  118391959     0
    211043     0     0  189892078     186480     0  121115462     0
    202705     0     0  180498679     182842     0  119972615     0
    210211     0     0  189526433     185986     0  122013066     0
    206440     0     0  185344690     186073     0  122087237     0
    210165     0     0  189427737     188532     0  124385031     0
    211322     0     0  190817035     188409     0  123551023     0
    212699     0     0  193612244     187891     0  122275944     0
    211927     0     0  190893586     189256     0  122913413     0
    216819     0     0  197219161     191886     0  123388074     0

# ifconfig lagg0
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=b8<VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM>
    ether 00:1b:21:57:52:14
    media: Ethernet autoselect
    status: active
    laggproto loadbalance
    laggport: igb8 flags=4<ACTIVE>
    laggport: igb6 flags=4<ACTIVE>
    laggport: igb4 flags=4<ACTIVE>
    laggport: igb2 flags=4<ACTIVE>
# ifconfig lagg1
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=b8<VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM>
    ether 00:1b:21:57:52:15
    media: Ethernet autoselect
    status: active
    laggproto loadbalance
    laggport: igb9 flags=4<ACTIVE>
    laggport: igb7 flags=4<ACTIVE>
    laggport: igb5 flags=4<ACTIVE>
    laggport: igb3 flags=4<ACTIVE>

 

На лаге вланы, не чнн сейчас, нагрузка половина от существующей. имхо мппс не прожует, просто в карточки не влезет :)

Таких бордеров сейчас два, скоро приедет мх-80, сниму оба, поставлю в резерв.

 

Share this post


Link to post
Share on other sites

Хорошие аппараты у вас. А можно некоторые подробности в виде:

- какое шасси?

- какие основные параметры системы - по процессорам я понял, а материнская плата, диски или флеш?

- uname -a?

- сетевые какие карточки? Пользуете Yandex-драйверы?

- что используете в качестве файрволла: pf, ipfw?

- что используете в качестве BGP-демона?

 

Если бордер то ната быть не должно, но вдруг?

 

Заранее благодарен.

 

PS: Не пора ли по теме FreeBSD as Border FAQ намалевать?

Share this post


Link to post
Share on other sites
PS: Не пора ли по теме FreeBSD as Border FAQ намалевать?

На этом форуме тема уже столько раз подымалась что на целую книжку хватит, а если jab'a добавить то на целых две ))

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this