Jump to content
Калькуляторы

FreeBSD + 10G

Есть ли у кого опыт запуска 10 Гигабитных карт на FreeBSD. Поделитесь опытом плиз.

1 .Интересует производитель карт

2. Насколько глючные дрова?

3. Умеет ли драйвер делиться на процессы?

Share this post


Link to post
Share on other sites

Используем одну Intel с SR разъемом для не очень популярной задачи - посмотреть tcpdump-ом что видно на входе.

Драйвера стандартные, карта распозналась без проблем (ix0).

 

2 и 3 в силу специфики не актуально.

 

Вот еще что, поскольку товар штучный, в случае отсутствия на складе может долго или очень долго ехать (новые таможенные правила и расторопность поставщика и вендора).

Share this post


Link to post
Share on other sites
посмотреть tcpdump-ом что видно на входе

Сорм своими руками?

Share this post


Link to post
Share on other sites
Используем одну Intel с SR разъемом для не очень популярной задачи - посмотреть tcpdump-ом что видно на входе.

Драйвера стандартные, карта распозналась без проблем (ix0).

А можно посмотреть top -SP в момент tcpdump -i ix0 ?

Share this post


Link to post
Share on other sites

alks, не совсем СОРМ. У нас много 10G клиентов, и иногда возникают задачи анализа аномалий, а также задачи локализации области ответственности в случае обнаружения проблем, отличающихся от банальных ошибок на интерфейсах.

 

McLaut, я на следующей неделе вернусь из отпуска и постараюсь не забыть посмотреть. Если очень актуально, напомните через ЛС.

Share this post


Link to post
Share on other sites
Есть ли у кого опыт запуска 10 Гигабитных карт на FreeBSD. Поделитесь опытом плиз.

1 .Интересует производитель карт

больше 6 гигабит на интеловских карточках прокачать нереально.

Edited by caz

Share this post


Link to post
Share on other sites
Есть ли у кого опыт запуска 10 Гигабитных карт на FreeBSD. Поделитесь опытом плиз.

1 .Интересует производитель карт

больше 6 гигабит на интеловских карточках прокачать нереально.

http://www.redhat.com/promo/summit/2008/do...Mark_Wagner.pdf

с 2008 года собственно ничего не изменилось.

я запускал пару машин под дебиан/ленни тупо друг с другом (i82599 SFP+, с дефолтным MTU, без тюнинга IRQ affinity на Core-i7 2,66), получалось чтото около 4,7 Гбит/с. После накручивания MTU=9000 выдал 9,0 Гбит.

Сомневаюсь, что под FreeBSD будет чтото сильно другое

Share this post


Link to post
Share on other sites
больше 6 гигабит на интеловских карточках прокачать нереально.

А что же делать? Вопрос стоит в том, как прокачать через маршрутизатор около 10 Гбит/сек?

Неужели натыкивать 5 штук четырехпортовых гигабитных карт и строить транки?

Share this post


Link to post
Share on other sites

это, видимо, вопрос денег и потребностей. L3-свич, как я понял, не удовлетворяет потребности. Надо их озвучить вместе с бюджетом, тогда будет виднее.

Share this post


Link to post
Share on other sites

3,5 гигабита(3,5 IN + 3,5 OUT) 600 байтными пакетами прокачивается через 2 встроенных + 2х портовую на PCI-e 4х сетевухи, 10G нету пока.

Share this post


Link to post
Share on other sites

Мда, логично, что правильно поставленный вопрос - половина ответа.

Задача проста: - нужен бордер с прокачкой суммарно около 10 Гбит/сек на выходе и 5+5 на входе.

Кроме маршрутизации и фаервола других задач нет.

Сейчас 2+2=4 работает. Но при большом кол-ве пакетов становится туго. Причем упор именно в сетевых интерфейсах.

Используются яндекс драйвера для em карточек.

Share this post


Link to post
Share on other sites

Может уже пора на железную платформу переходить?

благо выбор большой

Edited by alks

Share this post


Link to post
Share on other sites

Денег жалко. Да и нюансы есть и с железными платформами, не меньше чем с софтовыми маршрутизаторами.

Беда в том, что производители чаще всего врут о производительности своих железок.

Share this post


Link to post
Share on other sites

5+5 in, 10 out - cisco 6500/sup2 справится на пределе.

 

Cisco 6500/sup720 справится легко достаточно, только портовую карту 67хх берите, а не 65хх/64хх. Если 3B взять - то /23 и /24 отрезать придется в фулл-вью, 3BXL - осилит фулл. Карту портовую необязательно брать BXL, вполне хватит обычной CFC.

 

Share this post


Link to post
Share on other sites
Мда, логично, что правильно поставленный вопрос - половина ответа.

Задача проста: - нужен бордер с прокачкой суммарно около 10 Гбит/сек на выходе и 5+5 на входе.

Кроме маршрутизации и фаервола других задач нет.

Сейчас 2+2=4 работает. Но при большом кол-ве пакетов становится туго. Причем упор именно в сетевых интерфейсах.

Используются яндекс драйвера для em карточек.

можно попробывать bigiron с управляющи модулем J-BxGMR4 + слот на 2 порта 10G, по идее должен прокачать без напрягов, при правильном разделении cam-partition(при 4 гигабитах загрузка 1-8%), либо netiron, этот точно без напряга все сделает. у обоих hw acl, да и стоят не дорого.

Share this post


Link to post
Share on other sites

На Украине нет официального представительства.....

Share this post


Link to post
Share on other sites
На Украине нет официального представительства.....
Да ....

вот и вопрос - никто не в курсе кто торгует в Украине оборудованием Foundry Brocade ?

Share this post


Link to post
Share on other sites
На Украине нет официального представительства.....
Да ....

вот и вопрос - никто не в курсе кто торгует в Украине оборудованием Foundry Brocade ?

в Украине нет официалов Brocade, попробуйте через Россию, например через OCS (ocs.ru) возможно сможете договориться о поставке сразу к вам без захода в Россию.

Ну либо ebay.com там за вполне реальные деньги можно купить NetIron MLX-4 с пачкой модулей.

 

Если что, готов помочь с контактами дистрибьютеров и поставщиков.

Edited by nashvill

Share this post


Link to post
Share on other sites

Что изменилось за год в вовпросе создания граничного маршрутизатора из FreeBSD и 10G карточек?

Кто-то пробовал реализовывать такие решения?

Share this post


Link to post
Share on other sites

Что изменилось за год в вовпросе создания граничного маршрутизатора из FreeBSD и 10G карточек?

Кто-то пробовал реализовывать такие решения?

А чем не устраивает линукс? Vyatta как вариант, например.

Share this post


Link to post
Share on other sites

Названием: freebsd != linux

 

PS: так можно скатится до: "чем не устраивает циско?"

 

 

Share this post


Link to post
Share on other sites

Что изменилось за год в вовпросе создания граничного маршрутизатора из FreeBSD и 10G карточек?

Кто-то пробовал реализовывать такие решения?

 

вот они пробовали, правда фаервол, но интересно https://calomel.org/network_performance.html

 

currently, you can not use ALTq to support your 10 gigabit interfaces. The parent bandwidth value in Altq is a 32bit int and thus can not support values over 2^32 or 4294Mb (4.29Gb). We have reported this "bug" to the developers

Share this post


Link to post
Share on other sites

Debian. штатные драйвера. маршутизация отключена (отправляем с помощью iptables на next-hop)

один порт может прожевать при максимальной нагрузке 1.9Mpps

в качестве железа два Xeon E5620. в прошлых тестах предыдущих поколений intel 10G CX-4 и Myri первого поколения все упералось в 900Kpps.

 

03:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit Network Connection (rev 01)
       Subsystem: Intel Corporation Ethernet Server Adapter X520-2

sh6:/etc/quagga# dstat -cin -N eth2,eth3,total                                                                                                
----total-cpu-usage---- ----interrupts--- --net/eth2----net/eth3---net/total-
usr sys idl wai hiq siq|  92    93    94 | recv  send: recv  send: recv  send
 0   0  99   0   0   0| 406   418   129 |   0     0 :   0     0 :   0     0 
 1   0  93   0   0   5|7989  7995  7984 | 673M  681M: 681M  688M:1354M 1369M
 0   0  97   0   0   3|7971  7972  7950 | 663M  670M: 675M  681M:1338M 1351M
 0   0  98   0   0   2|7986  7980  7969 | 653M  660M: 660M  666M:1314M 1326M
 0   0  99   0   0   1|7995  7988  7970 | 648M  655M: 684M  692M:1333M 1347M
 0   0  99   0   0   1|7991  7967  7972 | 640M  646M: 657M  664M:1297M 1311M
 0   0  99   0   0   1|7989  7986  7961 | 643M  649M: 646M  652M:1289M 1302M

sh6:/etc/quagga# ifstat -bi eth2,eth3
      eth2                eth3       
Kbps in  Kbps out   Kbps in  Kbps out
5.21e+06  5.26e+06  5.44e+06  5.49e+06
5.21e+06  5.26e+06  5.47e+06  5.52e+06
5.16e+06  5.22e+06  5.31e+06  5.37e+06

Share this post


Link to post
Share on other sites

вечерняя нагрузка:

sh6:~# dstat -cin -N eth2,eth3,total
----total-cpu-usage---- ----interrupts--- --net/eth2----net/eth3---net/total-
usr sys idl wai hiq siq|  92    93    94 | recv  send: recv  send: recv  send
 0   0  99   0   0   0| 430   442   155 |   0     0 :   0     0 :   0     0
 0   0  95   0   0   5|6941  7181  7753 | 815M  815M: 790M  789M:1606M 1604M
 0   0  95   0   0   5|6848  7297  7722 | 801M  802M: 802M  800M:1603M 1601M
 0   0  96   0   0   4|7166  7416  7711 | 794M  793M: 803M  803M:1597M 1596M
 0   0  95   0   0   5|6812  7024  7684 | 776M  775M: 820M  819M:1596M 1594M
 0   0  95   0   0   5|6448  6614  7426 | 746M  744M: 801M  799M:1546M 1543M
 0   0  95   0   0   5|7376  7480  7752 | 766M  764M: 794M  792M:1560M 1556M

sh6:~# ifstat -bi eth2,eth3
      eth2                eth3
Kbps in  Kbps out   Kbps in  Kbps out
6.41e+06  6.40e+06  6.38e+06  6.36e+06
6.44e+06  6.43e+06  6.64e+06  6.63e+06
6.56e+06  6.56e+06  6.29e+06  6.27e+06
6.45e+06  6.44e+06  6.74e+06  6.73e+06

top - 22:19:47 up 112 days,  5:54,  7 users,  load average: 0.49, 0.25, 0.27
Tasks: 241 total,   1 running, 240 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.1%sy,  0.0%ni, 89.5%id,  0.0%wa,  0.0%hi, 10.4%si,  0.0%st
Mem:   6217860k total,   864460k used,  5353400k free,   487724k buffers
Swap:  9767512k total,        0k used,  9767512k free,   196816k cached

 PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
  37 root      20   0     0    0    0 S    7  0.0   4:34.41 ksoftirqd/11
  16 root      20   0     0    0    0 S    6  0.0   2:50.16 ksoftirqd/4
  19 root      20   0     0    0    0 S    5  0.0   1:44.38 ksoftirqd/5
  25 root      20   0     0    0    0 S    5  0.0   2:50.02 ksoftirqd/7
  43 root      20   0     0    0    0 S    5  0.0   5:27.93 ksoftirqd/13
  46 root      20   0     0    0    0 S    4  0.0   2:42.98 ksoftirqd/14
  40 root      20   0     0    0    0 S    4  0.0   3:43.61 ksoftirqd/12
30138 root      20   0  2464 1276  904 S    4  0.0   5:55.73 top
  22 root      20   0     0    0    0 S    3  0.0   2:25.85 ksoftirqd/6
   4 root      20   0     0    0    0 S    3  0.0   1:25.66 ksoftirqd/0
  13 root      20   0     0    0    0 S    3  0.0   1:23.67 ksoftirqd/3
  10 root      20   0     0    0    0 S    2  0.0   1:05.11 ksoftirqd/2
   7 root      20   0     0    0    0 S    1  0.0   0:43.82 ksoftirqd/1
  28 root      20   0     0    0    0 S    1  0.0   1:09.41 ksoftirqd/8
  31 root      20   0     0    0    0 S    0  0.0  41:37.23 ksoftirqd/9
  51 root      20   0     0    0    0 S    0  0.0   0:07.73 events/0
8872 root      20   0  2464 1272  904 R    0  0.0   0:00.12 top
  34 root      20   0     0    0    0 S    0  0.0   0:11.24 ksoftirqd/10

Share this post


Link to post
Share on other sites

А ни у кого сетевушка Intel i82599 SFP+ не залипала?

Симптомы: отваливается трафик (включая трафик с соседних em). После ifconfig ix0 down up все опять заводится и работает часов 10-20, потом опять залипает

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this