[McLaut]

Есть ли у кого опыт запуска 10 Гигабитных карт на FreeBSD. Поделитесь опытом плиз.

1 .Интересует производитель карт

2. Насколько глючные дрова?

3. Умеет ли драйвер делиться на процессы?

[magr]

Используем одну Intel с SR разъемом для не очень популярной задачи - посмотреть tcpdump-ом что видно на входе.

Драйвера стандартные, карта распозналась без проблем (ix0).

 

2 и 3 в силу специфики не актуально.

 

Вот еще что, поскольку товар штучный, в случае отсутствия на складе может долго или очень долго ехать (новые таможенные правила и расторопность поставщика и вендора).

[alks]

посмотреть tcpdump-ом что видно на входе

Сорм своими руками?

[McLaut]

Используем одну Intel с SR разъемом для не очень популярной задачи - посмотреть tcpdump-ом что видно на входе.

Драйвера стандартные, карта распозналась без проблем (ix0).

А можно посмотреть top -SP в момент tcpdump -i ix0 ?

[magr]

alks, не совсем СОРМ. У нас много 10G клиентов, и иногда возникают задачи анализа аномалий, а также задачи локализации области ответственности в случае обнаружения проблем, отличающихся от банальных ошибок на интерфейсах.

 

McLaut, я на следующей неделе вернусь из отпуска и постараюсь не забыть посмотреть. Если очень актуально, напомните через ЛС.

[caz]

Есть ли у кого опыт запуска 10 Гигабитных карт на FreeBSD. Поделитесь опытом плиз.

1 .Интересует производитель карт

больше 6 гигабит на интеловских карточках прокачать нереально.

Изменено 10 августа, 2010 пользователем caz

[zurz]

Есть ли у кого опыт запуска 10 Гигабитных карт на FreeBSD. Поделитесь опытом плиз.

1 .Интересует производитель карт

больше 6 гигабит на интеловских карточках прокачать нереально.

http://www.redhat.com/promo/summit/2008/do...Mark_Wagner.pdf

с 2008 года собственно ничего не изменилось.

я запускал пару машин под дебиан/ленни тупо друг с другом (i82599 SFP+, с дефолтным MTU, без тюнинга IRQ affinity на Core-i7 2,66), получалось чтото около 4,7 Гбит/с. После накручивания MTU=9000 выдал 9,0 Гбит.

Сомневаюсь, что под FreeBSD будет чтото сильно другое

[McLaut]

больше 6 гигабит на интеловских карточках прокачать нереально.

А что же делать? Вопрос стоит в том, как прокачать через маршрутизатор около 10 Гбит/сек?

Неужели натыкивать 5 штук четырехпортовых гигабитных карт и строить транки?

[mikevlz]

это, видимо, вопрос денег и потребностей. L3-свич, как я понял, не удовлетворяет потребности. Надо их озвучить вместе с бюджетом, тогда будет виднее.

[IvanI]

3,5 гигабита(3,5 IN + 3,5 OUT) 600 байтными пакетами прокачивается через 2 встроенных + 2х портовую на PCI-e 4х сетевухи, 10G нету пока.

[McLaut]

Мда, логично, что правильно поставленный вопрос - половина ответа.

Задача проста: - нужен бордер с прокачкой суммарно около 10 Гбит/сек на выходе и 5+5 на входе.

Кроме маршрутизации и фаервола других задач нет.

Сейчас 2+2=4 работает. Но при большом кол-ве пакетов становится туго. Причем упор именно в сетевых интерфейсах.

Используются яндекс драйвера для em карточек.

[alks]

Может уже пора на железную платформу переходить?

благо выбор большой

Изменено 11 августа, 2010 пользователем alks

[McLaut]

Денег жалко. Да и нюансы есть и с железными платформами, не меньше чем с софтовыми маршрутизаторами.

Беда в том, что производители чаще всего врут о производительности своих железок.

[cmhungry]

5+5 in, 10 out - cisco 6500/sup2 справится на пределе.

 

Cisco 6500/sup720 справится легко достаточно, только портовую карту 67хх берите, а не 65хх/64хх. Если 3B взять - то /23 и /24 отрезать придется в фулл-вью, 3BXL - осилит фулл. Карту портовую необязательно брать BXL, вполне хватит обычной CFC.

 

[caz]

Мда, логично, что правильно поставленный вопрос - половина ответа.

Задача проста: - нужен бордер с прокачкой суммарно около 10 Гбит/сек на выходе и 5+5 на входе.

Кроме маршрутизации и фаервола других задач нет.

Сейчас 2+2=4 работает. Но при большом кол-ве пакетов становится туго. Причем упор именно в сетевых интерфейсах.

Используются яндекс драйвера для em карточек.

можно попробывать bigiron с управляющи модулем J-BxGMR4 + слот на 2 порта 10G, по идее должен прокачать без напрягов, при правильном разделении cam-partition(при 4 гигабитах загрузка 1-8%), либо netiron, этот точно без напряга все сделает. у обоих hw acl, да и стоят не дорого.

[McLaut]

На Украине нет официального представительства.....

[Lynx10]

На Украине нет официального представительства.....

Да ....

вот и вопрос - никто не в курсе кто торгует в Украине оборудованием Foundry Brocade ?

[nashvill]

На Украине нет официального представительства.....

Да ....

вот и вопрос - никто не в курсе кто торгует в Украине оборудованием Foundry Brocade ?

в Украине нет официалов Brocade, попробуйте через Россию, например через OCS (ocs.ru) возможно сможете договориться о поставке сразу к вам без захода в Россию.

Ну либо ebay.com там за вполне реальные деньги можно купить NetIron MLX-4 с пачкой модулей.

 

Если что, готов помочь с контактами дистрибьютеров и поставщиков.

Изменено 15 августа, 2010 пользователем nashvill

[allan_sundry]

Что изменилось за год в вовпросе создания граничного маршрутизатора из FreeBSD и 10G карточек?

Кто-то пробовал реализовывать такие решения?

[cmhungry]

Что изменилось за год в вовпросе создания граничного маршрутизатора из FreeBSD и 10G карточек?

Кто-то пробовал реализовывать такие решения?

А чем не устраивает линукс? Vyatta как вариант, например.

[Ivan_83]

Названием: freebsd != linux

 

PS: так можно скатится до: "чем не устраивает циско?"

 

 

[andriko]

Что изменилось за год в вовпросе создания граничного маршрутизатора из FreeBSD и 10G карточек?

Кто-то пробовал реализовывать такие решения?

 

вот они пробовали, правда фаервол, но интересно https://calomel.org/network_performance.html

 

currently, you can not use ALTq to support your 10 gigabit interfaces. The parent bandwidth value in Altq is a 32bit int and thus can not support values over 2^32 or 4294Mb (4.29Gb). We have reported this "bug" to the developers

[dmvy]

Debian. штатные драйвера. маршутизация отключена (отправляем с помощью iptables на next-hop)

один порт может прожевать при максимальной нагрузке 1.9Mpps

в качестве железа два Xeon E5620. в прошлых тестах предыдущих поколений intel 10G CX-4 и Myri первого поколения все упералось в 900Kpps.

 

03:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit Network Connection (rev 01)
       Subsystem: Intel Corporation Ethernet Server Adapter X520-2

sh6:/etc/quagga# dstat -cin -N eth2,eth3,total                                                                                                
----total-cpu-usage---- ----interrupts--- --net/eth2----net/eth3---net/total-
usr sys idl wai hiq siq|  92    93    94 | recv  send: recv  send: recv  send
 0   0  99   0   0   0| 406   418   129 |   0     0 :   0     0 :   0     0 
 1   0  93   0   0   5|7989  7995  7984 | 673M  681M: 681M  688M:1354M 1369M
 0   0  97   0   0   3|7971  7972  7950 | 663M  670M: 675M  681M:1338M 1351M
 0   0  98   0   0   2|7986  7980  7969 | 653M  660M: 660M  666M:1314M 1326M
 0   0  99   0   0   1|7995  7988  7970 | 648M  655M: 684M  692M:1333M 1347M
 0   0  99   0   0   1|7991  7967  7972 | 640M  646M: 657M  664M:1297M 1311M
 0   0  99   0   0   1|7989  7986  7961 | 643M  649M: 646M  652M:1289M 1302M

sh6:/etc/quagga# ifstat -bi eth2,eth3
      eth2                eth3       
Kbps in  Kbps out   Kbps in  Kbps out
5.21e+06  5.26e+06  5.44e+06  5.49e+06
5.21e+06  5.26e+06  5.47e+06  5.52e+06
5.16e+06  5.22e+06  5.31e+06  5.37e+06

[dmvy]

вечерняя нагрузка:

sh6:~# dstat -cin -N eth2,eth3,total
----total-cpu-usage---- ----interrupts--- --net/eth2----net/eth3---net/total-
usr sys idl wai hiq siq|  92    93    94 | recv  send: recv  send: recv  send
 0   0  99   0   0   0| 430   442   155 |   0     0 :   0     0 :   0     0
 0   0  95   0   0   5|6941  7181  7753 | 815M  815M: 790M  789M:1606M 1604M
 0   0  95   0   0   5|6848  7297  7722 | 801M  802M: 802M  800M:1603M 1601M
 0   0  96   0   0   4|7166  7416  7711 | 794M  793M: 803M  803M:1597M 1596M
 0   0  95   0   0   5|6812  7024  7684 | 776M  775M: 820M  819M:1596M 1594M
 0   0  95   0   0   5|6448  6614  7426 | 746M  744M: 801M  799M:1546M 1543M
 0   0  95   0   0   5|7376  7480  7752 | 766M  764M: 794M  792M:1560M 1556M

sh6:~# ifstat -bi eth2,eth3
      eth2                eth3
Kbps in  Kbps out   Kbps in  Kbps out
6.41e+06  6.40e+06  6.38e+06  6.36e+06
6.44e+06  6.43e+06  6.64e+06  6.63e+06
6.56e+06  6.56e+06  6.29e+06  6.27e+06
6.45e+06  6.44e+06  6.74e+06  6.73e+06

top - 22:19:47 up 112 days,  5:54,  7 users,  load average: 0.49, 0.25, 0.27
Tasks: 241 total,   1 running, 240 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.1%sy,  0.0%ni, 89.5%id,  0.0%wa,  0.0%hi, 10.4%si,  0.0%st
Mem:   6217860k total,   864460k used,  5353400k free,   487724k buffers
Swap:  9767512k total,        0k used,  9767512k free,   196816k cached

 PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
  37 root      20   0     0    0    0 S    7  0.0   4:34.41 ksoftirqd/11
  16 root      20   0     0    0    0 S    6  0.0   2:50.16 ksoftirqd/4
  19 root      20   0     0    0    0 S    5  0.0   1:44.38 ksoftirqd/5
  25 root      20   0     0    0    0 S    5  0.0   2:50.02 ksoftirqd/7
  43 root      20   0     0    0    0 S    5  0.0   5:27.93 ksoftirqd/13
  46 root      20   0     0    0    0 S    4  0.0   2:42.98 ksoftirqd/14
  40 root      20   0     0    0    0 S    4  0.0   3:43.61 ksoftirqd/12
30138 root      20   0  2464 1276  904 S    4  0.0   5:55.73 top
  22 root      20   0     0    0    0 S    3  0.0   2:25.85 ksoftirqd/6
   4 root      20   0     0    0    0 S    3  0.0   1:25.66 ksoftirqd/0
  13 root      20   0     0    0    0 S    3  0.0   1:23.67 ksoftirqd/3
  10 root      20   0     0    0    0 S    2  0.0   1:05.11 ksoftirqd/2
   7 root      20   0     0    0    0 S    1  0.0   0:43.82 ksoftirqd/1
  28 root      20   0     0    0    0 S    1  0.0   1:09.41 ksoftirqd/8
  31 root      20   0     0    0    0 S    0  0.0  41:37.23 ksoftirqd/9
  51 root      20   0     0    0    0 S    0  0.0   0:07.73 events/0
8872 root      20   0  2464 1272  904 R    0  0.0   0:00.12 top
  34 root      20   0     0    0    0 S    0  0.0   0:11.24 ksoftirqd/10

[adeep]

А ни у кого сетевушка Intel i82599 SFP+ не залипала?

Симптомы: отваливается трафик (включая трафик с соседних em). После ifconfig ix0 down up все опять заводится и работает часов 10-20, потом опять залипает