Перейти к содержимому
Калькуляторы

Посоветуйте PCI-X сетевую На роутер и BRAS

Господа, полистал темы посвященные роутерам и брасам, но так и не смог сложить внятного впечатления о том, какую сетевую лучше всего брать под эти задачи.

 

Исходные данные: много пакетов ( 100-150Kpps ) , размером 400-500 байт, желаемая скорость - уверенный Гбит. Кто что пользует, доволен/не доволен. Интересует только Интел. У кого работающие сетевые карты с MSI-X векторами, расскажите как примерно влияют на производительность. Любая информация будет интересна.

 

Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Может не PCI-X, а все же PCI-E?

неделю как смог заюзать E1G42ETBLK (Portville Dual) IntelВ® Gigabit ET Dual Port.

на сервере с 2мя ядрами на каждый интерфейс поднялось по 2 прерывания на прием и по 2 на передачу. На сервере с четырьмя ядрами - по 4 прерывания на прием и передачу.

Вот так это выглядит вживую

cat /proc/interrupts  | grep eth
25: 1493239561   77439938   77302882   77399041   PCI-MSI-edge      eth0-tx-0
26:      62892    1236910      59380      58811   PCI-MSI-edge      eth0-tx-1
27:      53266      49923    1261063      50577   PCI-MSI-edge      eth0-tx-2
28:      64327      61636      61438    1265701   PCI-MSI-edge      eth0-tx-3
29:  877905728   39032382   38255781   38252879   PCI-MSI-edge      eth0-rx-0
30:   36889519  883447734   36912858   36903842   PCI-MSI-edge      eth0-rx-1
31:   37431066   38242615  820433663   37441971   PCI-MSI-edge      eth0-rx-2
32:   37827197   38646325   37854640  811035193   PCI-MSI-edge      eth0-rx-3
33:          0          2          2          2   PCI-MSI-edge      eth0
34: 1540919518   81708390   81624554   82725718   PCI-MSI-edge      eth1-tx-0
35:      11735     269217      11541      11606   PCI-MSI-edge      eth1-tx-1
36:     271040     271033    7294078     271222   PCI-MSI-edge      eth1-tx-2
37:      26868      26563      26344     479834   PCI-MSI-edge      eth1-tx-3
38:  855628550   37188943   37222841   37230941   PCI-MSI-edge      eth1-rx-0
39:   38400920  856238591   38414904   38405702   PCI-MSI-edge      eth1-rx-1
40:   38329883   38299267  860381579   38338240   PCI-MSI-edge      eth1-rx-2
41:   39224783   39201865   39232857  856900460   PCI-MSI-edge      eth1-rx-3
42:          1          1          0          4   PCI-MSI-edge      eth1

 

ethtool -i eth0
driver: igb
version: 1.3.16-k2
firmware-version: 1.2-1
bus-info: 0000:01:00.0

 

производительность по сравнению с интегрированными картами, которые получали по прерыванию на порт и у которых не было деления прерываний на прием/передачу - разительное. когда поток был около 25000 пакетов/с, они просто уходили в softirq и начинались тормоза.

А на E1G42ETBLK - 38000 пакетов/с, 250 мбит/с и загрузка процессоров где-то по 40%.

правда, не уверен, что даст 100 kpps.

Изменено пользователем MagMike

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Intel® Core2 Duo CPU E8200 @ 2.66GHz

 

EXPI9402PTBLK:

01:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
01:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

# grep eth /proc/interrupts
218: 1182924455 2956915521   PCI-MSI-edge      eth1
219: 1722968244 2491800775   PCI-MSI-edge      eth0

В данный момент 140M и 27kpps, каждое ядро загружено на 7%:

Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 93.0%id,  0.0%wa,  1.3%hi,  5.6%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni, 92.7%id,  0.0%wa,  2.0%hi,  5.3%si,  0.0%st

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В данный момент 140M и 27kpps, каждое ядро загружено на 7%:

Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 93.0%id,  0.0%wa,  1.3%hi,  5.6%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni, 92.7%id,  0.0%wa,  2.0%hi,  5.3%si,  0.0%st

а какие функции у данного сервера? у меня vpn c mppe (более 1000 сессий), на каждом ppp-интерфейсе - шейпинг.

сейчас 230 сессий, трафик 60 мбит/с, 9 kpps, загрузка процессоров 13% (softirq - 10%).

и это с 4мя очередями... может что-то не так настроено?...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

CPU 0:  1.0% user,  0.0% nice,  5.1% system,  3.0% interrupt, 90.9% idle
CPU 1:  1.0% user,  0.0% nice,  2.0% system, 56.6% interrupt, 40.4% idle
Mem: 38M Active, 10M Inact, 97M Wired, 50M Buf, 1854M Free
Swap:

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME    CPU COMMAND
   11 root        1 171   52     0K     8K RUN    0 280.2H 91.75% idle: cpu0
   10 root        1 171   52     0K     8K RUN    1 176.2H 41.50% idle: cpu1
   14 root        1 -44 -163     0K     8K RUN    1 136.5H 34.77% swi1: net
   22 root        1 -68 -187     0K     8K WAIT   1  41.6H 13.33% irq256: em0
   23 root        1 -68 -187     0K     8K CPU1   1  24.2H  6.54% irq18: em1 uh
  665 root        2  96    0 32788K 25824K select 0  24.4H  5.08% mpd4

vpn2# netstat -I em0 -hw1
            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
      8.5K     0       6.1M        11K     0       3.6M     0
      9.0K     0       6.0M        11K     0       3.3M     0
      8.2K     0       5.8M       9.7K     0       2.9M     0
      9.0K     0       6.1M        11K     0       3.6M     0
      8.5K     0       6.0M        11K     0       4.2M     0
      9.0K     0       6.5M        11K     0       4.2M     0
       10K     0       7.3M        12K     0       3.9M     0
      8.8K     0       6.4M        11K     0       3.5M     0
      9.5K     0       7.0M        11K     0       3.9M     0
      9.1K     0       6.6M        11K     0       3.9M     0
      8.8K     0       6.2M        10K     0       3.5M     0
      8.8K     0       6.2M        10K     0       3.3M     0
      8.4K     0       6.2M       9.6K     0       3.0M     0

vpn2# uname -rs
FreeBSD 6.4-RELEASE-p3
vpn2# ifconfig -u | grep -c POINT
544

Роль - PPTP с mppe, шейп на каждом интерфейсе.

Все никак руки не дойдут VPN до 7.2 обновить.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А на E1G42ETBLK - 38000 пакетов/с, 250 мбит/с и загрузка процессоров где-то по 40%.
Что то как то мало.

у нас 2 граничных роутера, на каждом по 500 мбит / 150 Kpps, в пике

soft irq при этом до 40%

на обоих по 2 встроеных сетевухи Broadcom Corporation NetXtreme BCM5721 Gigabit Ethernet , она на аплинк, вторая в ДМЗ

сервера - HP ProLiant DL140 G3 и Dell PowerEdge 860

 

На счет трафика соврал, извините. 500 in + 400 out Мбит = 900 Мбит.

 

Изменено пользователем drvs

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что то как то мало.

Линузятники потому что. :-))) Mpps слабо ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что то как то мало.

Линузятники потому что. :-))) Mpps слабо ?

Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим?

И кто нам подпишет такие расходы и как я их буду мотивировать?

Я не против железных решений, только за, но цена ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим?

И кто нам подпишет такие расходы и как я их буду мотивировать?

Я не против железных решений, только за, но цена ...

:-)))) Мало того, что линузятники, еще и неграмотные. На писюке за $1к слабо ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим?

И кто нам подпишет такие расходы и как я их буду мотивировать?

Я не против железных решений, только за, но цена ...

:-)))) Мало того, что линузятники, еще и неграмотные. На писюке за $1к слабо ?

Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют.

jab кагбе намекает о FreeBSD :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют.
jab кагбе намекает о FreeBSD :)

Думаю что на фре на том же железе цифры будут аналогичные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Думаю что на фре на том же железе цифры будут аналогичные.

А зачем фрю ставить на всякое говно от хыпы и делла ? Чтобы pps поменьше получался ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2jab: А что по теме посоветуете, какие сетевые?

 

2MagMike: Да, Вы правы: PCI-Express, а не PCI-X. Напишу так, чтобы не путаться окончательно.

Изменено пользователем Dark_Angel

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2jab: А что по теме посоветуете, какие сетевые?

А что, есть выбор ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну если выбора нет, укажите, пожалуйста, тогда на ту одну Сетевую Карту. А то тут фарцуют китайским ...

Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Сами же написали "Интересует только Интел" его и берите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у интела есть два драйвера em и igb. Собсно родные карточки от интела идут на em 82571 чип, а есть карточки (я брал Supermicro) на чипе 82575 - они на igb драйвер.

 

Вопрос: которые из них лучше?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2jab: Ок, давайте абстрагируемся от производителя, тем более, что Вы явно знаете как сделать Mpps. Как его делать рассказывать не нужно, потому как, очевидно, не расскажите, так хоть расскажите на какой сетевой карте лучше всего пытаться.

 

Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

так хоть расскажите на какой сетевой карте лучше всего пытаться.

на интеле) других вариантов нет)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

igb карточки лучше, но em-драйвер проверенный

 

вообще, при Ваших запросах можно позволить себе купить обе и погонять - проверить. это же не cisco

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2jab: Ок, давайте абстрагируемся от производителя, тем более, что Вы явно знаете как сделать Mpps. Как его делать рассказывать не нужно, потому как, очевидно, не расскажите, так хоть расскажите на какой сетевой карте лучше всего пытаться.

 

Спасибо.

Для человека, путающего PCI-X с PCIe абсолютно без разницы. 150kpps потянет любая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2jab: Человек, который придирается к словам, а не хочет помочь, тем более бесполезен в данном случае. Я же объяснил, что это не более чем опечатка и я прекрасно понимаю, что PCIe и PCI-X разные шины и интересует именно PCIe. Любая 150 kpps не потянет, например Intel 82566DM с размером пакета 700-800 байт и уж тем более не прожует Гигабит.

 

Короче говоря, чтобы не отвлекать Вас нашими нищебробскими проблемами с какими-то 150kpps, и не отрывать от созерцания Mpps на PC за 1К $, обращаюсь к остальным учасникам топика с вполне земными, как и у меня, проблемами, а именно к совету по приобритению сетевой карты PCIe для указанных в начале топика условиях.

 

2kapa: Погонять-то можно, но я думаю, что явных боков при прогонке обнаружено не будет, что затруднит выбор. Да и время все же хочется сэкономить, тем более, что задача далеко не космическая - 150 Kpps не так много. Вот Вы, какие сетевые пользуете, на каких чипсетах?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2jab: Человек, который придирается к словам, а не хочет помочь, тем более бесполезен в данном случае. Я же объяснил, что это не более чем опечатка и я прекрасно понимаю, что PCIe и PCI-X разные шины и интересует именно PCIe. Любая 150 kpps не потянет, например Intel 82566DM с размером пакета 700-800 байт и уж тем более не прожует Гигабит.

Если она действительно по PCIe подключена - то потянет. Не тянут интегрированные по GLCI.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

igb карточки лучше, но em-драйвер проверенный

 

вообще, при Ваших запросах можно позволить себе купить обе и погонять - проверить. это же не cisco

да в том то и дело что с igb какие-то странные проблемы пролезли - сквозной траффик по сессиям как-то зажимается: на сессию не больше 15-20кбайт/с. а траффик до или с машинки где igb стоит - все ок.

 

с em проблем не было и нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.