Jump to content
Калькуляторы

Посоветуйте PCI-X сетевую На роутер и BRAS

Господа, полистал темы посвященные роутерам и брасам, но так и не смог сложить внятного впечатления о том, какую сетевую лучше всего брать под эти задачи.

 

Исходные данные: много пакетов ( 100-150Kpps ) , размером 400-500 байт, желаемая скорость - уверенный Гбит. Кто что пользует, доволен/не доволен. Интересует только Интел. У кого работающие сетевые карты с MSI-X векторами, расскажите как примерно влияют на производительность. Любая информация будет интересна.

 

Спасибо.

Share this post


Link to post
Share on other sites

Может не PCI-X, а все же PCI-E?

неделю как смог заюзать E1G42ETBLK (Portville Dual) IntelВ® Gigabit ET Dual Port.

на сервере с 2мя ядрами на каждый интерфейс поднялось по 2 прерывания на прием и по 2 на передачу. На сервере с четырьмя ядрами - по 4 прерывания на прием и передачу.

Вот так это выглядит вживую

cat /proc/interrupts  | grep eth
25: 1493239561   77439938   77302882   77399041   PCI-MSI-edge      eth0-tx-0
26:      62892    1236910      59380      58811   PCI-MSI-edge      eth0-tx-1
27:      53266      49923    1261063      50577   PCI-MSI-edge      eth0-tx-2
28:      64327      61636      61438    1265701   PCI-MSI-edge      eth0-tx-3
29:  877905728   39032382   38255781   38252879   PCI-MSI-edge      eth0-rx-0
30:   36889519  883447734   36912858   36903842   PCI-MSI-edge      eth0-rx-1
31:   37431066   38242615  820433663   37441971   PCI-MSI-edge      eth0-rx-2
32:   37827197   38646325   37854640  811035193   PCI-MSI-edge      eth0-rx-3
33:          0          2          2          2   PCI-MSI-edge      eth0
34: 1540919518   81708390   81624554   82725718   PCI-MSI-edge      eth1-tx-0
35:      11735     269217      11541      11606   PCI-MSI-edge      eth1-tx-1
36:     271040     271033    7294078     271222   PCI-MSI-edge      eth1-tx-2
37:      26868      26563      26344     479834   PCI-MSI-edge      eth1-tx-3
38:  855628550   37188943   37222841   37230941   PCI-MSI-edge      eth1-rx-0
39:   38400920  856238591   38414904   38405702   PCI-MSI-edge      eth1-rx-1
40:   38329883   38299267  860381579   38338240   PCI-MSI-edge      eth1-rx-2
41:   39224783   39201865   39232857  856900460   PCI-MSI-edge      eth1-rx-3
42:          1          1          0          4   PCI-MSI-edge      eth1

 

ethtool -i eth0
driver: igb
version: 1.3.16-k2
firmware-version: 1.2-1
bus-info: 0000:01:00.0

 

производительность по сравнению с интегрированными картами, которые получали по прерыванию на порт и у которых не было деления прерываний на прием/передачу - разительное. когда поток был около 25000 пакетов/с, они просто уходили в softirq и начинались тормоза.

А на E1G42ETBLK - 38000 пакетов/с, 250 мбит/с и загрузка процессоров где-то по 40%.

правда, не уверен, что даст 100 kpps.

Edited by MagMike

Share this post


Link to post
Share on other sites

Intel® Core2 Duo CPU E8200 @ 2.66GHz

 

EXPI9402PTBLK:

01:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
01:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

# grep eth /proc/interrupts
218: 1182924455 2956915521   PCI-MSI-edge      eth1
219: 1722968244 2491800775   PCI-MSI-edge      eth0

В данный момент 140M и 27kpps, каждое ядро загружено на 7%:

Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 93.0%id,  0.0%wa,  1.3%hi,  5.6%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni, 92.7%id,  0.0%wa,  2.0%hi,  5.3%si,  0.0%st

Share this post


Link to post
Share on other sites
В данный момент 140M и 27kpps, каждое ядро загружено на 7%:

Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 93.0%id,  0.0%wa,  1.3%hi,  5.6%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni, 92.7%id,  0.0%wa,  2.0%hi,  5.3%si,  0.0%st

а какие функции у данного сервера? у меня vpn c mppe (более 1000 сессий), на каждом ppp-интерфейсе - шейпинг.

сейчас 230 сессий, трафик 60 мбит/с, 9 kpps, загрузка процессоров 13% (softirq - 10%).

и это с 4мя очередями... может что-то не так настроено?...

Share this post


Link to post
Share on other sites

CPU 0:  1.0% user,  0.0% nice,  5.1% system,  3.0% interrupt, 90.9% idle
CPU 1:  1.0% user,  0.0% nice,  2.0% system, 56.6% interrupt, 40.4% idle
Mem: 38M Active, 10M Inact, 97M Wired, 50M Buf, 1854M Free
Swap:

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME    CPU COMMAND
   11 root        1 171   52     0K     8K RUN    0 280.2H 91.75% idle: cpu0
   10 root        1 171   52     0K     8K RUN    1 176.2H 41.50% idle: cpu1
   14 root        1 -44 -163     0K     8K RUN    1 136.5H 34.77% swi1: net
   22 root        1 -68 -187     0K     8K WAIT   1  41.6H 13.33% irq256: em0
   23 root        1 -68 -187     0K     8K CPU1   1  24.2H  6.54% irq18: em1 uh
  665 root        2  96    0 32788K 25824K select 0  24.4H  5.08% mpd4

vpn2# netstat -I em0 -hw1
            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
      8.5K     0       6.1M        11K     0       3.6M     0
      9.0K     0       6.0M        11K     0       3.3M     0
      8.2K     0       5.8M       9.7K     0       2.9M     0
      9.0K     0       6.1M        11K     0       3.6M     0
      8.5K     0       6.0M        11K     0       4.2M     0
      9.0K     0       6.5M        11K     0       4.2M     0
       10K     0       7.3M        12K     0       3.9M     0
      8.8K     0       6.4M        11K     0       3.5M     0
      9.5K     0       7.0M        11K     0       3.9M     0
      9.1K     0       6.6M        11K     0       3.9M     0
      8.8K     0       6.2M        10K     0       3.5M     0
      8.8K     0       6.2M        10K     0       3.3M     0
      8.4K     0       6.2M       9.6K     0       3.0M     0

vpn2# uname -rs
FreeBSD 6.4-RELEASE-p3
vpn2# ifconfig -u | grep -c POINT
544

Роль - PPTP с mppe, шейп на каждом интерфейсе.

Все никак руки не дойдут VPN до 7.2 обновить.

 

Share this post


Link to post
Share on other sites
А на E1G42ETBLK - 38000 пакетов/с, 250 мбит/с и загрузка процессоров где-то по 40%.
Что то как то мало.

у нас 2 граничных роутера, на каждом по 500 мбит / 150 Kpps, в пике

soft irq при этом до 40%

на обоих по 2 встроеных сетевухи Broadcom Corporation NetXtreme BCM5721 Gigabit Ethernet , она на аплинк, вторая в ДМЗ

сервера - HP ProLiant DL140 G3 и Dell PowerEdge 860

 

На счет трафика соврал, извините. 500 in + 400 out Мбит = 900 Мбит.

 

Edited by drvs

Share this post


Link to post
Share on other sites
Что то как то мало.

Линузятники потому что. :-))) Mpps слабо ?

Share this post


Link to post
Share on other sites
Что то как то мало.

Линузятники потому что. :-))) Mpps слабо ?

Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим?

И кто нам подпишет такие расходы и как я их буду мотивировать?

Я не против железных решений, только за, но цена ...

Share this post


Link to post
Share on other sites
Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим?

И кто нам подпишет такие расходы и как я их буду мотивировать?

Я не против железных решений, только за, но цена ...

:-)))) Мало того, что линузятники, еще и неграмотные. На писюке за $1к слабо ?

Share this post


Link to post
Share on other sites
Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим?

И кто нам подпишет такие расходы и как я их буду мотивировать?

Я не против железных решений, только за, но цена ...

:-)))) Мало того, что линузятники, еще и неграмотные. На писюке за $1к слабо ?

Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют.

Share this post


Link to post
Share on other sites

Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют.

jab кагбе намекает о FreeBSD :)

Share this post


Link to post
Share on other sites
Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют.
jab кагбе намекает о FreeBSD :)

Думаю что на фре на том же железе цифры будут аналогичные.

Share this post


Link to post
Share on other sites
Думаю что на фре на том же железе цифры будут аналогичные.

А зачем фрю ставить на всякое говно от хыпы и делла ? Чтобы pps поменьше получался ?

Share this post


Link to post
Share on other sites

2jab: А что по теме посоветуете, какие сетевые?

 

2MagMike: Да, Вы правы: PCI-Express, а не PCI-X. Напишу так, чтобы не путаться окончательно.

Edited by Dark_Angel

Share this post


Link to post
Share on other sites
2jab: А что по теме посоветуете, какие сетевые?

А что, есть выбор ?

Share this post


Link to post
Share on other sites

Ну если выбора нет, укажите, пожалуйста, тогда на ту одну Сетевую Карту. А то тут фарцуют китайским ...

Спасибо.

Share this post


Link to post
Share on other sites

 

Сами же написали "Интересует только Интел" его и берите.

Share this post


Link to post
Share on other sites

у интела есть два драйвера em и igb. Собсно родные карточки от интела идут на em 82571 чип, а есть карточки (я брал Supermicro) на чипе 82575 - они на igb драйвер.

 

Вопрос: которые из них лучше?

Share this post


Link to post
Share on other sites

2jab: Ок, давайте абстрагируемся от производителя, тем более, что Вы явно знаете как сделать Mpps. Как его делать рассказывать не нужно, потому как, очевидно, не расскажите, так хоть расскажите на какой сетевой карте лучше всего пытаться.

 

Спасибо.

Share this post


Link to post
Share on other sites

так хоть расскажите на какой сетевой карте лучше всего пытаться.

на интеле) других вариантов нет)

Share this post


Link to post
Share on other sites

igb карточки лучше, но em-драйвер проверенный

 

вообще, при Ваших запросах можно позволить себе купить обе и погонять - проверить. это же не cisco

Share this post


Link to post
Share on other sites
2jab: Ок, давайте абстрагируемся от производителя, тем более, что Вы явно знаете как сделать Mpps. Как его делать рассказывать не нужно, потому как, очевидно, не расскажите, так хоть расскажите на какой сетевой карте лучше всего пытаться.

 

Спасибо.

Для человека, путающего PCI-X с PCIe абсолютно без разницы. 150kpps потянет любая.

Share this post


Link to post
Share on other sites

2jab: Человек, который придирается к словам, а не хочет помочь, тем более бесполезен в данном случае. Я же объяснил, что это не более чем опечатка и я прекрасно понимаю, что PCIe и PCI-X разные шины и интересует именно PCIe. Любая 150 kpps не потянет, например Intel 82566DM с размером пакета 700-800 байт и уж тем более не прожует Гигабит.

 

Короче говоря, чтобы не отвлекать Вас нашими нищебробскими проблемами с какими-то 150kpps, и не отрывать от созерцания Mpps на PC за 1К $, обращаюсь к остальным учасникам топика с вполне земными, как и у меня, проблемами, а именно к совету по приобритению сетевой карты PCIe для указанных в начале топика условиях.

 

2kapa: Погонять-то можно, но я думаю, что явных боков при прогонке обнаружено не будет, что затруднит выбор. Да и время все же хочется сэкономить, тем более, что задача далеко не космическая - 150 Kpps не так много. Вот Вы, какие сетевые пользуете, на каких чипсетах?

Share this post


Link to post
Share on other sites
2jab: Человек, который придирается к словам, а не хочет помочь, тем более бесполезен в данном случае. Я же объяснил, что это не более чем опечатка и я прекрасно понимаю, что PCIe и PCI-X разные шины и интересует именно PCIe. Любая 150 kpps не потянет, например Intel 82566DM с размером пакета 700-800 байт и уж тем более не прожует Гигабит.

Если она действительно по PCIe подключена - то потянет. Не тянут интегрированные по GLCI.

Share this post


Link to post
Share on other sites
igb карточки лучше, но em-драйвер проверенный

 

вообще, при Ваших запросах можно позволить себе купить обе и погонять - проверить. это же не cisco

да в том то и дело что с igb какие-то странные проблемы пролезли - сквозной траффик по сессиям как-то зажимается: на сессию не больше 15-20кбайт/с. а траффик до или с машинки где igb стоит - все ок.

 

с em проблем не было и нет.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this