Dark_Angel Опубликовано 22 сентября, 2009 · Жалоба Господа, полистал темы посвященные роутерам и брасам, но так и не смог сложить внятного впечатления о том, какую сетевую лучше всего брать под эти задачи. Исходные данные: много пакетов ( 100-150Kpps ) , размером 400-500 байт, желаемая скорость - уверенный Гбит. Кто что пользует, доволен/не доволен. Интересует только Интел. У кого работающие сетевые карты с MSI-X векторами, расскажите как примерно влияют на производительность. Любая информация будет интересна. Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MagMike Опубликовано 22 сентября, 2009 (изменено) · Жалоба Может не PCI-X, а все же PCI-E? неделю как смог заюзать E1G42ETBLK (Portville Dual) IntelВ® Gigabit ET Dual Port. на сервере с 2мя ядрами на каждый интерфейс поднялось по 2 прерывания на прием и по 2 на передачу. На сервере с четырьмя ядрами - по 4 прерывания на прием и передачу. Вот так это выглядит вживую cat /proc/interrupts | grep eth 25: 1493239561 77439938 77302882 77399041 PCI-MSI-edge eth0-tx-0 26: 62892 1236910 59380 58811 PCI-MSI-edge eth0-tx-1 27: 53266 49923 1261063 50577 PCI-MSI-edge eth0-tx-2 28: 64327 61636 61438 1265701 PCI-MSI-edge eth0-tx-3 29: 877905728 39032382 38255781 38252879 PCI-MSI-edge eth0-rx-0 30: 36889519 883447734 36912858 36903842 PCI-MSI-edge eth0-rx-1 31: 37431066 38242615 820433663 37441971 PCI-MSI-edge eth0-rx-2 32: 37827197 38646325 37854640 811035193 PCI-MSI-edge eth0-rx-3 33: 0 2 2 2 PCI-MSI-edge eth0 34: 1540919518 81708390 81624554 82725718 PCI-MSI-edge eth1-tx-0 35: 11735 269217 11541 11606 PCI-MSI-edge eth1-tx-1 36: 271040 271033 7294078 271222 PCI-MSI-edge eth1-tx-2 37: 26868 26563 26344 479834 PCI-MSI-edge eth1-tx-3 38: 855628550 37188943 37222841 37230941 PCI-MSI-edge eth1-rx-0 39: 38400920 856238591 38414904 38405702 PCI-MSI-edge eth1-rx-1 40: 38329883 38299267 860381579 38338240 PCI-MSI-edge eth1-rx-2 41: 39224783 39201865 39232857 856900460 PCI-MSI-edge eth1-rx-3 42: 1 1 0 4 PCI-MSI-edge eth1 ethtool -i eth0 driver: igb version: 1.3.16-k2 firmware-version: 1.2-1 bus-info: 0000:01:00.0 производительность по сравнению с интегрированными картами, которые получали по прерыванию на порт и у которых не было деления прерываний на прием/передачу - разительное. когда поток был около 25000 пакетов/с, они просто уходили в softirq и начинались тормоза. А на E1G42ETBLK - 38000 пакетов/с, 250 мбит/с и загрузка процессоров где-то по 40%. правда, не уверен, что даст 100 kpps. Изменено 22 сентября, 2009 пользователем MagMike Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DemYaN Опубликовано 22 сентября, 2009 · Жалоба Intel® Core2 Duo CPU E8200 @ 2.66GHz EXPI9402PTBLK: 01:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) 01:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) # grep eth /proc/interrupts 218: 1182924455 2956915521 PCI-MSI-edge eth1 219: 1722968244 2491800775 PCI-MSI-edge eth0 В данный момент 140M и 27kpps, каждое ядро загружено на 7%: Cpu0 : 0.0%us, 0.0%sy, 0.0%ni, 93.0%id, 0.0%wa, 1.3%hi, 5.6%si, 0.0%st Cpu1 : 0.0%us, 0.0%sy, 0.0%ni, 92.7%id, 0.0%wa, 2.0%hi, 5.3%si, 0.0%st Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MagMike Опубликовано 23 сентября, 2009 · Жалоба В данный момент 140M и 27kpps, каждое ядро загружено на 7%: Cpu0 : 0.0%us, 0.0%sy, 0.0%ni, 93.0%id, 0.0%wa, 1.3%hi, 5.6%si, 0.0%st Cpu1 : 0.0%us, 0.0%sy, 0.0%ni, 92.7%id, 0.0%wa, 2.0%hi, 5.3%si, 0.0%st а какие функции у данного сервера? у меня vpn c mppe (более 1000 сессий), на каждом ppp-интерфейсе - шейпинг.сейчас 230 сессий, трафик 60 мбит/с, 9 kpps, загрузка процессоров 13% (softirq - 10%). и это с 4мя очередями... может что-то не так настроено?... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mikevlz Опубликовано 23 сентября, 2009 · Жалоба CPU 0: 1.0% user, 0.0% nice, 5.1% system, 3.0% interrupt, 90.9% idle CPU 1: 1.0% user, 0.0% nice, 2.0% system, 56.6% interrupt, 40.4% idle Mem: 38M Active, 10M Inact, 97M Wired, 50M Buf, 1854M Free Swap: PID USERNAME THR PRI NICE SIZE RES STATE C TIME CPU COMMAND 11 root 1 171 52 0K 8K RUN 0 280.2H 91.75% idle: cpu0 10 root 1 171 52 0K 8K RUN 1 176.2H 41.50% idle: cpu1 14 root 1 -44 -163 0K 8K RUN 1 136.5H 34.77% swi1: net 22 root 1 -68 -187 0K 8K WAIT 1 41.6H 13.33% irq256: em0 23 root 1 -68 -187 0K 8K CPU1 1 24.2H 6.54% irq18: em1 uh 665 root 2 96 0 32788K 25824K select 0 24.4H 5.08% mpd4 vpn2# netstat -I em0 -hw1 input (em0) output packets errs bytes packets errs bytes colls 8.5K 0 6.1M 11K 0 3.6M 0 9.0K 0 6.0M 11K 0 3.3M 0 8.2K 0 5.8M 9.7K 0 2.9M 0 9.0K 0 6.1M 11K 0 3.6M 0 8.5K 0 6.0M 11K 0 4.2M 0 9.0K 0 6.5M 11K 0 4.2M 0 10K 0 7.3M 12K 0 3.9M 0 8.8K 0 6.4M 11K 0 3.5M 0 9.5K 0 7.0M 11K 0 3.9M 0 9.1K 0 6.6M 11K 0 3.9M 0 8.8K 0 6.2M 10K 0 3.5M 0 8.8K 0 6.2M 10K 0 3.3M 0 8.4K 0 6.2M 9.6K 0 3.0M 0 vpn2# uname -rs FreeBSD 6.4-RELEASE-p3 vpn2# ifconfig -u | grep -c POINT 544 Роль - PPTP с mppe, шейп на каждом интерфейсе. Все никак руки не дойдут VPN до 7.2 обновить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
drvs Опубликовано 23 сентября, 2009 (изменено) · Жалоба А на E1G42ETBLK - 38000 пакетов/с, 250 мбит/с и загрузка процессоров где-то по 40%.Что то как то мало.у нас 2 граничных роутера, на каждом по 500 мбит / 150 Kpps, в пике soft irq при этом до 40% на обоих по 2 встроеных сетевухи Broadcom Corporation NetXtreme BCM5721 Gigabit Ethernet , она на аплинк, вторая в ДМЗ сервера - HP ProLiant DL140 G3 и Dell PowerEdge 860 На счет трафика соврал, извините. 500 in + 400 out Мбит = 900 Мбит. Изменено 23 сентября, 2009 пользователем drvs Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 сентября, 2009 · Жалоба Что то как то мало. Линузятники потому что. :-))) Mpps слабо ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
drvs Опубликовано 23 сентября, 2009 · Жалоба Что то как то мало. Линузятники потому что. :-))) Mpps слабо ? Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим? И кто нам подпишет такие расходы и как я их буду мотивировать? Я не против железных решений, только за, но цена ... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 сентября, 2009 · Жалоба Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим? И кто нам подпишет такие расходы и как я их буду мотивировать? Я не против железных решений, только за, но цена ... :-)))) Мало того, что линузятники, еще и неграмотные. На писюке за $1к слабо ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
drvs Опубликовано 23 сентября, 2009 · Жалоба Во первых нам пока не надо mpps, во вторых - стоимость. Тут 2 сервера по $1,3К, и какие кошки по такой цене мы купим? И кто нам подпишет такие расходы и как я их буду мотивировать? Я не против железных решений, только за, но цена ... :-)))) Мало того, что линузятники, еще и неграмотные. На писюке за $1к слабо ? Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DemYaN Опубликовано 23 сентября, 2009 · Жалоба Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют. jab кагбе намекает о FreeBSD :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
drvs Опубликовано 23 сентября, 2009 · Жалоба Это что - ни о чем? Хочешь поговорить предметно - отвечай по теме, а шутки в стиле петросяна меня не интересуют.jab кагбе намекает о FreeBSD :) Думаю что на фре на том же железе цифры будут аналогичные. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 сентября, 2009 · Жалоба Думаю что на фре на том же железе цифры будут аналогичные. А зачем фрю ставить на всякое говно от хыпы и делла ? Чтобы pps поменьше получался ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 23 сентября, 2009 (изменено) · Жалоба 2jab: А что по теме посоветуете, какие сетевые? 2MagMike: Да, Вы правы: PCI-Express, а не PCI-X. Напишу так, чтобы не путаться окончательно. Изменено 23 сентября, 2009 пользователем Dark_Angel Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 сентября, 2009 · Жалоба 2jab: А что по теме посоветуете, какие сетевые? А что, есть выбор ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 23 сентября, 2009 · Жалоба Ну если выбора нет, укажите, пожалуйста, тогда на ту одну Сетевую Карту. А то тут фарцуют китайским ... Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 сентября, 2009 · Жалоба Сами же написали "Интересует только Интел" его и берите. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
adeep Опубликовано 23 сентября, 2009 · Жалоба у интела есть два драйвера em и igb. Собсно родные карточки от интела идут на em 82571 чип, а есть карточки (я брал Supermicro) на чипе 82575 - они на igb драйвер. Вопрос: которые из них лучше? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 23 сентября, 2009 · Жалоба 2jab: Ок, давайте абстрагируемся от производителя, тем более, что Вы явно знаете как сделать Mpps. Как его делать рассказывать не нужно, потому как, очевидно, не расскажите, так хоть расскажите на какой сетевой карте лучше всего пытаться. Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
adeep Опубликовано 23 сентября, 2009 · Жалоба так хоть расскажите на какой сетевой карте лучше всего пытаться. на интеле) других вариантов нет) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kapa Опубликовано 23 сентября, 2009 · Жалоба igb карточки лучше, но em-драйвер проверенный вообще, при Ваших запросах можно позволить себе купить обе и погонять - проверить. это же не cisco Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 сентября, 2009 · Жалоба 2jab: Ок, давайте абстрагируемся от производителя, тем более, что Вы явно знаете как сделать Mpps. Как его делать рассказывать не нужно, потому как, очевидно, не расскажите, так хоть расскажите на какой сетевой карте лучше всего пытаться. Спасибо. Для человека, путающего PCI-X с PCIe абсолютно без разницы. 150kpps потянет любая. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 23 сентября, 2009 · Жалоба 2jab: Человек, который придирается к словам, а не хочет помочь, тем более бесполезен в данном случае. Я же объяснил, что это не более чем опечатка и я прекрасно понимаю, что PCIe и PCI-X разные шины и интересует именно PCIe. Любая 150 kpps не потянет, например Intel 82566DM с размером пакета 700-800 байт и уж тем более не прожует Гигабит. Короче говоря, чтобы не отвлекать Вас нашими нищебробскими проблемами с какими-то 150kpps, и не отрывать от созерцания Mpps на PC за 1К $, обращаюсь к остальным учасникам топика с вполне земными, как и у меня, проблемами, а именно к совету по приобритению сетевой карты PCIe для указанных в начале топика условиях. 2kapa: Погонять-то можно, но я думаю, что явных боков при прогонке обнаружено не будет, что затруднит выбор. Да и время все же хочется сэкономить, тем более, что задача далеко не космическая - 150 Kpps не так много. Вот Вы, какие сетевые пользуете, на каких чипсетах? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 сентября, 2009 · Жалоба 2jab: Человек, который придирается к словам, а не хочет помочь, тем более бесполезен в данном случае. Я же объяснил, что это не более чем опечатка и я прекрасно понимаю, что PCIe и PCI-X разные шины и интересует именно PCIe. Любая 150 kpps не потянет, например Intel 82566DM с размером пакета 700-800 байт и уж тем более не прожует Гигабит. Если она действительно по PCIe подключена - то потянет. Не тянут интегрированные по GLCI. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
adeep Опубликовано 23 сентября, 2009 · Жалоба igb карточки лучше, но em-драйвер проверенный вообще, при Ваших запросах можно позволить себе купить обе и погонять - проверить. это же не cisco да в том то и дело что с igb какие-то странные проблемы пролезли - сквозной траффик по сессиям как-то зажимается: на сессию не больше 15-20кбайт/с. а траффик до или с машинки где igb стоит - все ок. с em проблем не было и нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...