[Dark_Angel]

2jab: C PCIe картой с этим чипсетом дела не имел, поэтому спорить не буду. Работал с интегрированными. В любом случае мне кажется это бюджетный вариант гигабита. Если уже ставить что-то в PCIe то что-то что умеет MSI-X, хотя бы.

 

2adeep: Вы пока о драйверах, но о железе Вы ни слова не сказали. Какие модели тестировали? Кроме того, как я понял у MagMike такой проблемы со сквозным трафиком не возникает.

 

Я тут смотрю на 82575EB ( http://www.intel.com/products/ethernet/res...75EB&s3=all ) и на 82576EB ( http://www.intel.com/products/ethernet/res...76EB&s3=all ) кто-то работал с этими моделями? Как впечатления?

 

С последним я вижу работал MagMike, но 40% загрузки при 250 Мбит, и 38Kpps явно слабый результат - нужно крутить напильником, да и данных по процессорам/ОС/ядру не хватает.

Изменено 23 сентября, 2009 пользователем Dark_Angel

[adeep]

2adeep: Вы пока о драйверах, но о железе Вы ни слова не сказали. Какие модели тестировали? Кроме того, как я понял у MagMike такой проблемы со сквозным трафиком не возникает.

выше писал про чипсеты:

 

на em работают сейчас:

82541EI Gigabit Ethernet Controller

82573E Intel Corporation 82573E Gigabit Ethernet Controller (Copper)

82566DM-2 Gigabit Network Connection

 

на igb пробовал двухпортовую 82575 на pcie x4

Изменено 23 сентября, 2009 пользователем adeep

[ingress]

2jab: Человек, который придирается к словам, а не хочет помочь, тем более бесполезен в данном случае. Я же объяснил, что это не более чем опечатка и я прекрасно понимаю, что PCIe и PCI-X разные шины и интересует именно PCIe. Любая 150 kpps не потянет, например Intel 82566DM с размером пакета 700-800 байт и уж тем более не прожует Гигабит.

Если она действительно по PCIe подключена - то потянет. Не тянут интегрированные по GLCI.

кстати а почему они не тянут, это же шина прямо в мост, ни с кем не делится.

нигде толком не сказана какая у неё пропускная способность :(

[jab]

кстати а почему они не тянут, это же шина прямо в мост, ни с кем не делится.

нигде толком не сказана какая у неё пропускная способность :(

Ну во-первых оно обычно делится с PCIe 1x lane, а во-вторых это все в теории. :-) На самом деле скорее всего через жопу было сделано, причем похоже очень давно, с самого ICH2...

Просто раньше скорости были в сетях другие, никого это не интересовало. Достаточно просто посмотреть на решения, чтобы понять кто как на чем экономил. :-)

[nuclearcat]

jab - встроенные, даже PCI-Express, IMHO не тянут из-за очень маленького PBA (Packet buffer). Многие из них даже не могут нормальные Jumbo из-за этого же.

Скажем в ICH8 - PBA - 8K, ICH9/10 - 10K.

Почти во всех нормальных продаваемых картах PBA начинается от 20К.

Я домучал Интеловцев когда пытался вытянуть невытягиваемое из онбордных карт, и они в личном мыле раскололись, что стоит попробовать подкрутить PBA. Посмотрев в код я понял в чем разница онбордовок, и вообще между картами.

[kapa]

2kapa: Погонять-то можно, но я думаю, что явных боков при прогонке обнаружено не будет, что затруднит выбор. Да и время все же хочется сэкономить, тем более, что задача далеко не космическая - 150 Kpps не так много. Вот Вы, какие сетевые пользуете, на каких чипсетах?

Использую

Intel PRO/1000 PT Dual/Quad Port Server Adapter

скоро посмотрю под реальной нагрузкой:

Intel Gigabit Ethernet ET Dual/Quad Port Server Adapter

 

Я, просто, тоже не понимаю - Вам уже ответили, что любая Интел на PCIe подойдёт.

 

Хотите конкретики? Так у Вас в условиях её нет - Вам нужен pps и Gbit/s. Что с ними будет делаться, на чём и как - ни слова.

Как только решите для себя эти вопросы - найдёте в соседних темах кучу полезной информации с примерами.

 

[jab]

Я домучал Интеловцев когда пытался вытянуть невытягиваемое из онбордных карт, и они в личном мыле раскололись, что стоит попробовать подкрутить PBA. Посмотрев в код я понял в чем разница онбордовок, и вообще между картами.

Что именно было невытягиваемым ? К слову, у меня сейчас нет ни одной онбордной карты, чтобы проверить, сколько оно тянет, везде внешние.

 

[Dark_Angel]

Присоединяюсь к nuclearcat касательно PBA. Реальная проблема на интегрированных бюджетных картах. На больших скоростях начинает тупо терять пакеты. Обычно 180-200 Мбит хватит чтобы появились потери в статистике драйвера. Чем быстрее процессор и больше softirq при перегрузке он может отдать, тем больше эта карта прожует. Разброс где-то 50-70 Мбит. Но всеравно, даже 270 Мбит эту сетевую карту не спасают от замены, тем более, что чем выше нагрузка, тем сильнее загружается именно процессор. Но это немного оффтоп.

 

А потестировать возьму 82575. Теперь главное найти где купить, а то как-то проблемно в локальных магазинах такое найти почему-то.

[Giga-Byte]

Я домучал Интеловцев когда пытался вытянуть невытягиваемое из онбордных карт, и они в личном мыле раскололись, что стоит попробовать подкрутить PBA. Посмотрев в код я понял в чем разница онбордовок, и вообще между картами.

Что именно было невытягиваемым ? К слову, у меня сейчас нет ни одной онбордной карты, чтобы проверить, сколько оно тянет, везде внешние.

Мужики, сейчас я вас буду пытать, вы об этом буфере:

 

набортная на S3000AHV, по даташиту PCI-e

em3@pci0:4:0:0: class=0x020000 card=0x34898086 chip=0x108c8086 rev=0x03 hdr=0x00

vendor = 'Intel Corporation'

device = '82573E Intel Corporation 82573E Gigabit Ethernet Controller (Copper)'

class = network

subclass = ethernet

 

em3: Adapter hardware address = 0x8437e224

em3: CTRL = 0x40140248 RCTL = 0x8002

em3: Packet buffer = Tx=20k Rx=12k

em3: Flow control watermarks high = 10240 low = 8740

em3: tx_int_delay = 64, tx_abs_int_delay = 64

em3: rx_int_delay = 0, rx_abs_int_delay = 586

em3: fifo workaround = 0, fifo_reset_count = 0

em3: hw tdh = 139, hw tdt = 139

em3: hw rdh = 2765, hw rdt = 2764

em3: Num Tx descriptors avail = 4096

em3: Tx Descriptors not avail1 = 0

em3: Tx Descriptors not avail2 = 0

em3: Std mbuf failed = 0

em3: Std mbuf cluster failed = 0

em3: Driver dropped packets = 0

em3: Driver tx dma failure in encap = 0

 

на Rx - насколько мал буфер, когда настанет затык и начнуться глюки? (фрейм до 1500байт)

и что такое [t,x]dh/[t,x]dt и на что влияют эти цифры.

 

в тоже время EXPI9400:

em2@pci0:2:0:0: class=0x020000 card=0x10828086 chip=0x107d8086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = 'PRO/1000 PT'

class = network

subclass = ethernet

 

em2: Adapter hardware address = 0x8437b224

em2: CTRL = 0x400c0241 RCTL = 0x8002

em2: Packet buffer = Tx=16k Rx=32k

em2: Flow control watermarks high = 30720 low = 29220

em2: tx_int_delay = 64, tx_abs_int_delay = 64

em2: rx_int_delay = 0, rx_abs_int_delay = 586

em2: fifo workaround = 0, fifo_reset_count = 0

em2: hw tdh = 3994, hw tdt = 3994

em2: hw rdh = 2876, hw rdt = 2874

em2: Num Tx descriptors avail = 4096

em2: Tx Descriptors not avail1 = 0

em2: Tx Descriptors not avail2 = 0

em2: Std mbuf failed = 0

em2: Std mbuf cluster failed = 0

em2: Driver dropped packets = 0

em2: Driver tx dma failure in encap = 0

 

[Dark_Angel]

Столкнулся с проблемой: не могу найти наименования сетевых карт построенных на 82575EB, 82576EB. То есть это-то наминования контроллеров, а сами сетевые карты называются типа "E1G42ETBLK" для 82576. Никто не подскажет, как найти соответствие наминований карт с наименованиями чипсетов? Спасибо.

Изменено 24 сентября, 2009 пользователем Dark_Angel

[nuclearcat]

Я домучал Интеловцев когда пытался вытянуть невытягиваемое из онбордных карт, и они в личном мыле раскололись, что стоит попробовать подкрутить PBA. Посмотрев в код я понял в чем разница онбордовок, и вообще между картами.

Что именно было невытягиваемым ? К слову, у меня сейчас нет ни одной онбордной карты, чтобы проверить, сколько оно тянет, везде внешние.

400 Mbps in/out(800Mbps суммарно т.е.), тупой роутинг на тот момент.

Проц не загружен, карта висит на PCI-Express по шине, никаких поводов терять пакеты не было. Но теряла.

PCI-X на сервере, с древним Xeon потянула со свистом.

[adeep]

Столкнулся с проблемой: не могу найти наименования сетевых карт построенных на 82575EB, 82576EB. То есть это-то наминования контроллеров, а сами сетевые карты называются типа "E1G42ETBLK" для 82576. Никто не подскажет, как найти соответствие наминований карт с наименованиями чипсетов? Спасибо.

На сайте интела есть полный список сетевых карточек с чипами внутри.

С чипом 82575EB я брал карточку pcie x4 от Supermicro.

У dell тоже есть аналогичные карточки, но что за чип внутри - хз

 

2nuclearcat

на интегрированной 82566DM-2 было порядка 600мбит трафа ~110kpps без проблем и ошибок.

[Dark_Angel]

2adeep: Вас не затруднит дать ссылку на сайт Интела где это есть, потому как я что-то найти никак немогу. Контроллеры без проблем находятся, а наименования карт никак. Спасибо.

[adeep]

2adeep: Вас не затруднит дать ссылку на сайт Интела где это есть, потому как я что-то найти никак немогу. Контроллеры без проблем находятся, а наименования карт никак. Спасибо.

http://download.intel.com/network/connecti...dbrf/252454.pdf

ссылка на него тут: http://www.intel.com/network/connectivity/...=all&s3=all

[Giga-Byte]

Столкнулся с проблемой: не могу найти наименования сетевых карт построенных на 82575EB, 82576EB. То есть это-то наминования контроллеров, а сами сетевые карты называются типа "E1G42ETBLK" для 82576. Никто не подскажет, как найти соответствие наминований карт с наименованиями чипсетов? Спасибо.

про конечный продукт:

www . intel . com/ cd /products/services /emea/rus/ embedded/ server_adapters/ 339410.htm

про чипы:

www . intel . com/ products/ ethernet/ index.htm

 

 

 

[Dark_Angel]

2adeep: спасибо, это то что нужно.

 

Уже заказал карту на 82576. Буду щупать. Думаю что все будет в норме.

[jab]

400 Mbps in/out(800Mbps суммарно т.е.), тупой роутинг на тот момент.

Проц не загружен, карта висит на PCI-Express по шине, никаких поводов терять пакеты не было. Но теряла.

PCI-X на сервере, с древним Xeon потянула со свистом.

800Mbps ? С поллингом или без ? То, что было у меня, тянуло суммарный гигабит на поллинге и под 150kpps на чем-то типа E7230.

 

Ну с 133Mhz PCI-X все и так понятно понятно, валяются где-то до сих пор.

[adeep]

800Mbps ? С поллингом или без ? То, что было у меня, тянуло суммарный гигабит на поллинге и под 150kpps на чем-то типа E7230.

а есть ли смысл в поллинге на интеле? тем более на яндексовых драйверах?

[jab]

а есть ли смысл в поллинге на интеле? тем более на яндексовых драйверах?

Еще какой. Поллинг дает гарантированную доступность тачки, когда обычные драйвера выжирают весь проц. У яндексовых драйверов своих граблей хватает. Каждому овощу - свою грядку.

[adeep]

Еще какой. Поллинг дает гарантированную доступность тачки, когда обычные драйвера выжирают весь проц. У яндексовых драйверов своих граблей хватает. Каждому овощу - свою грядку.

я пока не вижу альтернативы яндексу в многоядерной среде когда ядер 4 или больше. хотя говорят в -CURRENT этим вопросом озаботились и решили сделать для всех сетевых драйверов универсальную многопоточность...

 

с igb опыт получился странно-неудачный. как смоделировать ситуацию аналогичную реальной, в которой igb повел себя странно пока не придумал, да и стенд собирать не на чем толком.

 

[nuclearcat]

400 Mbps in/out(800Mbps суммарно т.е.), тупой роутинг на тот момент.

Проц не загружен, карта висит на PCI-Express по шине, никаких поводов терять пакеты не было. Но теряла.

PCI-X на сервере, с древним Xeon потянула со свистом.

800Mbps ? С поллингом или без ? То, что было у меня, тянуло суммарный гигабит на поллинге и под 150kpps на чем-то типа E7230.

 

Ну с 133Mhz PCI-X все и так понятно понятно, валяются где-то до сих пор.

Там онбордный e1000e на ICH8 кажется был, у которого с PBA совсем все плохо было(8k кажись). Когда интел уже начал лезть в самые кишки и смотреть где именно кончается буфер - кончался он именно в PBA.

Они там что-то рассказывали про сериальность и латентность PCI-Express, и сетовали что PCI-X хорош тем, что намного меньше латентность, скорее всего просто увеличилась "блочность" передачи данных, и маленького PBA переставало хватать. Это было кстати год-два назад, может конечно сейчас получше драйвера стали, или баг какой-нить нашли.

Поллинг... у меня Linux :-) NAPI :-)

[vitalyb]

Они там что-то рассказывали про сериальность и латентность PCI-Express, и сетовали что PCI-X хорош тем, что намного меньше латентность, скорее всего просто увеличилась "блочность" передачи данных, и маленького PBA переставало хватать.

В современных системах PCI-X шина доступна благодаря PCI-E to PCI-X мосту. Не очевидно как это повлияет на современное железо. Хотя, возможно, имелась ввиду латентность обработки прерывания на PCI-E шине, якобы (сам не мерял) "классические" прерывания на ней эмулируются и это медленнее "родного" MSI.

 

[jab]

Поллинг... у меня Linux :-) NAPI :-)

Subject: Re: packetloss, on e1000e worse than r8169?
Date: Monday, June 16, 2008 - 10:47 pm

On this machine, just 3-4 rules. As i mention before, unloading iptables

At that moments values RX 82Kpps, TX also around 82Kpps
339 Mbps RX, 337 Mbps TX
Average packet ~516 bytes

--

 

;-)

[Dark_Angel]

Я почитал этот мейлинг лист - дошли руки.

 

Ну и ничего интересного там не нашел. Все то же что и тут: малый входящий буфер - отсюда ошибки и потери пакетов. То что у него проваливает через пустой роутер 82Кpps - ничего удивительного. 337 Мбит, тоже. Можно и 500 пустить и 1000. Только потери будут больше. Эксперементально установлено, что потери начинаются на 200-230 Мбит.

 

То есть зачем уважаемый jab дал эту ссылку я не понимаю. Переписка всеравно заканчивается:

 

I am using now onboard 82546GB on old Intel Xeon 3.0 Ghz, flow-control works flawlessly.

cpu family : 15

model : 4

model name : Intel® Xeon CPU 3.00GHz

stepping : 1

cpu MHz : 2992.650

cache size : 1024 KB

 

I have packetloss, but now it is 1.516-e06 %, which is acceptable number for me.

I had to increase ring size, otherwise i was getting rx_no_buffer_count in stats.

 

It is still famous rx_missed_errors: 3616 .

But as i reported in personal mail, before rx_missed_errors was larger than tx_deferred_ok, now it is:

rx_missed_errors: 3633

tx_deferred_ok: 19145380

 

Now server handling 180Kpps RX, 800Mbps RX+TX, 4 VLAN.

 

Так что слив с большими номерками не засчитан.

Изменено 13 октября, 2009 пользователем Dark_Angel

[nuclearcat]

Поллинг... у меня Linux :-) NAPI :-)

Subject: Re: packetloss, on e1000e worse than r8169?
Date: Monday, June 16, 2008 - 10:47 pm

On this machine, just 3-4 rules. As i mention before, unloading iptables

At that moments values RX 82Kpps, TX also around 82Kpps
339 Mbps RX, 337 Mbps TX
Average packet ~516 bytes

--

 

;-)

Там проблема была комплексная. В частности глюкавый свитч который зависал и флудил flow control.

Это возможно вызывало "скачки" траффика и переполнение буфера. Когда поставил сервер с нормальным e1000, заработало, но все равно flow control беспокоил. Потом заменил Linksys на нормальный Cisco и все прошло.