10GЕ сетевуха для *nux роутера

[Стич]

Известно что для 1GЕ интерфесов для *nux роутера идеальна сетевуха на чипе Intel® 82576.

А вот на каком чипе посоветуете покупать карты 10GE:

Intel® 82598EB Intel® 82599ES NetEffect™ NE020.

 

Стоит ли использовать 10GE карты или bonding более правилен.

[martini]

кагбе в даташитах все расписано... 82598 это маленькая дочка от 82599

[Dyr]

Я бы сказал, что не дочка, а мама - ибо была предшественницей, с существенно бОльшим тепловыделением, нехваткой ряда фич для виртуализации и интерфейсом, который стремительно вышел из Ethernet-моды. Так что мои рекомендации - 82599 и X520-DA2 на её основе.

[Стич]

Нужна карта с CX4 а у интела такое токо на 82598EB.

Кроме тепловыделения какие нибудь притензии к нему имеются.

[zurz]

да не может быть к нему никаких претензий.

всё что заявлено - всё умеет.

А то что он греется - это нормально. техпроцесс старый, 90нм.

 

i82599 умеет CX4, но насколько я знаю, никто таких карточек не выпускал.

Edited November 7, 2011 by zurz

[bokl]

имел проблемы на unix с 10G картами. 10G они что-то как-то не тянули. Хотя быть может это была специфика моей задачи.

Делали НАТ. Делили прерывания по ядрам. нигде ни на одной карте не было симметрично.

[Giga-Byte]

имел проблемы на unix с 10G картами. 10G они что-то как-то не тянули. Хотя быть может это была специфика моей задачи.

Делали НАТ. Делили прерывания по ядрам. нигде ни на одной карте не было симметрично.

ну вы извращенец. специфика блин :) НАТ на гигибитных скоростях.

[dmvy]

Нужна карта с CX4 а у интела такое токо на 82598EB.

Кроме тепловыделения какие нибудь притензии к нему имеются.

претензия в том, что он PCI-E gen1, что дает ограничение в 900Кпакетов.

X520 умеет PCI-E gen2 и расширяет ограничение до 1.8Мпакетов.

 

А с чем вызван интерес к CX-4, в последнее время SFP+ SR стоят копейки и проще в эксплуатации, чем дорогие CX-4 коаксиальные кабеля

[Dyr]

Я бы сказал, что ещё дешевле Direct Attach Copper - трёхметровый медный кабель с SFP+хами на концах стоит порядка 200$

[Valaskor]

претензия в том, что он PCI-E gen1, что дает ограничение в 900Кпакетов.

X520 умеет PCI-E gen2 и расширяет ограничение до 1.8Мпакетов.

А не подскажите, где про это почитать? 82599EB упираюсь сейчас в ~900kpps, думал производительности шин процессора не хватает.

Edited November 10, 2011 by Valaskor

[alks]

имел проблемы на unix с 10G картами. 10G они что-то как-то не тянули. Хотя быть может это была специфика моей задачи.

Делали НАТ. Делили прерывания по ядрам. нигде ни на одной карте не было симметрично.

 

сколько шло трафика суммарно

сколько было трансляций, pps

какие были процы?

[Стич]

Нужна карта с CX4 а у интела такое токо на 82598EB.

Кроме тепловыделения какие нибудь притензии к нему имеются.

претензия в том, что он PCI-E gen1, что дает ограничение в 900Кпакетов.

X520 умеет PCI-E gen2 и расширяет ограничение до 1.8Мпакетов.

 

А с чем вызван интерес к CX-4, в последнее время SFP+ SR стоят копейки и проще в эксплуатации, чем дорогие CX-4 коаксиальные кабеля

Спасибо за ответ дали пищу для размышлений.

Интерес к CX4 вызван ценой:

X520-SR2 два SFP+ - 40000руб

EXPX9502CX4 два CX4 - 20000руб

[Dyr]

X520-DA2 стоят ровно столько же, столько и ваш на CX4:

 

http://tpshop.ru/position/60813/

 

http://www.citilink....net_equipments/server_modules/604196/?mrkt=spb_cl

 

http://www.320-8080.ru/169893?openstat=bWFya2V0LnlhbmRleC5ydTtJbnRlbCBTZXJ2ZXIgRTEwRzQyQlREQTs2MjE4NzIzODI7

 

http://eldorado78.ru...0968&group=1243

 

 

 

Единственная причина, оправдывающая покупку CX4 - это подключение карт в дешёвые десяточные порты длинковских коммутаторов или завалявшиеся кабели инфинибенда :)

 

 

Edited November 10, 2011 by Dyr

[Стич]

X520-DA2 Это без SFP+ модулей.

Прибавте два родных интеловских SFP+ и получите 40000р.

Чужие SFP+ мне говорили что не подходят.

[Dyr]

Ну вот передо мной лежат эти сетевухи и кабели HP. Проверю, но вообще первый раз слышу он несовместимости.

 

SFP+ можно медные, учтите!

 

 

[Стич]

Скажите 900Кпакетов это PCI-E пакеты или pps ethernet cуммарно на приём передачу?

 

Ну вот передо мной лежат эти сетевухи и кабели HP. Проверю, но вообще первый раз слышу он несовместимости.

 

SFP+ можно медные, учтите!

 

Ухты, может кто скажет на сколько эта карта совместима с SFP+ от нага.

Edited November 10, 2011 by Стич

[dmvy]

Скажите 900Кпакетов это PCI-E пакеты или pps ethernet cуммарно на приём передачу?

 

900kpps на вход портов ethernet. ограничение вызвано большей частью 2.5 гигатрансферов шины PCI-E gen1

в PCI-E gen2 шина 5гигатрансферов

 

у нас карточка Myrinet PCI-E gen1 тоже показывала результат 800-850kpps

[Dyr]

Стич, вы были правы.

 

Иппучий Интел, туда его в качель, разорви его гром, даже не поднимает интерфейс с "чужими" SFP, с сообщением вида "Unsupported SFP"

 

Вот что он пишет в доках: http://www.intel.com/support/network/adapter/pro100/sb/CS-030612.htm

 

Особенно издевательски выглядит вот это:

 

Which direct attach cables are compatible with the Intel® Ethernet Server Adapter X520 Series?

The Intel Ethernet Server Adapter X520 Series and Intel® 82599 10 Gigabit Ethernet Controller-based connections support any SFP+ passive or active limiting direct attach copper cable that complies with the SFF-8431 v4.1 and SFF-8472 v10.4 specifications.

 

 

 

[alks]

была такая проблема, наша девушка программист заблочила в коде драйвера проверку на тип SFP

после чего в сетевую можно пихать обычные SFP+ на 10км

так что это не проблема

[Стич]

Может патчиком поделитесь.

[Dyr]

Посмотрел сырцы драйвера ixbge, где и что патчить, в принципе, очевидно (хотя конкретно для меня практически неподсильно :)).

Единственное, что меня сбивает с толку, так это всё же цитата, которую я уже привёл - что разрешён любой direct-attach кабель. Это нашло своё подтверждение и в коде ixbge_phy.c:

	/* Allow any DA cable vendor */
	if (cable_tech & (IXGBE_SFF_DA_PASSIVE_CABLE |
    	IXGBE_SFF_DA_ACTIVE_CABLE)) {
		status = 0;
		goto out;
	}

Я тогда просто не понимаю - каким образом они разделяют DA-кабель и SFP+-модуль на нём? Это всё равно, что говорить о картах 100Base-TX "мы разрешаем использовать любой кабель, при условии что он заканчивается только нашим коннектором RJ-45". Бред какой-то.

Edited November 11, 2011 by Dyr

[alks]

патченный драйвер

 

http://depositfiles.com/files/9qp0m1883

 

кстати вот ссылка где опубликовано такое решение

http://amarao-san.livejournal.com/1973556.html?thread=12897844

Edited November 11, 2011 by alks

[Dyr]

На интеловском форуме, кстати, хватает тем с вопросами "Какого х^$ ваши карты не работают с DA-кабелями, как обещано?".

 

Ошибка "Unsupported SFP+", вгонявшая меня в ступор, обьясняется просто - они возвращают её И при несовпадении SFP+, И при некорректной/неизвестной информации из EEPROM DA-кабелей. Судя по вышеприведённому мною куску в новых версиях драйверов (я смотрел конкретно 3.6.5 в версии под VmWare ESXi 4.x) это поправили, так что буду пробовать.

 

Ну и слава GPL, драйвера можно патчить как угодно. Пользователи Windows плачут горькими слезами, в том числе на том форуме. ;)

 

 

[Стич]

alks

Большое спасибо.

 

 

Я вот не понимаю, я любые SFP+ могу втыкать или только любые DA-кабеля.

[Dyr]

После патча? Если я правильно разобрался, любые SFP+.

 

P.S. Непатченные драйвера 3.6.5 всё так же ругнулись:

 

 

Nov 11 08:44:24 vmkernel: 0:00:00:21.503 cpu4:4615)<3>ixgbe 0000:04:00.1: failed to load because an unsupported SFP+ module type was detected.
Nov 11 08:44:24 vmkernel: 0:00:00:21.503 cpu4:4615)<3>ixgbe 0000:04:00.1: Reload the driver after installing a supported module.
Nov 11 08:44:24 vmkernel: 0:00:00:21.503 cpu4:4615)PCI: Trying 0000:07:01.0
Nov 11 08:44:24 vmkernel: 0:00:00:21.503 cpu4:4615)PCI: Announcing 0000:07:01.0
<p>Nov 11 08:44:24 vmkernel: 0:00:00:21.503 cpu4:4615)PCI: driver ixgbe claimed 1 device

Позвонил в тех.по Интела и от имени нашей компании сказал, что они криворукие ***ки озадачил проблемой. Может быть, хоть так они всё же вольют патчи хотя бы по DA-кабелям.

 

 

 

 

 

 

Edited November 11, 2011 by Dyr