Сетевые платы Intel + модули D'Link

[DukeNukem3D]

Решили собрать bgp роутер с сетевыми платами:

1. Intel EXPX9502CX4 - двухпортовая 10Гбит, работает по меди, судя по описанию на сайте вендора по стандарту CX4.

2. Intel X520-DA2 - двухпортова 10Гбит, два порта sfp+

Вопрос в следующем: будет ли работать первая плата, если её соединить с модулем от D'Link DEM-410CX? Второй вопрос - будет ли вторая плата работать, если в неё воткнуть гигабитные sfp от snr?

В сапорте Intel и D'Link в один голос сказали в теории да, а на тест дают железо только в D'Link, на свой страх и риск покупать такие дорогие железки мне никто не разрешит, может кто имел подобный опыт?

[darkagent]

первая плата и dem410cx работать будут.

[DukeNukem3D]

Еще погуглил по форуму - говорят можно в сам наг обратиться, чтобы они перешили sfp под конкретное железо, правда так можно?

[vIv]

2. Intel X520-DA2 - двухпортова 10Гбит, два порта sfp+

Там не просто SFP+, а конкретно "SFP+ Direct Attached Twin Axial Cabling up to 10m". Ответ: только если сама Intel ошиблась при изготовлении карты :-)

[DukeNukem3D]

SFP+ Direct Attached Twin Axial - это вроде как кабель такой, причем медный, идет просто в комплекте. Кроме него в комплекте идет One or two LC fiber-optic connectors - а их можно и поменять. Также в описании на плату есть фраза что дырка соответствует стандарту SFF-8431 - а в нем как раз сказано об SFP+, и что он обратно совместим с SFP.

Или чего-то не туда смотрю?

[nickD]

То же смотрю что бы купить Intel X520-DA2 и модули SFP+ от нага раза в два дешевле получается чем с родными SFP+ от Intel.

Токо в своё время по поводу совместимости ответ так и не получил.

Если у кого есть какие то результаты поделитесь.

[DukeNukem3D]

Я походу рискну казеным килобаксом и попробую это дело, как получится, если (не)получится, отпишу.

[zurz]

Intel® Ethernet Server Adapter X520-SR1 E10G41BFSR

Intel® Ethernet Server Adapter X520-SR2 E10G42BFSR

Intel® Ethernet Server Adapter X520-LR1 E10G41BFLR

Intel® Ethernet Server Adapter X520-DA2 E10G42BTDA

все они на 82599ES чипе. отличие только в прошивке eeprom, а именно - настройки преемфазиса/эквалайзера входных/выходных буферов интерфейса SFP+.

Работать с неродными модулями будет, но вероятно что BER будет неоптимальным. Во что выливается - потеря пакетов. Если BER падает до 10E-6 то падает линк.

Могу подсказать какие биты в еепромке крутить, если кто-то с этим будет ковырятся.

 

далее, по прошивкам SFP+ модулей: Intel с vendor lock-in не балуется, так что перешивка не нужна. Medium определяется железно, по типу вставшего линка, а не по тому, что там в модуле зашито. Со своими родными картами они чаще всего присылают finisar'овские модули.

[martin74]

Господа, а можно прошивку интеловской sfp+ где нить найти?

А то нам продавцы никак продать не могут карту с модулями ;)

[DukeNukem3D]

Привезли шайтан-машину - CX4 заработал из коробки, а вот при подключении вставки sfp в порт sfp+ драйвер ругается на неподдерживаемый тип модуля. Пока пришлось погуглить и советуют залезть в код драйвера в ядре и кой-чего поменять, что я и сделал, сегодня вечером буду снова пробовать зашаманить.

[ginodman]

FYI

http://telecom.cnews.ru/news/line/index.shtml?2011/06/01/442185

[DukeNukem3D]

FYI

http://telecom.cnews.ru/news/line/index.shtml?2011/06/01/442185

Ну и что...

 

грязный хак с ядром не помог :( делал как сказано тут http://amarao-san.livejournal.com/1973556.html?view=14196020#t14196020

ругается что link not ready - ушел гуглить..

[zurz]

с каким конкретно SFP-модулем вяжете? у него при включении с электрической стороны 1000base-x или sgmii? clause37 auto-negotiation включен или нет?

просто по дефолту у 82599:

- 10Gb/s KX/KX4/KR backplane auto-negotiation enable

- 1Gb/s 1000base-x, Clause 37 Auto Negotiation disable

Если конечно они там ничего не накрутили в еепром...

С соточной SFPшкой не заведётся гарантированно

в каком месте пишет про link not ready?

Edited June 3, 2011 by zurz

[DukeNukem3D]

SFP модуль SNR 1000Base-X Singlemode fiber SFP-WDM-03-1550-SC

link not ready пишет когда делаю ifconfig eth1 up

 

Насчет Clause 37 Auto Negotiation - можно поподробней что это и как посмотреть включено оно или нет?

 

Однако если делаю сначала ifconfig eth1 up при вытащенной SFP, а потом её вставляю, то пишет ixgbe 0000:04:00.1: eth0: detected SFP+: 65535, но линк при этом также не поднимается.

Edited June 3, 2011 by DukeNukem3D

[zurz]

если делаю сначала ifconfig eth1 up

то пишет ixgbe 0000:04:00.1: eth0: detected SFP+: 65535

eth0 и eth1 - очепятка?

что там показывает ip link show

 

Clause 37 Auto Negotiation можно узнать только из даташитов либо чтением регистров по I2C.

[DukeNukem3D]

Сорь, опечатка конечно - делаю eth0 в обоих случаях.

 

root@bgp:~# ip link show
<..>
eth0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN qlen 1000
   link/ether 00:1b:21:9b:26:e1 brd ff:ff:ff:ff:ff:ff

[martin74]

Как решите проблему - можно озвучить решение? А то аналогичная задача ждет ;)

[DukeNukem3D]

Сроки поджали, руководство напрягло - пришлось использовать один CX4 интерфейс на 10Гбит чтобы смотрел внутрь сети и несколько 1Гбитных медных, чтобы смотрели через медиаконвертеры или свичи на аплинков, потом купим 100% поддерживаемые SFP+ модули и будем ставить на сторонах аплинков и у себя.

[Умник]

Работать с неродными модулями будет, но вероятно что BER будет неоптимальным. Во что выливается - потеря пакетов. Если BER падает до 10E-6 то падает линк.

Походу столкнулись-таки с этой проблемой на длинных оптических линках. :( Удалось понять, что инициализация PHY контроллера происходит через установку значений для регистра CORECTL. Значения берутся из EEPROM, смещение известно какое, но какой формат этой инциализационной последовательности, что крутить - не ясно.