Не поднимаются интерфейсы на Emulex OCe10102 (49Y4202/49Y4201)

[Сypress]

Добрый день.

На днях столкнулся с необычной версией Emulex OneConnect OCe10102 IBM P004096 (49Y4202/49Y4201). Так как ранее доводилось иметь дело с Emulex OCe10102 от HP (NC550SFP), не вдаваясь в подробности документации, разместил карточку от IBM в слот PCIe x16, соединил один из портов напрямую с NC550SFP другой машины DAC Cisco SFP-H10GB-CU3M, загрузил обе машины со специально подготовленных флешек с Ubuntu и попытался установить соединение, чтобы погонять порты с помощью iperf. Но линк не поднялся. Более того, тревожные симптомы появились непосредственно после включения машины с карточкой IBM - если на NC550SFP или CN1000E при включении/перезагрузке вся индикация портов загорается на пару секунд и потом гаснет, то на 49Y4202 при включении загорачется только 2 лампочки из 4 - по одной на каждом порту (примерно на четверть секунды). Ubuntu карточку IBM видит точно так же, как и другие OCe10102.
Так как be2net ругался на устаревшую версию прошивки (2.103.397.34) и рекомендовал использовать как минимум версию 4, предположил, что дело может быть в прошивке и после весьма долгих поисков нашёл прошивку посвежее (4.1.334.36) и благополучно её залил, что не принесло никакого результата. Замена твинаксиального кабеля, испрользование оптики ничего не дало. Далее попробовал прошивки 4.1.402.20, 4.1.450.7, 10.2.261.36 и 10.2.470.14 - это также ни к чему не привело.
Далее решил извлечь карту, почистить контакты на разъёме и заодно поставить её в слот x8 вместо другой карты расширения. Но выяснилось, что 49Y4202 просто физически невозможно разместить в слоте x8 - она оказалась длиннее на 4 контакта, чем стандартные PCIe x8 (хотя на самой карточке от IBM прямо над разъёмом красуется надпись PCIE и внешне, не сравнивая с нормальной картой x8, трудно сразу заметить несоответствие).
При внимательном рассмотрении дополнительных контактов выяснилось, что из 8 контактов дорожки подходят только к двум, причём в стандартном PCIe x16 это контакты А51 и B53 - оба ground.
Вот так выглядит плата с дополнительными контактами:

 

Найденная документация к совместимым серверам IBM пролила свет на обнаруженное несоответствие - IBM использует расширенную версию PCIe x8, причём в таких проприетарных разъёмах с дополнительными контактами будут работать карты со стандартными разъёмами x1, x4 и x8, а вот конкретно карты 49Y4202 необходимо ставить только в этот проприетарный слот. В документации IBM также говорится, что при установке карт Emulex со 106-пиновым разъёмом в слот PCIe x16 могут быть проблемы с одним из портов (причём нет прямого запрета на установку в слоты x16 и не указано явно, что в x16 вовсе не будет работать).

 

В сети, в одном из интернет-магазинов, нашёл интересные картинки с 49Y4202 - у которой просто сфрезерованы дополнительные контакты (что навело на мысль о жизнеспособности такого решения):

 

 

Однако после того, как я заизолировал дополнительные контакты тонкой полоской скотча, ничего не поменялось. Для чистоты эксперимента попробовал сделать так же на другой карте - также без эффекта.

 

Отмечу, что при каждом запуске пробовал "оживить" интерфейсы с помощью Emulex OneCommand, примерно так:

brcmhbacmd SetPortEnabled '00-90-fa-22-66-5c' 0
brcmhbacmd SetPortEnabled '00-90-fa-22-66-60' 0

brcmhbacmd SetPortEnabled '00-90-fa-22-66-5c' 1
brcmhbacmd SetPortEnabled '00-90-fa-22-66-60' 1

- каждый раз получал ошибку, т.к. якобы требуется отключить boot code, при этом при попытке отключения boot code ("brcmhbacmd EnableBootCode  '00-90-fa-22-66-5c' d")получал ошибку, которая гласит, что карта не поддерживает эту команду.

Также пробовал проводить тесты в OneCommand и с помощью ethtool -t - все, разумеется, провалились.

 

 

Кто-нибудь сталкивался с описанной проблемой? Буду благодарен, если поделитесь решением.

[[anp/hsw]]

И не должно оно работать. Именно эти карты emulex 49Y4252 - кастомные для серверов IBM, там какая-то особая процедура инициализации нужна.

При этом например, 49Y4252 - вполне стандартная карта emulex, и работает из коробки.

 

Народ находит решения, можно начать чтение отсюда.

https://forums.servethehome.com/index.php?threads/beware-emulex-10gbe-virtual-fabric-adapter-ii-x8-pci-e-slot.3491/page-2

[Сypress]

@[anp/hsw] , спасибо за подсказку, но, увы, то, что написано по Вашей ссылке, я попробовал почти сразу и это не помогло. Видимо, 49Y7942, описанные там, устроены немного иначе (всё-таки OCE11102, а не OCE10102), ну или дело в прошивке.

На OCE11102 есть прошивки версий 10.x.xxx.xx, а на OCE10102 - максимум 4.x.xxx.xx (более свежих не нашёл, а на сайте HP видел явное указание, что разработка прошивок для OCE10102 заморожена на максимум 4.x.xxx.xx.