[denis_vid]

Привет. Может кто сталкивался, есть сервера с картами Mellanox, соединенные между собой напрямую с помощью QSFP кабеля.

Драйвера/WinOf с оф сайта установлены, карты в ОС определяются, sc start opensm в командной строке выполняли, но линка нет, в information > network status- disconnected.

Есть идеи как починить?

Изменено 23 июля, 2014 пользователем denis_vid

[vlad11]

Up.

Узлы Linux 2.6, Linux 4.2, FreeBSВ 10.2

Дву-портовые платы, соединены в кольцо.

 

в логах:

mlx4_en mlx4_core0: Activating port:1
mlx4_en: mlx4_core0: Port 1: Port: 1, invalid mac burned: 0x0, quiting
mlx4_en mlx4_core0: Activating port:2
mlxen1: Ethernet address: 00:00:00:00:00:01
mlxen1: link state changed to DOWN
mlx4_en: mlxen1: Initializing port

 

и

 

[    7.161369] mlx4_en 0000:04:00.0: Activating port:1
[    7.161453] mlx4_en: 0000:04:00.0: Port 1: enabling only PFC DCB ops
[    7.161456] mlx4_en: 0000:04:00.0: Port 1: Port: 1, invalid mac burned: 00:00:00:00:00:00, quiting
[    7.161545] mlx4_en 0000:04:00.0: Activating port:2
...
[    7.174489] mlx4_en: 0000:04:00.0: Port 2: Initializing port

 

Куда копать - не понятно.

[Ivan_83]

Я бы по grep~ал исходники дров по фразам ошибок чтобы понять при каких условиях оно не работает.

[nuclearcat]

IMHO:

 

Нужна утилита flint (Flash interface tool)

Искать тут: http://www.mellanox.com/page/management_tools

 

Вместо XXX - какой-то номер. Поискать такое устройство в /dev

 

Текущий мак:

 

flint -d /dev/mst/mtXXX_pci_cr0 -qq q

 

Сменить:

 

flint -d /dev/mst/mtXXX_pci_cr0 -mac 02babababab0 sg

 

Сменить GUID

flint -d /dev/mst/mtXXX_pci_cr0 -guid 000aba000abcdef0 sg

 

Проверить:

 

flint -d /dev/mst/mtXXX_pci_cr0 -qq q

 

Железки под рукой нет, проверить не могу.

[vlad11]

Спасибо!

Буду читать и тестить.

[Lynx10]

ну вот так выглядит на рабочей машине с двупортовой Mellanox

[ 1.492988] mlx4_core: Mellanox ConnectX core driver v2.4-1.0.0.1 (Mar 26 2015)

[ 1.492998] mlx4_core: Initializing 0000:01:00.0

[ 1.493082] mlx4_core 0000:01:00.0: setting latency timer to 64

[ 2.668563] mlx4_core 0000:01:00.0: PCIe link speed is 5.0GT/s, device supports 5.0GT/s

[ 2.668565] mlx4_core 0000:01:00.0: PCIe link width is x8, device supports x8

[ 3.379738] mlx4_core 0000:01:00.0: DMFS high rate mode not supported

[ 4.061903] mlx4_core 0000:01:00.0: Querying CONFIG_DEV is not supported

[ 4.062240] mlx4_core 0000:01:00.0: irq 50 for MSI/MSI-X

[ 4.062243] mlx4_core 0000:01:00.0: irq 51 for MSI/MSI-X

[ 4.062245] mlx4_core 0000:01:00.0: irq 52 for MSI/MSI-X

[ 4.062248] mlx4_core 0000:01:00.0: irq 53 for MSI/MSI-X

[ 4.062250] mlx4_core 0000:01:00.0: irq 54 for MSI/MSI-X

[ 4.062253] mlx4_core 0000:01:00.0: irq 55 for MSI/MSI-X

[ 4.062256] mlx4_core 0000:01:00.0: irq 56 for MSI/MSI-X

[ 4.062259] mlx4_core 0000:01:00.0: irq 57 for MSI/MSI-X

[ 4.062261] mlx4_core 0000:01:00.0: irq 58 for MSI/MSI-X

[ 4.062264] mlx4_core 0000:01:00.0: irq 59 for MSI/MSI-X

[ 4.062266] mlx4_core 0000:01:00.0: irq 60 for MSI/MSI-X

[ 4.062269] mlx4_core 0000:01:00.0: irq 61 for MSI/MSI-X

[ 4.062272] mlx4_core 0000:01:00.0: irq 62 for MSI/MSI-X

[ 4.062275] mlx4_core 0000:01:00.0: irq 63 for MSI/MSI-X

[ 4.062278] mlx4_core 0000:01:00.0: irq 64 for MSI/MSI-X

[ 4.062280] mlx4_core 0000:01:00.0: irq 65 for MSI/MSI-X

[ 4.062283] mlx4_core 0000:01:00.0: irq 66 for MSI/MSI-X

[ 4.093860] mlx4_en: Mellanox ConnectX HCA Ethernet driver v2.4-1.0.0.1 (Mar 26 2015)

[ 4.093934] mlx4_en 0000:01:00.0: UDP RSS is not supported on this device.

[ 4.093983] mlx4_en 0000:01:00.0: Activating port:1

[ 4.094006] mlx4_en: 0000:01:00.0: Port 1: QoS disabled - no HW support

[ 4.094007] mlx4_en: 0000:01:00.0: Port 1: QCN disabled - no HW support

[ 4.097124] mlx4_en: eth5: Using 64 TX rings

[ 4.097125] mlx4_en: eth5: Using 8 RX rings

[ 4.097171] mlx4_en: eth5: Initializing port

[ 4.556511] mlx4_en 0000:01:00.0: Activating port:2

[ 4.556538] mlx4_en: 0000:01:00.0: Port 2: QoS disabled - no HW support

[ 4.556540] mlx4_en: 0000:01:00.0: Port 2: QCN disabled - no HW support

[ 4.560679] mlx4_en: eth6: Using 64 TX rings

[ 4.560681] mlx4_en: eth6: Using 8 RX rings

[ 4.905666] mlx4_en: eth6: Initializing port

[ 5.604216] mlx4_en: eth6: Link Up

[ 10.800218] mlx4_en: eth5: frag:0 - size:1522 prefix:0 stride:1536

[ 11.018342] mlx4_en: eth5: Link Up

[ 11.049462] mlx4_en: eth6: frag:0 - size:1522 prefix:0 stride:1536

 

/dev/mst* - ничего похожего нет

[nuclearcat]

Вы установили пакет mellanox? там в инит-скриптах (/etc/init.d/mst) эти устройства создаются

[Lynx10]

Вы установили пакет mellanox? там в инит-скриптах (/etc/init.d/mst) эти устройства создаются

а... ну может быть

пакет не устанавливал - необходимости не было... все заработало можна сказать с коробки и полоборота