Перейти к содержимому
Калькуляторы

linux router. Колбасит порт сетевухи intel X520-DA2 (82599) c SFP+ модулем

В сервере две таких сетевухи. 

На первой сетевушке все в порядке - порты не колбасит - в одном порту DAC кабель, в другом SFP+ модуль специально прошит "универсальной" прошивкой (под Cisco и под Intel со слов поставщика). Поставщик из СПБ.

 

А на второй сетевухе колбасит порт. Во второй сетевухе пока включен один SFP+ модуль. Модуль предоставил оператор с которым поднимаю линк.

Модель SFP+ модуля (с коммутатора т.к команды на linux сервере нет или я не нашел). 

 

Transceiver information:
Vendor name: OEM
Serial number: H3XPD33L01
Connector type: LC
Type: SFP/SFP+
Compliance code: 10GBASE-LR
Laser wavelength: 1330 nm
Transfer distance: 20000 m
Diagnostic: supported
 

С оптическим бюджетом SFP+ модуля все в порядке (смотрел при переключении модуля из сервера в свич).

 

дрова стартуют с параметрами 

options ixgbe IntMode=2,2,2,2 InterruptType=2,2,2,2 RSS=4,4,4,4 InterruptThrottleRate=10000,10000,10000,10000 MQ=1,1,1,1 LRO=0,0,0,0 allow_unsupported_sfp=1,1,1,1

 

+

 

ethtool -G eth5 rx 2048 tx 2048
ethtool -C eth5 rx-usecs 512
ethtool -A eth5 tx off rx off
 

в логах обнаруживаю такие сообщения

 

ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None
ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None
ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None
ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None

 

Конечно я попробую во второй порт сетевухи воткнуть этот SFP+ модуль.

 

Кто с таким сталкивался и в чем может быть наиболее вероятная причина?

 

PS

Есть еще один сервер с одной сетевухой в котором стоит SFP+ модуль от поставщика из СПБ, порт сетевухи не колбасит.  Все модули SFP+ о которых шла речь на дистанцию 20км.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

может перегрев?

вроде б эти карты на многомодовые модули только короткие рассчитаны

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
39 минут назад, RialCom.ru сказал:

вроде б эти карты на многомодовые модули только короткие рассчитаны

видимо да. судя по инофрмации 

 

http://www.fiber-optic-components.com/10g-sfp-optics-compatible-intel-x520-adapter.html

https://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-sfp-optics-brief.pdf

https://www.nix.ru/autocatalog/networking_intel/Intel-E10GSFPSR-Modul-SFP-plus-Duplex-10GBASE-SR-SR-MM_208489.html#pid=2254

 

не более одного Вт на порт и до 10км.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
ethtool -m eth5

покажет ddm и тип модуля.
У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 10.07.2018 в 17:17, passer сказал:

ethtool -m eth5

покажет ddm и тип модуля.
У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет.

 

как на шине PCI  плата  SuperMicro AOC-STGN-I2S видится? Какой модуль ядра ее подхватит,  ixgbe?

 

SFP+ модуль переставлял в другой порт той же сетевухи - задерги есть.

 

Заменил  SFP+ модуль, на свой модуль от поставщика из СПБ, который в других сетевках не дергается.

 

# ethtool -m eth5
        Identifier          : 0x03 (SFP)
        Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID)
        Connector           : 0x07 (LC)
        Transceiver codes   : 0x20 0x00 0x000x00 0x40 0x40 0x01 0x00
                            :  => 10G Ethernet: 10G Base-LR
                            :  => FC: short distance (S)
                            :  => FC: Shortwave laser w/o OFC (SN)
                            :  => FC: Single Mode (SM)
        Encoding            : 0x06 (64B/66B)
        BR, Nominal         : 10300MBd
        Rate identifier     : 0x00 (unspecified)
        Length (SMF,km)     : 20km
        Length (SMF)        : 20000m
        Length (50um)       : 0m
        Length (62.5um)     : 0m
        Length (Copper)     : 0m
        Length (OM3)        : 0m
        Laser wavelength    : 1330nm
        Vendor name         : UPNET
        Vendor OUI          : 24:00:00
        Vendor PN           : WDM SFP+-10G-20B
        Vendor rev          : 1.0
 

Задерги (Down/Up) остаются. 

 

Такой момент сетевуха в которой сейчас порты дергаются установлена в сервере (1U) снизу под сетвухой у которой порты не дергаются, т.е. в верхней сетевке порты не дергаются в нижней дергаются c любыми модулями.

Может и правда перегрев? Хотя если перегрев, то сетевуха бы отвалилась совсем и до перезапуска сервера. Отваливается на какие то секунды, причем трафика пока через интерфейс НОЛЬ.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 часа назад, Azamat сказал:

У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта.

в сервере две карты, одна под другой расположены. в одной карточке модули не колбасит в другой колбасит

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

02:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
02:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
Брал супермикру как раз потому что intel X520-DA2 совсем по отзывам не всеядный. А эта  кушает пока любой многомод или одномод китайский.

 

Опять таки перегрев модуля и перегрев самой сетевухи - это разные вещи. Но температуру на модулях можно и помониторить, при желании.

Изменено пользователем passer

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

на оптической линии поменяли переходник, порт не падает трое суток

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас