[QWE]

В сервере две таких сетевухи. 

На первой сетевушке все в порядке - порты не колбасит - в одном порту DAC кабель, в другом SFP+ модуль специально прошит "универсальной" прошивкой (под Cisco и под Intel со слов поставщика). Поставщик из СПБ.

 

А на второй сетевухе колбасит порт. Во второй сетевухе пока включен один SFP+ модуль. Модуль предоставил оператор с которым поднимаю линк.

Модель SFP+ модуля (с коммутатора т.к команды на linux сервере нет или я не нашел). 

 

Transceiver information:
Vendor name: OEM
Serial number: H3XPD33L01
Connector type: LC
Type: SFP/SFP+
Compliance code: 10GBASE-LR
Laser wavelength: 1330 nm
Transfer distance: 20000 m
Diagnostic: supported
 

С оптическим бюджетом SFP+ модуля все в порядке (смотрел при переключении модуля из сервера в свич).

 

дрова стартуют с параметрами 

options ixgbe IntMode=2,2,2,2 InterruptType=2,2,2,2 RSS=4,4,4,4 InterruptThrottleRate=10000,10000,10000,10000 MQ=1,1,1,1 LRO=0,0,0,0 allow_unsupported_sfp=1,1,1,1

 

+

 

ethtool -G eth5 rx 2048 tx 2048
ethtool -C eth5 rx-usecs 512
ethtool -A eth5 tx off rx off
 

в логах обнаруживаю такие сообщения

 

ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None
ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None
ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None
ixgbe 0000:05:00.1 eth5: NIC Link is Down
ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None
 

Конечно я попробую во второй порт сетевухи воткнуть этот SFP+ модуль.

 

Кто с таким сталкивался и в чем может быть наиболее вероятная причина?

 

PS

Есть еще один сервер с одной сетевухой в котором стоит SFP+ модуль от поставщика из СПБ, порт сетевухи не колбасит.  Все модули SFP+ о которых шла речь на дистанцию 20км.

Изменено 9 июля, 2018 пользователем QWE

[RialCom.ru]

может перегрев?

вроде б эти карты на многомодовые модули только короткие рассчитаны

[QWE]

39 минут назад, RialCom.ru сказал:

вроде б эти карты на многомодовые модули только короткие рассчитаны

видимо да. судя по инофрмации 

 

http://www.fiber-optic-components.com/10g-sfp-optics-compatible-intel-x520-adapter.html

https://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-sfp-optics-brief.pdf

https://www.nix.ru/autocatalog/networking_intel/Intel-E10GSFPSR-Modul-SFP-plus-Duplex-10GBASE-SR-SR-MM_208489.html#pid=2254

 

не более одного Вт на порт и до 10км.

[passer]

ethtool -m eth5

покажет ddm и тип модуля.
У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет.

[QWE]

В 10.07.2018 в 17:17, passer сказал:

ethtool -m eth5

покажет ddm и тип модуля.
У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет.

 

как на шине PCI  плата  SuperMicro AOC-STGN-I2S видится? Какой модуль ядра ее подхватит,  ixgbe?

 

SFP+ модуль переставлял в другой порт той же сетевухи - задерги есть.

 

Заменил  SFP+ модуль, на свой модуль от поставщика из СПБ, который в других сетевках не дергается.

 

# ethtool -m eth5
        Identifier          : 0x03 (SFP)
        Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID)
        Connector           : 0x07 (LC)
        Transceiver codes   : 0x20 0x00 0x000x00 0x40 0x40 0x01 0x00
                            :  => 10G Ethernet: 10G Base-LR
                            :  => FC: short distance (S)
                            :  => FC: Shortwave laser w/o OFC (SN)
                            :  => FC: Single Mode (SM)
        Encoding            : 0x06 (64B/66B)
        BR, Nominal         : 10300MBd
        Rate identifier     : 0x00 (unspecified)
        Length (SMF,km)     : 20km
        Length (SMF)        : 20000m
        Length (50um)       : 0m
        Length (62.5um)     : 0m
        Length (Copper)     : 0m
        Length (OM3)        : 0m
        Laser wavelength    : 1330nm
        Vendor name         : UPNET
        Vendor OUI          : 24:00:00
        Vendor PN           : WDM SFP+-10G-20B
        Vendor rev          : 1.0
 

Задерги (Down/Up) остаются. 

 

Такой момент сетевуха в которой сейчас порты дергаются установлена в сервере (1U) снизу под сетвухой у которой порты не дергаются, т.е. в верхней сетевке порты не дергаются в нижней дергаются c любыми модулями.

Может и правда перегрев? Хотя если перегрев, то сетевуха бы отвалилась совсем и до перезапуска сервера. Отваливается на какие то секунды, причем трафика пока через интерфейс НОЛЬ.

Изменено 12 июля, 2018 пользователем QWE

[Azamat]

У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта.

[QWE]

3 часа назад, Azamat сказал:

У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта.

в сервере две карты, одна под другой расположены. в одной карточке модули не колбасит в другой колбасит

Изменено 11 июля, 2018 пользователем QWE

[passer]

02:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
02:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
Брал супермикру как раз потому что intel X520-DA2 совсем по отзывам не всеядный. А эта  кушает пока любой многомод или одномод китайский.

 

Опять таки перегрев модуля и перегрев самой сетевухи - это разные вещи. Но температуру на модулях можно и помониторить, при желании.

Изменено 11 июля, 2018 пользователем passer

[QWE]

на оптической линии поменяли переходник, порт не падает трое суток