QWE Опубликовано 9 июля, 2018 (изменено) · Жалоба В сервере две таких сетевухи. На первой сетевушке все в порядке - порты не колбасит - в одном порту DAC кабель, в другом SFP+ модуль специально прошит "универсальной" прошивкой (под Cisco и под Intel со слов поставщика). Поставщик из СПБ. А на второй сетевухе колбасит порт. Во второй сетевухе пока включен один SFP+ модуль. Модуль предоставил оператор с которым поднимаю линк. Модель SFP+ модуля (с коммутатора т.к команды на linux сервере нет или я не нашел). Transceiver information: Vendor name: OEM Serial number: H3XPD33L01 Connector type: LC Type: SFP/SFP+ Compliance code: 10GBASE-LR Laser wavelength: 1330 nm Transfer distance: 20000 m Diagnostic: supported С оптическим бюджетом SFP+ модуля все в порядке (смотрел при переключении модуля из сервера в свич). дрова стартуют с параметрами options ixgbe IntMode=2,2,2,2 InterruptType=2,2,2,2 RSS=4,4,4,4 InterruptThrottleRate=10000,10000,10000,10000 MQ=1,1,1,1 LRO=0,0,0,0 allow_unsupported_sfp=1,1,1,1 + ethtool -G eth5 rx 2048 tx 2048 ethtool -C eth5 rx-usecs 512 ethtool -A eth5 tx off rx off в логах обнаруживаю такие сообщения ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None Конечно я попробую во второй порт сетевухи воткнуть этот SFP+ модуль. Кто с таким сталкивался и в чем может быть наиболее вероятная причина? PS Есть еще один сервер с одной сетевухой в котором стоит SFP+ модуль от поставщика из СПБ, порт сетевухи не колбасит. Все модули SFP+ о которых шла речь на дистанцию 20км. Изменено 9 июля, 2018 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RialCom.ru Опубликовано 9 июля, 2018 · Жалоба может перегрев? вроде б эти карты на многомодовые модули только короткие рассчитаны Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 9 июля, 2018 · Жалоба 39 минут назад, RialCom.ru сказал: вроде б эти карты на многомодовые модули только короткие рассчитаны видимо да. судя по инофрмации http://www.fiber-optic-components.com/10g-sfp-optics-compatible-intel-x520-adapter.html https://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-sfp-optics-brief.pdf https://www.nix.ru/autocatalog/networking_intel/Intel-E10GSFPSR-Modul-SFP-plus-Duplex-10GBASE-SR-SR-MM_208489.html#pid=2254 не более одного Вт на порт и до 10км. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 10 июля, 2018 · Жалоба ethtool -m eth5 покажет ddm и тип модуля. У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 10 июля, 2018 (изменено) · Жалоба В 10.07.2018 в 17:17, passer сказал: ethtool -m eth5 покажет ddm и тип модуля. У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет. как на шине PCI плата SuperMicro AOC-STGN-I2S видится? Какой модуль ядра ее подхватит, ixgbe? SFP+ модуль переставлял в другой порт той же сетевухи - задерги есть. Заменил SFP+ модуль, на свой модуль от поставщика из СПБ, который в других сетевках не дергается. # ethtool -m eth5 Identifier : 0x03 (SFP) Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID) Connector : 0x07 (LC) Transceiver codes : 0x20 0x00 0x000x00 0x40 0x40 0x01 0x00 : => 10G Ethernet: 10G Base-LR : => FC: short distance (S) : => FC: Shortwave laser w/o OFC (SN) : => FC: Single Mode (SM) Encoding : 0x06 (64B/66B) BR, Nominal : 10300MBd Rate identifier : 0x00 (unspecified) Length (SMF,km) : 20km Length (SMF) : 20000m Length (50um) : 0m Length (62.5um) : 0m Length (Copper) : 0m Length (OM3) : 0m Laser wavelength : 1330nm Vendor name : UPNET Vendor OUI : 24:00:00 Vendor PN : WDM SFP+-10G-20B Vendor rev : 1.0 Задерги (Down/Up) остаются. Такой момент сетевуха в которой сейчас порты дергаются установлена в сервере (1U) снизу под сетвухой у которой порты не дергаются, т.е. в верхней сетевке порты не дергаются в нижней дергаются c любыми модулями. Может и правда перегрев? Хотя если перегрев, то сетевуха бы отвалилась совсем и до перезапуска сервера. Отваливается на какие то секунды, причем трафика пока через интерфейс НОЛЬ. Изменено 12 июля, 2018 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Azamat Опубликовано 11 июля, 2018 · Жалоба У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 11 июля, 2018 (изменено) · Жалоба 3 часа назад, Azamat сказал: У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта. в сервере две карты, одна под другой расположены. в одной карточке модули не колбасит в другой колбасит Изменено 11 июля, 2018 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 11 июля, 2018 (изменено) · Жалоба 02:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) 02:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) Брал супермикру как раз потому что intel X520-DA2 совсем по отзывам не всеядный. А эта кушает пока любой многомод или одномод китайский. Опять таки перегрев модуля и перегрев самой сетевухи - это разные вещи. Но температуру на модулях можно и помониторить, при желании. Изменено 11 июля, 2018 пользователем passer Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 16 июля, 2018 · Жалоба на оптической линии поменяли переходник, порт не падает трое суток Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...