QWE Posted July 9, 2018 Posted July 9, 2018 (edited) В сервере две таких сетевухи. На первой сетевушке все в порядке - порты не колбасит - в одном порту DAC кабель, в другом SFP+ модуль специально прошит "универсальной" прошивкой (под Cisco и под Intel со слов поставщика). Поставщик из СПБ. А на второй сетевухе колбасит порт. Во второй сетевухе пока включен один SFP+ модуль. Модуль предоставил оператор с которым поднимаю линк. Модель SFP+ модуля (с коммутатора т.к команды на linux сервере нет или я не нашел). Transceiver information: Vendor name: OEM Serial number: H3XPD33L01 Connector type: LC Type: SFP/SFP+ Compliance code: 10GBASE-LR Laser wavelength: 1330 nm Transfer distance: 20000 m Diagnostic: supported С оптическим бюджетом SFP+ модуля все в порядке (смотрел при переключении модуля из сервера в свич). дрова стартуют с параметрами options ixgbe IntMode=2,2,2,2 InterruptType=2,2,2,2 RSS=4,4,4,4 InterruptThrottleRate=10000,10000,10000,10000 MQ=1,1,1,1 LRO=0,0,0,0 allow_unsupported_sfp=1,1,1,1 + ethtool -G eth5 rx 2048 tx 2048 ethtool -C eth5 rx-usecs 512 ethtool -A eth5 tx off rx off в логах обнаруживаю такие сообщения ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None ixgbe 0000:05:00.1 eth5: NIC Link is Down ixgbe 0000:05:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: None Конечно я попробую во второй порт сетевухи воткнуть этот SFP+ модуль. Кто с таким сталкивался и в чем может быть наиболее вероятная причина? PS Есть еще один сервер с одной сетевухой в котором стоит SFP+ модуль от поставщика из СПБ, порт сетевухи не колбасит. Все модули SFP+ о которых шла речь на дистанцию 20км. Edited July 9, 2018 by QWE Вставить ник Quote
RialCom.ru Posted July 9, 2018 Posted July 9, 2018 может перегрев? вроде б эти карты на многомодовые модули только короткие рассчитаны Вставить ник Quote
QWE Posted July 9, 2018 Author Posted July 9, 2018 39 минут назад, RialCom.ru сказал: вроде б эти карты на многомодовые модули только короткие рассчитаны видимо да. судя по инофрмации http://www.fiber-optic-components.com/10g-sfp-optics-compatible-intel-x520-adapter.html https://www.intel.com/content/dam/www/public/us/en/documents/product-briefs/ethernet-sfp-optics-brief.pdf https://www.nix.ru/autocatalog/networking_intel/Intel-E10GSFPSR-Modul-SFP-plus-Duplex-10GBASE-SR-SR-MM_208489.html#pid=2254 не более одного Вт на порт и до 10км. Вставить ник Quote
passer Posted July 10, 2018 Posted July 10, 2018 ethtool -m eth5 покажет ddm и тип модуля. У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет. Вставить ник Quote
QWE Posted July 10, 2018 Author Posted July 10, 2018 (edited) В 10.07.2018 в 17:17, passer сказал: ethtool -m eth5 покажет ddm и тип модуля. У меня 20км китайский wdm sfp+ стоит в SuperMicro AOC-STGN-I2S и проблем нет. как на шине PCI плата SuperMicro AOC-STGN-I2S видится? Какой модуль ядра ее подхватит, ixgbe? SFP+ модуль переставлял в другой порт той же сетевухи - задерги есть. Заменил SFP+ модуль, на свой модуль от поставщика из СПБ, который в других сетевках не дергается. # ethtool -m eth5 Identifier : 0x03 (SFP) Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID) Connector : 0x07 (LC) Transceiver codes : 0x20 0x00 0x000x00 0x40 0x40 0x01 0x00 : => 10G Ethernet: 10G Base-LR : => FC: short distance (S) : => FC: Shortwave laser w/o OFC (SN) : => FC: Single Mode (SM) Encoding : 0x06 (64B/66B) BR, Nominal : 10300MBd Rate identifier : 0x00 (unspecified) Length (SMF,km) : 20km Length (SMF) : 20000m Length (50um) : 0m Length (62.5um) : 0m Length (Copper) : 0m Length (OM3) : 0m Laser wavelength : 1330nm Vendor name : UPNET Vendor OUI : 24:00:00 Vendor PN : WDM SFP+-10G-20B Vendor rev : 1.0 Задерги (Down/Up) остаются. Такой момент сетевуха в которой сейчас порты дергаются установлена в сервере (1U) снизу под сетвухой у которой порты не дергаются, т.е. в верхней сетевке порты не дергаются в нижней дергаются c любыми модулями. Может и правда перегрев? Хотя если перегрев, то сетевуха бы отвалилась совсем и до перезапуска сервера. Отваливается на какие то секунды, причем трафика пока через интерфейс НОЛЬ. Edited July 12, 2018 by QWE Вставить ник Quote
Azamat Posted July 11, 2018 Posted July 11, 2018 У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта. Вставить ник Quote
QWE Posted July 11, 2018 Author Posted July 11, 2018 (edited) 3 часа назад, Azamat сказал: У меня была похожая ситуация, мне тогда показалось, что причиной была смена температуры с большим градиентом - поток от резервного кондея, который включался раз в полчаса-час на несколько мин. Когда переместили сервер в другое место - проблема с передергом порта ушла. Т.е. быстрое охлаждение приводило к падению порта. в сервере две карты, одна под другой расположены. в одной карточке модули не колбасит в другой колбасит Edited July 11, 2018 by QWE Вставить ник Quote
passer Posted July 11, 2018 Posted July 11, 2018 (edited) 02:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) 02:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) Брал супермикру как раз потому что intel X520-DA2 совсем по отзывам не всеядный. А эта кушает пока любой многомод или одномод китайский. Опять таки перегрев модуля и перегрев самой сетевухи - это разные вещи. Но температуру на модулях можно и помониторить, при желании. Edited July 11, 2018 by passer Вставить ник Quote
QWE Posted July 16, 2018 Author Posted July 16, 2018 на оптической линии поменяли переходник, порт не падает трое суток Вставить ник Quote
npokypop Posted February 9 Posted February 9 Коллеги, добрый вечер. Может кто сталкивался с такой ситуацией. Сетевая карта X520-DA2, модули разные пробовал но все unsupported. Проблема такая, что часто не с первого раза поднимает линк, приходиться несколько раз делать networking restart и возможно линк поднимет, а бывает что с первого раза ребутнешь сервак и все отлично. Материнская плата Supermicro X8DTL. Пробовал разные ядра debian, пробовал 4шт разные x520-da2. Спасибо за мысли. Вставить ник Quote
Urs_ak Posted February 9 Posted February 9 6 минут назад, npokypop сказал: Проблема такая, что часто не с первого раза поднимает линк, приходиться несколько раз делать networking restart и возможно линк поднимет, а бывает что с первого раза ребутнешь сервак и все отлично. Материнская плата Supermicro X8DTL. Пробовал разные ядра debian, пробовал 4шт разные x520-da2. Спасибо за мысли. Нонче же ИИ мысли подсказывает (но может насвистеть): Скрытый текст Цитата Для видеокарт Intel X520-DA2 на старых платформах (вроде вашей Supermicro X8DTL) проблема с «нестабильным» линком и поддержкой сторонних SFP-модулей — классическая ситуация. Драйвер ixgbe по умолчанию блокирует инициализацию, если не распознает модуль как «родной» Intel. Нужно передать драйверу параметр allow_unsupported_sfp=1 modprobe ixgbe allow_unsupported_sfp=1 Особенности платформы Supermicro X8DTL Слоты PCIe: На этой плате часть слотов идет от чипсета, а часть — от процессора. Если у вас установлен только один CPU, часть слотов может работать некорректно или не работать вовсе. Попробуйте переставить карту в другой слот. Энергосбережение (ASPM): В BIOS Supermicro X8 попробуйте отключить функции энергосбережения PCIe (ASPM) и Above 4G Decoding (если есть), так как X520 может конфликтовать с ними при инициализации линка. Если networking restart помогает, значит, проблема в таймингах инициализации SFP-модуля (он не успевает «ответить» карте до того, как драйвер завершит опрос). Проверить вывод dmesg | grep ixgbe (чтобы увидеть точную ошибку инициализации). Предложить скрипт автоподнятия, если это программный баг драйвера в конкретном ядре Debian. Вставить ник Quote
npokypop Posted February 10 Posted February 10 11 часов назад, Urs_ak сказал: Нонче же ИИ мысли подсказывает (но может насвистеть): Скрыть содержимое Все это было сделано, тут вопрос в не типичной ситуации, на всякий случай вот какие трансиверы у меня. Вставить ник Quote
npokypop Posted February 10 Posted February 10 Поставил обычные SFP модули и такой проблемы нету, вывод что проблема только с SFP+ Модулями. Вставить ник Quote
passer Posted February 10 Posted February 10 Смотрите ethtool -m eth0. Там должны быть отображены уровень входного сигнала и пороговые значения для вашего модуля. Но судя по шильдику оптический бюджет у вашего модуля что-то порядка 5-6дБ. У любого дешманского одномодового SFP бюджет побольше будет. Поэтому советую обратить внимание на уровни сигналов и или причесывать линию если это возможно, или менять модули на более мощные. Вставить ник Quote
npokypop Posted February 10 Posted February 10 1 час назад, passer сказал: Смотрите ethtool -m eth0. Там должны быть отображены уровень входного сигнала и пороговые значения для вашего модуля. Но судя по шильдику оптический бюджет у вашего модуля что-то порядка 5-6дБ. У любого дешманского одномодового SFP бюджет побольше будет. Поэтому советую обратить внимание на уровни сигналов и или причесывать линию если это возможно, или менять модули на более мощные. Тестовый стенд на столе, два порта соединяю метровым патч кордом, может реально сигнал сильный и из-за этого проблемы ? Попробовать аттенюатор ? Вот его показатели. root@deb-serv2:~# ethtool -m enp3s0f0 Identifier : 0x03 (SFP) Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID) Connector : 0x07 (LC) Transceiver codes : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 Transceiver type : 10G Ethernet: 10G Base-LR Encoding : 0x01 (8B/10B) BR, Nominal : 9800MBd Rate identifier : 0x00 (unspecified) Length (SMF,km) : 1km Length (SMF) : 1400m Length (50um) : 0m Length (62.5um) : 0m Length (Copper) : 0m Length (OM3) : 0m Laser wavelength : 1310nm Vendor name : SOURCEPHOTONICS Vendor OUI : 00:1f:22 Vendor PN : SPP10ELRIDFPHW2 Vendor rev : 10 Option values : 0x00 0x1a Option : RX_LOS implemented Option : TX_FAULT implemented Option : TX_DISABLE implemented BR margin, max : 0% BR margin, min : 0% Vendor SN : L2U2010001 Date code : 210129 Optical diagnostics support : Yes Laser bias current : 35.384 mA Laser output power : 0.7096 mW / -1.49 dBm Receiver signal average optical power : 0.4091 mW / -3.88 dBm Module temperature : 16.39 degrees C / 61.50 degrees F Module voltage : 3.2698 V Alarm/warning flags implemented : Yes Laser bias current high alarm : Off Laser bias current low alarm : Off Laser bias current high warning : Off Laser bias current low warning : Off Laser output power high alarm : Off Laser output power low alarm : Off Laser output power high warning : Off Laser output power low warning : Off Module temperature high alarm : Off Module temperature low alarm : Off Module temperature high warning : Off Module temperature low warning : Off Module voltage high alarm : Off Module voltage low alarm : Off Module voltage high warning : Off Module voltage low warning : Off Laser rx power high alarm : Off Laser rx power low alarm : Off Laser rx power high warning : Off Laser rx power low warning : Off Laser bias current high alarm threshold : 95.000 mA Laser bias current low alarm threshold : 3.000 mA Laser bias current high warning threshold : 90.000 mA Laser bias current low warning threshold : 5.000 mA Laser output power high alarm threshold : 1.7783 mW / 2.50 dBm Laser output power low alarm threshold : 0.0955 mW / -10.20 dBm Laser output power high warning threshold : 1.1220 mW / 0.50 dBm Laser output power low warning threshold : 0.1514 mW / -8.20 dBm Module temperature high alarm threshold : 95.00 degrees C / 203.00 degrees F Module temperature low alarm threshold : -50.00 degrees C / -58.00 degrees F Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F Module temperature low warning threshold : -40.00 degrees C / -40.00 degrees F Module voltage high alarm threshold : 3.6300 V Module voltage low alarm threshold : 2.9700 V Module voltage high warning threshold : 3.4650 V Module voltage low warning threshold : 3.1349 V Laser rx power high alarm threshold : 1.7783 mW / 2.50 dBm Laser rx power low alarm threshold : 0.0229 mW / -16.40 dBm Laser rx power high warning threshold : 1.1220 mW / 0.50 dBm Laser rx power low warning threshold : 0.0363 mW / -14.40 dBm А вот в момент когда линк не поднимается: root@deb-serv2:~# ethtool -m enp3s0f0 Identifier : 0x03 (SFP) Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID) Connector : 0x07 (LC) Transceiver codes : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 Transceiver type : 10G Ethernet: 10G Base-LR Encoding : 0x01 (8B/10B) BR, Nominal : 9800MBd Rate identifier : 0x00 (unspecified) Length (SMF,km) : 1km Length (SMF) : 1400m Length (50um) : 0m Length (62.5um) : 0m Length (Copper) : 0m Length (OM3) : 0m Laser wavelength : 1310nm Vendor name : SOURCEPHOTONICS Vendor OUI : 00:1f:22 Vendor PN : SPP10ELRIDFPHW2 Vendor rev : 10 Option values : 0x00 0x1a Option : RX_LOS implemented Option : TX_FAULT implemented Option : TX_DISABLE implemented BR margin, max : 0% BR margin, min : 0% Vendor SN : L2U2010001 Date code : 210129 Optical diagnostics support : Yes Laser bias current : 37.238 mA Laser output power : 0.7096 mW / -1.49 dBm Receiver signal average optical power : 0.4077 mW / -3.90 dBm Module temperature : 27.16 degrees C / 80.89 degrees F Module voltage : 3.2662 V Alarm/warning flags implemented : Yes Laser bias current high alarm : Off Laser bias current low alarm : Off Laser bias current high warning : Off Laser bias current low warning : Off Laser output power high alarm : Off Laser output power low alarm : Off Laser output power high warning : Off Laser output power low warning : Off Module temperature high alarm : Off Module temperature low alarm : Off Module temperature high warning : Off Module temperature low warning : Off Module voltage high alarm : Off Module voltage low alarm : Off Module voltage high warning : Off Module voltage low warning : Off Laser rx power high alarm : Off Laser rx power low alarm : Off Laser rx power high warning : Off Laser rx power low warning : Off Laser bias current high alarm threshold : 95.000 mA Laser bias current low alarm threshold : 3.000 mA Laser bias current high warning threshold : 90.000 mA Laser bias current low warning threshold : 5.000 mA Laser output power high alarm threshold : 1.7783 mW / 2.50 dBm Laser output power low alarm threshold : 0.0955 mW / -10.20 dBm Laser output power high warning threshold : 1.1220 mW / 0.50 dBm Laser output power low warning threshold : 0.1514 mW / -8.20 dBm Module temperature high alarm threshold : 95.00 degrees C / 203.00 degrees F Module temperature low alarm threshold : -50.00 degrees C / -58.00 degrees F Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F Module temperature low warning threshold : -40.00 degrees C / -40.00 degrees F Module voltage high alarm threshold : 3.6300 V Module voltage low alarm threshold : 2.9700 V Module voltage high warning threshold : 3.4650 V Module voltage low warning threshold : 3.1349 V Laser rx power high alarm threshold : 1.7783 mW / 2.50 dBm Laser rx power low alarm threshold : 0.0229 mW / -16.40 dBm Laser rx power high warning threshold : 1.1220 mW / 0.50 dBm Laser rx power low warning threshold : 0.0363 mW / -14.40 dBm Вставить ник Quote
passer Posted February 12 Posted February 12 второй модуль такой же с такими же цифрами ? В 10.02.2026 в 13:00, npokypop сказал: Laser output power : 0.7096 mW / -1.49 dBm Receiver signal average optical power : 0.4077 mW / -3.90 dBm аттенюатор ставить не надо, т.к. -1.49дБм точно меньше чем уровень насыщения приемника модуля, а уж -3.90дБм просто отличный уровень, если не было вашего сообщения о патче между двумя портами одного коммутатора. Как бы 1.5дБ затухания на патче это многовато. А патч какого цвета? MM или SM ? Вставить ник Quote
npokypop Posted February 12 Posted February 12 5 часов назад, passer сказал: А патч какого цвета? MM или SM ? SM (желтый он) Вставить ник Quote
passer Posted February 12 Posted February 12 Только что, npokypop сказал: SM (желтый он) Если и с другой стороны покажет затухание на патче 1.5дБ - попробуйте его поменять. Вы так и не ответили какой модуль на другой стороне и какие там уровни сигнала... Вставить ник Quote
npokypop Posted February 12 Posted February 12 7 часов назад, passer сказал: второй модуль такой же с такими же цифрами ? Вот такие показатели с второго глаза. root@deb-serv2:~# ethtool -m enp3s0f1 Identifier : 0x03 (SFP) Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID) Connector : 0x07 (LC) Transceiver codes : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 Transceiver type : 10G Ethernet: 10G Base-LR Encoding : 0x01 (8B/10B) BR, Nominal : 9800MBd Rate identifier : 0x00 (unspecified) Length (SMF,km) : 1km Length (SMF) : 1400m Length (50um) : 0m Length (62.5um) : 0m Length (Copper) : 0m Length (OM3) : 0m Laser wavelength : 1310nm Vendor name : SOURCEPHOTONICS Vendor OUI : 00:1f:22 Vendor PN : SPP10ELRIDFPHW2 Vendor rev : 10 Option values : 0x00 0x1a Option : RX_LOS implemented Option : TX_FAULT implemented Option : TX_DISABLE implemented BR margin, max : 0% BR margin, min : 0% Vendor SN : L2U2010297 Date code : 210129 Optical diagnostics support : Yes Laser bias current : 38.258 mA Laser output power : 0.6655 mW / -1.77 dBm Receiver signal average optical power : 0.5367 mW / -2.70 dBm Module temperature : 30.54 degrees C / 86.96 degrees F Module voltage : 3.2104 V Alarm/warning flags implemented : Yes Laser bias current high alarm : Off Laser bias current low alarm : Off Laser bias current high warning : Off Laser bias current low warning : Off Laser output power high alarm : Off Laser output power low alarm : Off Laser output power high warning : Off Laser output power low warning : Off Module temperature high alarm : Off Module temperature low alarm : Off Module temperature high warning : Off Module temperature low warning : Off Module voltage high alarm : Off Module voltage low alarm : Off Module voltage high warning : Off Module voltage low warning : Off Laser rx power high alarm : Off Laser rx power low alarm : Off Laser rx power high warning : Off Laser rx power low warning : Off Laser bias current high alarm threshold : 95.000 mA Laser bias current low alarm threshold : 3.000 mA Laser bias current high warning threshold : 90.000 mA Laser bias current low warning threshold : 5.000 mA Laser output power high alarm threshold : 1.7783 mW / 2.50 dBm Laser output power low alarm threshold : 0.0955 mW / -10.20 dBm Laser output power high warning threshold : 1.1220 mW / 0.50 dBm Laser output power low warning threshold : 0.1514 mW / -8.20 dBm Module temperature high alarm threshold : 95.00 degrees C / 203.00 degrees F Module temperature low alarm threshold : -50.00 degrees C / -58.00 degrees F Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F Module temperature low warning threshold : -40.00 degrees C / -40.00 degrees F Module voltage high alarm threshold : 3.6300 V Module voltage low alarm threshold : 2.9700 V Module voltage high warning threshold : 3.4650 V Module voltage low warning threshold : 3.1349 V Laser rx power high alarm threshold : 1.7783 mW / 2.50 dBm Laser rx power low alarm threshold : 0.0229 mW / -16.40 dBm Laser rx power high warning threshold : 1.1220 mW / 0.50 dBm Laser rx power low warning threshold : 0.0363 mW / -14.40 dBm Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.