неприятные сообщения о падении intel x710-da2

[kid79]

Доброго дня. В общем какая то странная ситуация, есть 2 сервера под дебиан, связаны между собой по 10Гб карте Intel x-710 da2 Б так вот на линке между 2 я этими серверами  в логах переодически падает сообщение

[3367299.448809] i40e 0000:07:00.0 ens3f0: NIC Link is Down
[3367299.758028] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
[3367321.433925] i40e 0000:07:00.0 ens3f0: NIC Link is Down
[3367321.771886] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
[3367326.458393] i40e 0000:07:00.0 ens3f0: NIC Link is Down
[3367326.756207] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None

, остальные порты с сетевушек включеные в канал и в ядро в циску таких сообщений не выдают, , сетевушки соеденены между собой дац кабелем . Я уже грешил на сетевушку, поменял на другую, сообщения в логе остались, что можно покрутить чтоб не отваливалась.

вот еще из dmesg

[485054.603550] i40e 0000:04:00.0 ens7f0: NIC Link is Down
[485054.940851] i40e 0000:04:00.0 ens7f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
[485101.944579] i40e 0000:04:00.0: TX driver issue detected, PF reset issued
[485102.315491] i40e 0000:04:00.0: FCoE is supported.

 

ethtool -i ens3f0
driver: i40e
version: 1.6.16-k
firmware-version: 4.25 0x8000143f 0.0.0
expansion-rom-version:
bus-info: 0000:07:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

 

как бороться?

Edited July 16, 2018 by kid79

[QWE]

кабель поменяйте

[adeep]

тоже за кабель. можно попробовать модули с патчкордом и на них проверить стабильность

[taf_321]

Были аналогичные проблемы, решилось заменой DAC-кабеля. Вообще есть мысль совсем избавиться от DAC просто понатыкать SFP+ и нормальные оптические патчкорды. Очень уж громоздкий шланг, этот DAC, и критичные требования к длине - на 3 метрах все летает, на 5 метрах при нагрузках выше пяти-шести гигабит прут ошибки, и перебирай их потом, выбирая где ошибок меньше.

[kid79]

есть запасной дац, перепрошью миникбики под интел карты попробую заменить кабель, не поможет, соберу на модулях и пачкордах.

[vurd]

6 часов назад, taf_321 сказал:

Были аналогичные проблемы, решилось заменой DAC-кабеля. Вообще есть мысль совсем избавиться от DAC просто понатыкать SFP+ и нормальные оптические патчкорды. Очень уж громоздкий шланг, этот DAC, и критичные требования к длине - на 3 метрах все летает, на 5 метрах при нагрузках выше пяти-шести гигабит прут ошибки, и перебирай их потом, выбирая где ошибок меньше.

Многомодовые десятки ставьте. Это самое ок в стойки.

[ichthyandr]

2 часа назад, vurd сказал:

Многомодовые десятки ставьте. Это самое ок в стойки.

это лишние деньги, если синглмод стоит, то копеечные аттенюаторы можно вставить

[vurd]

2 часа назад, ichthyandr сказал:

это лишние деньги, если синглмод стоит, то копеечные аттенюаторы можно вставить

Стоит DAC, читайте тему.

[kid79]

поменял на запасной дас кабель, ошибки не ушли, поставил 2 сфп модуля  ( snr-sfp+ w37-20 10G )и соеденил их пачкордом, вроде бы все работало по началу нормально, но потом к 8 утра начала нагрузка появляться и в логе опять посыпалось

Jul 19 07:20:58 bras1 kernel: [3597087.249011] i40e 0000:07:00.0 ens3f0: NIC Link is Down
Jul 19 07:20:58 bras1 kernel: [3597087.510952] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
Jul 19 07:51:58 bras1 kernel: [3598947.372555] i40e 0000:07:00.0 ens3f0: NIC Link is Down
Jul 19 07:51:58 bras1 kernel: [3598947.712138] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
Jul 19 07:51:59 bras1 kernel: [3598948.360547] i40e 0000:07:00.0 ens3f0: NIC Link is Down
Jul 19 07:51:59 bras1 kernel: [3598948.750541] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
Jul 19 07:56:55 bras1 kernel: [3599244.393665] i40e 0000:07:00.0 ens3f0: NIC Link is Down
Jul 19 07:56:55 bras1 kernel: [3599244.702468] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
Jul 19 08:01:32 bras1 kernel: [3599521.439596] i40e 0000:07:00.0 ens3f0: NIC Link is Down
Jul 19 08:01:32 bras1 kernel: [3599521.743192] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
Jul 19 08:09:54 bras1 kernel: [3600023.437864] i40e 0000:07:00.0 ens3f0: NIC Link is Down
Jul 19 08:09:54 bras1 kernel: [3600023.708849] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None
Jul 19 08:10:10 bras1 kernel: [3600039.438910] i40e 0000:07:00.0 ens3f0: NIC Link is Down
Jul 19 08:10:10 bras1 kernel: [3600039.804133] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None

 осталось серевушку попробовать заменить

[taf_321]

В порядке бреда, у вас обе карты не через riser-card 2-to-1 подключены, случайно?

[kid79]

нет, честный слот.

[kid79]

в общем проблема решилась отключением гро гсо на вышестоящем бордере в который был включен данный сервер, после этого тьфу тьфу, отвалов сетевушки больше не наблюдаю

[s.lobanov]

3 часа назад, kid79 сказал:

в общем проблема решилась отключением гро гсо на вышестоящем бордере в который был включен данный сервер, после этого тьфу тьфу, отвалов сетевушки больше не наблюдаю

скорее совпадение. как вообще отключение этих офлодов может влиять на сетевуху соседнего сервера? или падал порт на "вышестоящем" бордере?

[kid79]

не могу сказать со 100% уверенностью падал порт на бордере или на нижестоящем сервере, в логах у обоих фиксировалось падение. они же не через коммутатор включены а напрямую.