kid79 Опубликовано 16 июля, 2018 (изменено) · Жалоба Доброго дня. В общем какая то странная ситуация, есть 2 сервера под дебиан, связаны между собой по 10Гб карте Intel x-710 da2 Б так вот на линке между 2 я этими серверами в логах переодически падает сообщение [3367299.448809] i40e 0000:07:00.0 ens3f0: NIC Link is Down [3367299.758028] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None [3367321.433925] i40e 0000:07:00.0 ens3f0: NIC Link is Down [3367321.771886] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None [3367326.458393] i40e 0000:07:00.0 ens3f0: NIC Link is Down [3367326.756207] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None , остальные порты с сетевушек включеные в канал и в ядро в циску таких сообщений не выдают, , сетевушки соеденены между собой дац кабелем . Я уже грешил на сетевушку, поменял на другую, сообщения в логе остались, что можно покрутить чтоб не отваливалась. вот еще из dmesg [485054.603550] i40e 0000:04:00.0 ens7f0: NIC Link is Down [485054.940851] i40e 0000:04:00.0 ens7f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None [485101.944579] i40e 0000:04:00.0: TX driver issue detected, PF reset issued [485102.315491] i40e 0000:04:00.0: FCoE is supported. ethtool -i ens3f0 driver: i40e version: 1.6.16-k firmware-version: 4.25 0x8000143f 0.0.0 expansion-rom-version: bus-info: 0000:07:00.0 supports-statistics: yes supports-test: yes supports-eeprom-access: yes supports-register-dump: yes supports-priv-flags: yes как бороться? Изменено 16 июля, 2018 пользователем kid79 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 16 июля, 2018 · Жалоба кабель поменяйте Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
adeep Опубликовано 16 июля, 2018 · Жалоба тоже за кабель. можно попробовать модули с патчкордом и на них проверить стабильность Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 17 июля, 2018 · Жалоба Были аналогичные проблемы, решилось заменой DAC-кабеля. Вообще есть мысль совсем избавиться от DAC просто понатыкать SFP+ и нормальные оптические патчкорды. Очень уж громоздкий шланг, этот DAC, и критичные требования к длине - на 3 метрах все летает, на 5 метрах при нагрузках выше пяти-шести гигабит прут ошибки, и перебирай их потом, выбирая где ошибок меньше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 17 июля, 2018 · Жалоба есть запасной дац, перепрошью миникбики под интел карты попробую заменить кабель, не поможет, соберу на модулях и пачкордах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 17 июля, 2018 · Жалоба 6 часов назад, taf_321 сказал: Были аналогичные проблемы, решилось заменой DAC-кабеля. Вообще есть мысль совсем избавиться от DAC просто понатыкать SFP+ и нормальные оптические патчкорды. Очень уж громоздкий шланг, этот DAC, и критичные требования к длине - на 3 метрах все летает, на 5 метрах при нагрузках выше пяти-шести гигабит прут ошибки, и перебирай их потом, выбирая где ошибок меньше. Многомодовые десятки ставьте. Это самое ок в стойки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ichthyandr Опубликовано 17 июля, 2018 · Жалоба 2 часа назад, vurd сказал: Многомодовые десятки ставьте. Это самое ок в стойки. это лишние деньги, если синглмод стоит, то копеечные аттенюаторы можно вставить Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 17 июля, 2018 · Жалоба 2 часа назад, ichthyandr сказал: это лишние деньги, если синглмод стоит, то копеечные аттенюаторы можно вставить Стоит DAC, читайте тему. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 19 июля, 2018 · Жалоба поменял на запасной дас кабель, ошибки не ушли, поставил 2 сфп модуля ( snr-sfp+ w37-20 10G )и соеденил их пачкордом, вроде бы все работало по началу нормально, но потом к 8 утра начала нагрузка появляться и в логе опять посыпалось Jul 19 07:20:58 bras1 kernel: [3597087.249011] i40e 0000:07:00.0 ens3f0: NIC Link is Down Jul 19 07:20:58 bras1 kernel: [3597087.510952] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None Jul 19 07:51:58 bras1 kernel: [3598947.372555] i40e 0000:07:00.0 ens3f0: NIC Link is Down Jul 19 07:51:58 bras1 kernel: [3598947.712138] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None Jul 19 07:51:59 bras1 kernel: [3598948.360547] i40e 0000:07:00.0 ens3f0: NIC Link is Down Jul 19 07:51:59 bras1 kernel: [3598948.750541] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None Jul 19 07:56:55 bras1 kernel: [3599244.393665] i40e 0000:07:00.0 ens3f0: NIC Link is Down Jul 19 07:56:55 bras1 kernel: [3599244.702468] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None Jul 19 08:01:32 bras1 kernel: [3599521.439596] i40e 0000:07:00.0 ens3f0: NIC Link is Down Jul 19 08:01:32 bras1 kernel: [3599521.743192] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None Jul 19 08:09:54 bras1 kernel: [3600023.437864] i40e 0000:07:00.0 ens3f0: NIC Link is Down Jul 19 08:09:54 bras1 kernel: [3600023.708849] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None Jul 19 08:10:10 bras1 kernel: [3600039.438910] i40e 0000:07:00.0 ens3f0: NIC Link is Down Jul 19 08:10:10 bras1 kernel: [3600039.804133] i40e 0000:07:00.0 ens3f0: NIC Link is Up 10 Gbps Full Duplex, Flow Control: None осталось серевушку попробовать заменить Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 19 июля, 2018 · Жалоба В порядке бреда, у вас обе карты не через riser-card 2-to-1 подключены, случайно? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 19 июля, 2018 · Жалоба нет, честный слот. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 июля, 2018 · Жалоба в общем проблема решилась отключением гро гсо на вышестоящем бордере в который был включен данный сервер, после этого тьфу тьфу, отвалов сетевушки больше не наблюдаю Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 20 июля, 2018 · Жалоба 3 часа назад, kid79 сказал: в общем проблема решилась отключением гро гсо на вышестоящем бордере в который был включен данный сервер, после этого тьфу тьфу, отвалов сетевушки больше не наблюдаю скорее совпадение. как вообще отключение этих офлодов может влиять на сетевуху соседнего сервера? или падал порт на "вышестоящем" бордере? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 июля, 2018 · Жалоба не могу сказать со 100% уверенностью падал порт на бордере или на нижестоящем сервере, в логах у обоих фиксировалось падение. они же не через коммутатор включены а напрямую. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...