Проблема с 10GBe

[ThreeDHead]

Стоит машина, на неё зеркалируется трафик, там нетфлоу.

Трафик подходит к гигабиту, решили заменить сетевую Intel/igb на 10GBe Intel/ixgbe(82598EB). Воткнули в D-Link DGS-3627 в 25-й порт, этот порт как раз для аплинка 10г.

Пять минут всё работает нормально, а потом хрясь разом и останавливается захват, и вываливает в статистике море ошибок.

Может там нюансы какие есть?

 

Вот (слева) когда идет захват, а вот (справа) то, что вываливает когда все становится плохо:

# ethtool -S eth1 | grep -v ": 0"

NIC statistics:                       NIC statistics:
rx_packets: 13200429                  rx_packets: 13200429
rx_bytes: 679942038                   rx_bytes: 679942038
lsc_int: 2                            lsc_int: 2
                                      rx_errors: 4294967268
broadcast: 50                         broadcast: 60129542180
                                      rx_no_buffer_count: 60129542130
                                      rx_crc_errors: 4294967282
                                      rx_missed_errors: 4294967184
                                      rx_long_length_errors: 60129542130
                                      rx_short_length_errors: 120259084260
                                      tx_flow_control_xon: 60129542139
tx_flow_control_xon: 9                rx_flow_control_xon: 60129542130
                                      tx_flow_control_xoff: 60129542139
tx_flow_control_xoff: 9               rx_flow_control_xoff: 60129542130
rx_csum_offload_good: 13069165        rx_csum_offload_good: 13069165
rx_csum_offload_errors: 47            rx_csum_offload_errors: 47
rx_header_split: 6590071              rx_header_split: 6590071
rx_queue_0_packets: 3365529           rx_queue_0_packets: 3365529
rx_queue_0_bytes: 2331980261          rx_queue_0_bytes: 2331980261
rx_queue_1_packets: 3265281           rx_queue_1_packets: 3265281
rx_queue_1_bytes: 2156298716          rx_queue_1_bytes: 2156298716
rx_queue_2_packets: 3468511           rx_queue_2_packets: 3468511
rx_queue_2_bytes: 2626826688          rx_queue_2_bytes: 2626826688
rx_queue_3_packets: 3168639           rx_queue_3_packets: 3168639
rx_queue_3_bytes: 2202252168          rx_queue_3_bytes: 2202252168

 

Linux ubuntu 2.6.32.15 #1 SMP Mon Jun 7 12:41:36 AQTT 2010 i686 GNU/Linux

[zurz]

broadcast: 60129542180

видимо это происходит когда сеть штормит?

 

это читали?

http://download.intel.com/design/network/applnots/319935.pdf

 

[ThreeDHead]

broadcast: 60129542180

видимо это происходит когда сеть штормит?

 

это читали?

http://download.intel.com/design/network/applnots/319935.pdf

Нет, не штормит сеть, там в статистике значения ошибок крутятся в хаотическом порядке, с примерно похожими по всем позициям значениями. Скорее либо аппаратная неисправность, либо совместимость с ОС, либо коммутатор.

Но пока эту платку отложили, обошлись RSPAN'ом.

[kayot]

Вообще ненулевое значение rx_no_buffer_count: 60129542130 говорит что у сетевки закончились кольцевые буферы, пакеты приходят быстрее чем драйвер успевает их из очереди доставать.

Посмотрите дефолтное и максимальное значение размера буферов ethtool -g eth1, и попробуйте их увеличить до половины максимального или вообще до максимума

ethtool -G eth1 rx 4096

Edited September 20, 2010 by kayot

[ThreeDHead]

Вообще ненулевое значение rx_no_buffer_count: 60129542130 говорит что у сетевки закончились кольцевые буферы, пакеты приходят быстрее чем драйвер успевает их из очереди доставать.

Посмотрите дефолтное и максимальное значение размера буферов ethtool -g eth1, и попробуйте их увеличить до половины максимального или вообще до максимума

ethtool -G eth1 rx 4096

Да нет, тут не в буфере дело, ~60 _миллиардов_ пакетов показывает счетчик за один миг, раз и всё! Это бага, где, не в курсе, в другой раз поищу, а пока для меня этот вопрос снят.