ixgbe высокий ping

[pr0lan]

Собрали роутер на резерв (debian 8), все конфиги скопипастили с работающего. Запустили ночью на проверку, а вечером начали жаловаться геймеры.

При проверке оказалось, что arping до среднего клиента возрос с ~1ms до ~100ms (да именно арпинг, обычно это 100-700 микросекунд). При этом ошибок не сыпало.

Нагрузка - сопоставима со старым железом (по параметрам почти один в один), разница основная драйвера version: 4.3.15 и version: 5.5.5. 

(10.35 - айпи злополучной 10Г сетевухи)

ARPING 192.168.10.35
60 bytes from 00:1b:21:ba:d1:62 (192.168.10.35): index=0 time=486.119 usec
60 bytes from 00:1b:21:ba:d1:62 (192.168.10.35): index=1 time=429.118 usec
60 bytes from 00:1b:21:ba:d1:62 (192.168.10.35): index=2 time=403.706 usec

 

А вот если arping кого-то с этой машинки:

ARPING 192.168.10.1
60 bytes from 90:e2:ba:84:32:68 (192.168.10.1): index=0 time=91.475 msec
60 bytes from 90:e2:ba:84:32:68 (192.168.10.1): index=1 time=34.131 msec
60 bytes from 90:e2:ba:84:32:68 (192.168.10.1): index=2 time=31.191 msec
60 bytes from 90:e2:ba:84:32:68 (192.168.10.1): index=3 time=31.275 msec
60 bytes from 90:e2:ba:84:32:68 (192.168.10.1): index=4 time=68.214 msec
 

Карточка заказана в Китае.

 

 

Вопрос знатокам:

выбросить карточку? 

[pppoetest]

Мало вводных данных. Чтобы думать на карту, надо смотреть ошибки, дропы, вобщем ethtool в помощь. Если там всё норм, смотреть в сторону ОС

[pr0lan]

1 час назад, pppoetest сказал:

Мало вводных данных. Чтобы думать на карту, надо смотреть ошибки, дропы, вобщем ethtool в помощь. Если там всё норм, смотреть в сторону ОС

По ethtool - норма. Драйвер поставил тот же, что и на робочей машине.

Рабочая -  3.2.0-4-amd64 #1 SMP Debian 3.2.96-2 x86_64 GNU/Linux

Резерв (с глюками) -  3.16.0-6-amd64 #1 SMP Debian 3.16.57-2 (2018-07-14) x86_64 GNU/Linux

 

Все конфиги - одинаковые. 

[Avad0n]

В одно ядро траффик случайно не уперся?

[pr0lan]

1 минуту назад, Avad0n сказал:

В одно ядро траффик случайно не уперся?

smp affinyty такие же (нормально разбросано). И повторюсь, сейчас машинка без нагрузки, прибил леваковый IP и с нее пингаю клиентов в той же подсети, арпинг - сотни ms.

[pr0lan]

Грешил на сетевуху, привезли такую же - эффект тот же. В общем пока не знаю куда смотреть. Дело не в карточке, жаль. Так бы вопрос был решен.

[orlik]

Снесите родное ядро, и пересоберите ручками что-то посвежее (4.хх) . У меня после заменыродного ядра на самосборное нагрузка на процессор очень сильно падала.  

Вообще arping в данном случае не показатель , что с транзитными пакетами ?

 

 

[Dimka88]

Какое у карты название? Давайте все же посмотрим

 ethtool -S ethX

ethtool -c ethX

 

[Ivan_83]

Там же есть отложенные прерывания и очередь, я бы покрутил их.

[pr0lan]

Скрытый текст

Ring parameters for eth1:
Pre-set maximums:
RX:        4096
RX Mini:    0
RX Jumbo:    0
TX:        4096
Current hardware settings:
RX:        512
RX Mini:    0
RX Jumbo:    0
TX:        512

Coalesce parameters for eth1:
Adaptive RX: off  TX: off
stats-block-usecs: 0
sample-interval: 0
pkt-rate-low: 0
pkt-rate-high: 0

rx-usecs: 576
rx-frames: 0
rx-usecs-irq: 0
rx-frames-irq: 0

tx-usecs: 0
tx-frames: 0
tx-usecs-irq: 0
tx-frames-irq: 256

rx-usecs-low: 0
rx-frame-low: 0
tx-usecs-low: 0
tx-frame-low: 0

rx-usecs-high: 0
rx-frame-high: 0
tx-usecs-high: 0
tx-frame-high: 0

NIC statistics:
     rx_packets: 18533
     tx_packets: 680
     rx_bytes: 1177931
     tx_bytes: 157388
     rx_errors: 0
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     multicast: 115
     collisions: 0
     rx_over_errors: 0
     rx_crc_errors: 0
     rx_frame_errors: 0
     rx_fifo_errors: 0
     rx_missed_errors: 0
     tx_aborted_errors: 0
     tx_carrier_errors: 0
     tx_fifo_errors: 0
     tx_heartbeat_errors: 0
     rx_pkts_nic: 18533
     tx_pkts_nic: 680
     rx_bytes_nic: 1256775
     tx_bytes_nic: 163998
     lsc_int: 2
     tx_busy: 0
     non_eop_descs: 0
     broadcast: 17820
     rx_no_buffer_count: 0
     tx_timeout_count: 0
     tx_restart_queue: 0
     rx_long_length_errors: 0
     rx_short_length_errors: 0
     tx_flow_control_xon: 0
     rx_flow_control_xon: 0
     tx_flow_control_xoff: 0
     rx_flow_control_xoff: 0
     rx_csum_offload_errors: 0
     alloc_rx_page_failed: 0
     alloc_rx_buff_failed: 0
     lro_aggregated: 0
     lro_flushed: 0
     rx_no_dma_resources: 0
     hw_rsc_aggregated: 0
     hw_rsc_flushed: 0
     fdir_match: 575
     fdir_miss: 205
     fdir_overflow: 0
     fcoe_bad_fccrc: 0
     fcoe_last_errors: 0
     rx_fcoe_dropped: 0
     rx_fcoe_packets: 0
     rx_fcoe_dwords: 0
     fcoe_noddp: 0
     fcoe_noddp_ext_buff: 0
     tx_fcoe_packets: 0
     tx_fcoe_dwords: 0
     os2bmc_rx_by_bmc: 0
     os2bmc_tx_by_bmc: 0
     os2bmc_tx_by_host: 0
     os2bmc_rx_by_host: 0
     tx_hwtstamp_timeouts: 0
     rx_hwtstamp_cleared: 0
     tx_queue_0_packets: 358
     tx_queue_0_bytes: 73119
     tx_queue_0_bp_napi_yield: 0
     tx_queue_0_bp_misses: 0
     tx_queue_0_bp_cleaned: 0
     tx_queue_1_packets: 223
     tx_queue_1_bytes: 71000
     tx_queue_1_bp_napi_yield: 0
     tx_queue_1_bp_misses: 0
     tx_queue_1_bp_cleaned: 0
     tx_queue_2_packets: 80
     tx_queue_2_bytes: 11775
     tx_queue_2_bp_napi_yield: 0
     tx_queue_2_bp_misses: 0
     tx_queue_2_bp_cleaned: 0
     tx_queue_3_packets: 19
     tx_queue_3_bytes: 1494
     tx_queue_3_bp_napi_yield: 0
     tx_queue_3_bp_misses: 0
     tx_queue_3_bp_cleaned: 0
     tx_queue_4_packets: 0
     tx_queue_4_bytes: 0
     tx_queue_4_bp_napi_yield: 0
     tx_queue_4_bp_misses: 0
     tx_queue_4_bp_cleaned: 0
     tx_queue_5_packets: 0
     tx_queue_5_bytes: 0
     tx_queue_5_bp_napi_yield: 0
     tx_queue_5_bp_misses: 0
     tx_queue_5_bp_cleaned: 0
     tx_queue_6_packets: 0
     tx_queue_6_bytes: 0
     tx_queue_6_bp_napi_yield: 0
     tx_queue_6_bp_misses: 0
     tx_queue_6_bp_cleaned: 0
     tx_queue_7_packets: 0
     tx_queue_7_bytes: 0
     tx_queue_7_bp_napi_yield: 0
     tx_queue_7_bp_misses: 0
     tx_queue_7_bp_cleaned: 0
     tx_queue_8_packets: 0
     tx_queue_8_bytes: 0
     tx_queue_8_bp_napi_yield: 0
     tx_queue_8_bp_misses: 0
     tx_queue_8_bp_cleaned: 0
     tx_queue_9_packets: 0
     tx_queue_9_bytes: 0
     tx_queue_9_bp_napi_yield: 0
     tx_queue_9_bp_misses: 0
     tx_queue_9_bp_cleaned: 0
     tx_queue_10_packets: 0
     tx_queue_10_bytes: 0
     tx_queue_10_bp_napi_yield: 0
     tx_queue_10_bp_misses: 0
     tx_queue_10_bp_cleaned: 0
     tx_queue_11_packets: 0
     tx_queue_11_bytes: 0
     tx_queue_11_bp_napi_yield: 0
     tx_queue_11_bp_misses: 0
     tx_queue_11_bp_cleaned: 0
     tx_queue_12_packets: 0
     tx_queue_12_bytes: 0
     tx_queue_12_bp_napi_yield: 0
     tx_queue_12_bp_misses: 0
     tx_queue_12_bp_cleaned: 0
     tx_queue_13_packets: 0
     tx_queue_13_bytes: 0
     tx_queue_13_bp_napi_yield: 0
     tx_queue_13_bp_misses: 0
     tx_queue_13_bp_cleaned: 0
     tx_queue_14_packets: 0
     tx_queue_14_bytes: 0
     tx_queue_14_bp_napi_yield: 0
     tx_queue_14_bp_misses: 0
     tx_queue_14_bp_cleaned: 0
     tx_queue_15_packets: 0
     tx_queue_15_bytes: 0
     tx_queue_15_bp_napi_yield: 0
     tx_queue_15_bp_misses: 0
     tx_queue_15_bp_cleaned: 0
     tx_queue_16_packets: 0
     tx_queue_16_bytes: 0
     tx_queue_16_bp_napi_yield: 0
     tx_queue_16_bp_misses: 0
     tx_queue_16_bp_cleaned: 0
     tx_queue_17_packets: 0
     tx_queue_17_bytes: 0
     tx_queue_17_bp_napi_yield: 0
     tx_queue_17_bp_misses: 0
     tx_queue_17_bp_cleaned: 0
     tx_queue_18_packets: 0
     tx_queue_18_bytes: 0
     tx_queue_18_bp_napi_yield: 0
     tx_queue_18_bp_misses: 0
     tx_queue_18_bp_cleaned: 0
     tx_queue_19_packets: 0
     tx_queue_19_bytes: 0
     tx_queue_19_bp_napi_yield: 0
     tx_queue_19_bp_misses: 0
     tx_queue_19_bp_cleaned: 0
     tx_queue_20_packets: 0
     tx_queue_20_bytes: 0
     tx_queue_20_bp_napi_yield: 0
     tx_queue_20_bp_misses: 0
     tx_queue_20_bp_cleaned: 0
     tx_queue_21_packets: 0
     tx_queue_21_bytes: 0
     tx_queue_21_bp_napi_yield: 0
     tx_queue_21_bp_misses: 0
     tx_queue_21_bp_cleaned: 0
     tx_queue_22_packets: 0
     tx_queue_22_bytes: 0
     tx_queue_22_bp_napi_yield: 0
     tx_queue_22_bp_misses: 0
     tx_queue_22_bp_cleaned: 0
     tx_queue_23_packets: 0
     tx_queue_23_bytes: 0
     tx_queue_23_bp_napi_yield: 0
     tx_queue_23_bp_misses: 0
     tx_queue_23_bp_cleaned: 0
     tx_queue_24_packets: 0
     tx_queue_24_bytes: 0
     tx_queue_24_bp_napi_yield: 0
     tx_queue_24_bp_misses: 0
     tx_queue_24_bp_cleaned: 0
     tx_queue_25_packets: 0
     tx_queue_25_bytes: 0
     tx_queue_25_bp_napi_yield: 0
     tx_queue_25_bp_misses: 0
     tx_queue_25_bp_cleaned: 0
     tx_queue_26_packets: 0
     tx_queue_26_bytes: 0
     tx_queue_26_bp_napi_yield: 0
     tx_queue_26_bp_misses: 0
     tx_queue_26_bp_cleaned: 0
     tx_queue_27_packets: 0
     tx_queue_27_bytes: 0
     tx_queue_27_bp_napi_yield: 0
     tx_queue_27_bp_misses: 0
     tx_queue_27_bp_cleaned: 0
     tx_queue_28_packets: 0
     tx_queue_28_bytes: 0
     tx_queue_28_bp_napi_yield: 0
     tx_queue_28_bp_misses: 0
     tx_queue_28_bp_cleaned: 0
     tx_queue_29_packets: 0
     tx_queue_29_bytes: 0
     tx_queue_29_bp_napi_yield: 0
     tx_queue_29_bp_misses: 0
     tx_queue_29_bp_cleaned: 0
     tx_queue_30_packets: 0
     tx_queue_30_bytes: 0
     tx_queue_30_bp_napi_yield: 0
     tx_queue_30_bp_misses: 0
     tx_queue_30_bp_cleaned: 0
     tx_queue_31_packets: 0
     tx_queue_31_bytes: 0
     tx_queue_31_bp_napi_yield: 0
     tx_queue_31_bp_misses: 0
     tx_queue_31_bp_cleaned: 0
     tx_queue_32_packets: 0
     tx_queue_32_bytes: 0
     tx_queue_32_bp_napi_yield: 0
     tx_queue_32_bp_misses: 0
     tx_queue_32_bp_cleaned: 0
     tx_queue_33_packets: 0
     tx_queue_33_bytes: 0
     tx_queue_33_bp_napi_yield: 0
     tx_queue_33_bp_misses: 0
     tx_queue_33_bp_cleaned: 0
     tx_queue_34_packets: 0
     tx_queue_34_bytes: 0
     tx_queue_34_bp_napi_yield: 0
     tx_queue_34_bp_misses: 0
     tx_queue_34_bp_cleaned: 0
     tx_queue_35_packets: 0
     tx_queue_35_bytes: 0
     tx_queue_35_bp_napi_yield: 0
     tx_queue_35_bp_misses: 0
     tx_queue_35_bp_cleaned: 0
     tx_queue_36_packets: 0
     tx_queue_36_bytes: 0
     tx_queue_36_bp_napi_yield: 0
     tx_queue_36_bp_misses: 0
     tx_queue_36_bp_cleaned: 0
     tx_queue_37_packets: 0
     tx_queue_37_bytes: 0
     tx_queue_37_bp_napi_yield: 0
     tx_queue_37_bp_misses: 0
     tx_queue_37_bp_cleaned: 0
     tx_queue_38_packets: 0
     tx_queue_38_bytes: 0
     tx_queue_38_bp_napi_yield: 0
     tx_queue_38_bp_misses: 0
     tx_queue_38_bp_cleaned: 0
     tx_queue_39_packets: 0
     tx_queue_39_bytes: 0
     tx_queue_39_bp_napi_yield: 0
     tx_queue_39_bp_misses: 0
     tx_queue_39_bp_cleaned: 0
     tx_queue_40_packets: 0
     tx_queue_40_bytes: 0
     tx_queue_40_bp_napi_yield: 0
     tx_queue_40_bp_misses: 0
     tx_queue_40_bp_cleaned: 0
     tx_queue_41_packets: 0
     tx_queue_41_bytes: 0
     tx_queue_41_bp_napi_yield: 0
     tx_queue_41_bp_misses: 0
     tx_queue_41_bp_cleaned: 0
     tx_queue_42_packets: 0
     tx_queue_42_bytes: 0
     tx_queue_42_bp_napi_yield: 0
     tx_queue_42_bp_misses: 0
     tx_queue_42_bp_cleaned: 0
     tx_queue_43_packets: 0
     tx_queue_43_bytes: 0
     tx_queue_43_bp_napi_yield: 0
     tx_queue_43_bp_misses: 0
     tx_queue_43_bp_cleaned: 0
     tx_queue_44_packets: 0
     tx_queue_44_bytes: 0
     tx_queue_44_bp_napi_yield: 0
     tx_queue_44_bp_misses: 0
     tx_queue_44_bp_cleaned: 0
     tx_queue_45_packets: 0
     tx_queue_45_bytes: 0
     tx_queue_45_bp_napi_yield: 0
     tx_queue_45_bp_misses: 0
     tx_queue_45_bp_cleaned: 0
     tx_queue_46_packets: 0
     tx_queue_46_bytes: 0
     tx_queue_46_bp_napi_yield: 0
     tx_queue_46_bp_misses: 0
     tx_queue_46_bp_cleaned: 0
     tx_queue_47_packets: 0
     tx_queue_47_bytes: 0
     tx_queue_47_bp_napi_yield: 0
     tx_queue_47_bp_misses: 0
     tx_queue_47_bp_cleaned: 0
     tx_queue_48_packets: 0
     tx_queue_48_bytes: 0
     tx_queue_48_bp_napi_yield: 0
     tx_queue_48_bp_misses: 0
     tx_queue_48_bp_cleaned: 0
     tx_queue_49_packets: 0
     tx_queue_49_bytes: 0
     tx_queue_49_bp_napi_yield: 0
     tx_queue_49_bp_misses: 0
     tx_queue_49_bp_cleaned: 0
     tx_queue_50_packets: 0
     tx_queue_50_bytes: 0
     tx_queue_50_bp_napi_yield: 0
     tx_queue_50_bp_misses: 0
     tx_queue_50_bp_cleaned: 0
     tx_queue_51_packets: 0
     tx_queue_51_bytes: 0
     tx_queue_51_bp_napi_yield: 0
     tx_queue_51_bp_misses: 0
     tx_queue_51_bp_cleaned: 0
     tx_queue_52_packets: 0
     tx_queue_52_bytes: 0
     tx_queue_52_bp_napi_yield: 0
     tx_queue_52_bp_misses: 0
     tx_queue_52_bp_cleaned: 0
     tx_queue_53_packets: 0
     tx_queue_53_bytes: 0
     tx_queue_53_bp_napi_yield: 0
     tx_queue_53_bp_misses: 0
     tx_queue_53_bp_cleaned: 0
     tx_queue_54_packets: 0
     tx_queue_54_bytes: 0
     tx_queue_54_bp_napi_yield: 0
     tx_queue_54_bp_misses: 0
     tx_queue_54_bp_cleaned: 0
     tx_queue_55_packets: 0
     tx_queue_55_bytes: 0
     tx_queue_55_bp_napi_yield: 0
     tx_queue_55_bp_misses: 0
     tx_queue_55_bp_cleaned: 0
     tx_queue_56_packets: 0
     tx_queue_56_bytes: 0
     tx_queue_56_bp_napi_yield: 0
     tx_queue_56_bp_misses: 0
     tx_queue_56_bp_cleaned: 0
     tx_queue_57_packets: 0
     tx_queue_57_bytes: 0
     tx_queue_57_bp_napi_yield: 0
     tx_queue_57_bp_misses: 0
     tx_queue_57_bp_cleaned: 0
     tx_queue_58_packets: 0
     tx_queue_58_bytes: 0
     tx_queue_58_bp_napi_yield: 0
     tx_queue_58_bp_misses: 0
     tx_queue_58_bp_cleaned: 0
     tx_queue_59_packets: 0
     tx_queue_59_bytes: 0
     tx_queue_59_bp_napi_yield: 0
     tx_queue_59_bp_misses: 0
     tx_queue_59_bp_cleaned: 0
     tx_queue_60_packets: 0
     tx_queue_60_bytes: 0
     tx_queue_60_bp_napi_yield: 0
     tx_queue_60_bp_misses: 0
     tx_queue_60_bp_cleaned: 0
     tx_queue_61_packets: 0
     tx_queue_61_bytes: 0
     tx_queue_61_bp_napi_yield: 0
     tx_queue_61_bp_misses: 0
     tx_queue_61_bp_cleaned: 0
     tx_queue_62_packets: 0
     tx_queue_62_bytes: 0
     tx_queue_62_bp_napi_yield: 0
     tx_queue_62_bp_misses: 0
     tx_queue_62_bp_cleaned: 0
     tx_queue_63_packets: 0
     tx_queue_63_bytes: 0
     tx_queue_63_bp_napi_yield: 0
     tx_queue_63_bp_misses: 0
     tx_queue_63_bp_cleaned: 0
     tx_queue_64_packets: 0
     tx_queue_64_bytes: 0
     tx_queue_64_bp_napi_yield: 0
     tx_queue_64_bp_misses: 0
     tx_queue_64_bp_cleaned: 0
     tx_queue_65_packets: 0
     tx_queue_65_bytes: 0
     tx_queue_65_bp_napi_yield: 0
     tx_queue_65_bp_misses: 0
     tx_queue_65_bp_cleaned: 0
     tx_queue_66_packets: 0
     tx_queue_66_bytes: 0
     tx_queue_66_bp_napi_yield: 0
     tx_queue_66_bp_misses: 0
     tx_queue_66_bp_cleaned: 0
     tx_queue_67_packets: 0
     tx_queue_67_bytes: 0
     tx_queue_67_bp_napi_yield: 0
     tx_queue_67_bp_misses: 0
     tx_queue_67_bp_cleaned: 0
     tx_queue_68_packets: 0
     tx_queue_68_bytes: 0
     tx_queue_68_bp_napi_yield: 0
     tx_queue_68_bp_misses: 0
     tx_queue_68_bp_cleaned: 0
     tx_queue_69_packets: 0
     tx_queue_69_bytes: 0
     tx_queue_69_bp_napi_yield: 0
     tx_queue_69_bp_misses: 0
     tx_queue_69_bp_cleaned: 0
     tx_queue_70_packets: 0
     tx_queue_70_bytes: 0
     tx_queue_70_bp_napi_yield: 0
     tx_queue_70_bp_misses: 0
     tx_queue_70_bp_cleaned: 0
     rx_queue_0_packets: 18080
     rx_queue_0_bytes: 1129830
     rx_queue_0_bp_poll_yield: 0
     rx_queue_0_bp_misses: 0
     rx_queue_0_bp_cleaned: 0
     rx_queue_1_packets: 309
     rx_queue_1_bytes: 32383
     rx_queue_1_bp_poll_yield: 0
     rx_queue_1_bp_misses: 0
     rx_queue_1_bp_cleaned: 0
     rx_queue_2_packets: 65
     rx_queue_2_bytes: 6032
     rx_queue_2_bp_poll_yield: 0
     rx_queue_2_bp_misses: 0
     rx_queue_2_bp_cleaned: 0
     rx_queue_3_packets: 79
     rx_queue_3_bytes: 9686
     rx_queue_3_bp_poll_yield: 0
     rx_queue_3_bp_misses: 0
     rx_queue_3_bp_cleaned: 0
     rx_queue_4_packets: 0
     rx_queue_4_bytes: 0
     rx_queue_4_bp_poll_yield: 0
     rx_queue_4_bp_misses: 0
     rx_queue_4_bp_cleaned: 0
     rx_queue_5_packets: 0
     rx_queue_5_bytes: 0
     rx_queue_5_bp_poll_yield: 0
     rx_queue_5_bp_misses: 0
     rx_queue_5_bp_cleaned: 0
     rx_queue_6_packets: 0
     rx_queue_6_bytes: 0
     rx_queue_6_bp_poll_yield: 0
     rx_queue_6_bp_misses: 0
     rx_queue_6_bp_cleaned: 0
     rx_queue_7_packets: 0
     rx_queue_7_bytes: 0
     rx_queue_7_bp_poll_yield: 0
     rx_queue_7_bp_misses: 0
     rx_queue_7_bp_cleaned: 0
     rx_queue_8_packets: 0
     rx_queue_8_bytes: 0
     rx_queue_8_bp_poll_yield: 0
     rx_queue_8_bp_misses: 0
     rx_queue_8_bp_cleaned: 0
     rx_queue_9_packets: 0
     rx_queue_9_bytes: 0
     rx_queue_9_bp_poll_yield: 0
     rx_queue_9_bp_misses: 0
     rx_queue_9_bp_cleaned: 0
     rx_queue_10_packets: 0
     rx_queue_10_bytes: 0
     rx_queue_10_bp_poll_yield: 0
     rx_queue_10_bp_misses: 0
     rx_queue_10_bp_cleaned: 0
     rx_queue_11_packets: 0
     rx_queue_11_bytes: 0
     rx_queue_11_bp_poll_yield: 0
     rx_queue_11_bp_misses: 0
     rx_queue_11_bp_cleaned: 0
     rx_queue_12_packets: 0
     rx_queue_12_bytes: 0
     rx_queue_12_bp_poll_yield: 0
     rx_queue_12_bp_misses: 0
     rx_queue_12_bp_cleaned: 0
     rx_queue_13_packets: 0
     rx_queue_13_bytes: 0
     rx_queue_13_bp_poll_yield: 0
     rx_queue_13_bp_misses: 0
     rx_queue_13_bp_cleaned: 0
     rx_queue_14_packets: 0
     rx_queue_14_bytes: 0
     rx_queue_14_bp_poll_yield: 0
     rx_queue_14_bp_misses: 0
     rx_queue_14_bp_cleaned: 0
     rx_queue_15_packets: 0
     rx_queue_15_bytes: 0
     rx_queue_15_bp_poll_yield: 0
     rx_queue_15_bp_misses: 0
     rx_queue_15_bp_cleaned: 0
     rx_queue_16_packets: 0
     rx_queue_16_bytes: 0
     rx_queue_16_bp_poll_yield: 0
     rx_queue_16_bp_misses: 0
     rx_queue_16_bp_cleaned: 0
     rx_queue_17_packets: 0
     rx_queue_17_bytes: 0
     rx_queue_17_bp_poll_yield: 0
     rx_queue_17_bp_misses: 0
     rx_queue_17_bp_cleaned: 0
     rx_queue_18_packets: 0
     rx_queue_18_bytes: 0
     rx_queue_18_bp_poll_yield: 0
     rx_queue_18_bp_misses: 0
     rx_queue_18_bp_cleaned: 0
     rx_queue_19_packets: 0
     rx_queue_19_bytes: 0
     rx_queue_19_bp_poll_yield: 0
     rx_queue_19_bp_misses: 0
     rx_queue_19_bp_cleaned: 0
     rx_queue_20_packets: 0
     rx_queue_20_bytes: 0
     rx_queue_20_bp_poll_yield: 0
     rx_queue_20_bp_misses: 0
     rx_queue_20_bp_cleaned: 0
     rx_queue_21_packets: 0
     rx_queue_21_bytes: 0
     rx_queue_21_bp_poll_yield: 0
     rx_queue_21_bp_misses: 0
     rx_queue_21_bp_cleaned: 0
     rx_queue_22_packets: 0
     rx_queue_22_bytes: 0
     rx_queue_22_bp_poll_yield: 0
     rx_queue_22_bp_misses: 0
     rx_queue_22_bp_cleaned: 0
     rx_queue_23_packets: 0
     rx_queue_23_bytes: 0
     rx_queue_23_bp_poll_yield: 0
     rx_queue_23_bp_misses: 0
     rx_queue_23_bp_cleaned: 0
     rx_queue_24_packets: 0
     rx_queue_24_bytes: 0
     rx_queue_24_bp_poll_yield: 0
     rx_queue_24_bp_misses: 0
     rx_queue_24_bp_cleaned: 0
     rx_queue_25_packets: 0
     rx_queue_25_bytes: 0
     rx_queue_25_bp_poll_yield: 0
     rx_queue_25_bp_misses: 0
     rx_queue_25_bp_cleaned: 0
     rx_queue_26_packets: 0
     rx_queue_26_bytes: 0
     rx_queue_26_bp_poll_yield: 0
     rx_queue_26_bp_misses: 0
     rx_queue_26_bp_cleaned: 0
     rx_queue_27_packets: 0
     rx_queue_27_bytes: 0
     rx_queue_27_bp_poll_yield: 0
     rx_queue_27_bp_misses: 0
     rx_queue_27_bp_cleaned: 0
     rx_queue_28_packets: 0
     rx_queue_28_bytes: 0
     rx_queue_28_bp_poll_yield: 0
     rx_queue_28_bp_misses: 0
     rx_queue_28_bp_cleaned: 0
     rx_queue_29_packets: 0
     rx_queue_29_bytes: 0
     rx_queue_29_bp_poll_yield: 0
     rx_queue_29_bp_misses: 0
     rx_queue_29_bp_cleaned: 0
     rx_queue_30_packets: 0
     rx_queue_30_bytes: 0
     rx_queue_30_bp_poll_yield: 0
     rx_queue_30_bp_misses: 0
     rx_queue_30_bp_cleaned: 0
     rx_queue_31_packets: 0
     rx_queue_31_bytes: 0
     rx_queue_31_bp_poll_yield: 0
     rx_queue_31_bp_misses: 0
     rx_queue_31_bp_cleaned: 0
     rx_queue_32_packets: 0
     rx_queue_32_bytes: 0
     rx_queue_32_bp_poll_yield: 0
     rx_queue_32_bp_misses: 0
     rx_queue_32_bp_cleaned: 0
     rx_queue_33_packets: 0
     rx_queue_33_bytes: 0
     rx_queue_33_bp_poll_yield: 0
     rx_queue_33_bp_misses: 0
     rx_queue_33_bp_cleaned: 0
     rx_queue_34_packets: 0
     rx_queue_34_bytes: 0
     rx_queue_34_bp_poll_yield: 0
     rx_queue_34_bp_misses: 0
     rx_queue_34_bp_cleaned: 0
     rx_queue_35_packets: 0
     rx_queue_35_bytes: 0
     rx_queue_35_bp_poll_yield: 0
     rx_queue_35_bp_misses: 0
     rx_queue_35_bp_cleaned: 0
     rx_queue_36_packets: 0
     rx_queue_36_bytes: 0
     rx_queue_36_bp_poll_yield: 0
     rx_queue_36_bp_misses: 0
     rx_queue_36_bp_cleaned: 0
     rx_queue_37_packets: 0
     rx_queue_37_bytes: 0
     rx_queue_37_bp_poll_yield: 0
     rx_queue_37_bp_misses: 0
     rx_queue_37_bp_cleaned: 0
     rx_queue_38_packets: 0
     rx_queue_38_bytes: 0
     rx_queue_38_bp_poll_yield: 0
     rx_queue_38_bp_misses: 0
     rx_queue_38_bp_cleaned: 0
     rx_queue_39_packets: 0
     rx_queue_39_bytes: 0
     rx_queue_39_bp_poll_yield: 0
     rx_queue_39_bp_misses: 0
     rx_queue_39_bp_cleaned: 0
     rx_queue_40_packets: 0
     rx_queue_40_bytes: 0
     rx_queue_40_bp_poll_yield: 0
     rx_queue_40_bp_misses: 0
     rx_queue_40_bp_cleaned: 0
     rx_queue_41_packets: 0
     rx_queue_41_bytes: 0
     rx_queue_41_bp_poll_yield: 0
     rx_queue_41_bp_misses: 0
     rx_queue_41_bp_cleaned: 0
     rx_queue_42_packets: 0
     rx_queue_42_bytes: 0
     rx_queue_42_bp_poll_yield: 0
     rx_queue_42_bp_misses: 0
     rx_queue_42_bp_cleaned: 0
     rx_queue_43_packets: 0
     rx_queue_43_bytes: 0
     rx_queue_43_bp_poll_yield: 0
     rx_queue_43_bp_misses: 0
     rx_queue_43_bp_cleaned: 0
     rx_queue_44_packets: 0
     rx_queue_44_bytes: 0
     rx_queue_44_bp_poll_yield: 0
     rx_queue_44_bp_misses: 0
     rx_queue_44_bp_cleaned: 0
     rx_queue_45_packets: 0
     rx_queue_45_bytes: 0
     rx_queue_45_bp_poll_yield: 0
     rx_queue_45_bp_misses: 0
     rx_queue_45_bp_cleaned: 0
     rx_queue_46_packets: 0
     rx_queue_46_bytes: 0
     rx_queue_46_bp_poll_yield: 0
     rx_queue_46_bp_misses: 0
     rx_queue_46_bp_cleaned: 0
     rx_queue_47_packets: 0
     rx_queue_47_bytes: 0
     rx_queue_47_bp_poll_yield: 0
     rx_queue_47_bp_misses: 0
     rx_queue_47_bp_cleaned: 0
     rx_queue_48_packets: 0
     rx_queue_48_bytes: 0
     rx_queue_48_bp_poll_yield: 0
     rx_queue_48_bp_misses: 0
     rx_queue_48_bp_cleaned: 0
     rx_queue_49_packets: 0
     rx_queue_49_bytes: 0
     rx_queue_49_bp_poll_yield: 0
     rx_queue_49_bp_misses: 0
     rx_queue_49_bp_cleaned: 0
     rx_queue_50_packets: 0
     rx_queue_50_bytes: 0
     rx_queue_50_bp_poll_yield: 0
     rx_queue_50_bp_misses: 0
     rx_queue_50_bp_cleaned: 0
     rx_queue_51_packets: 0
     rx_queue_51_bytes: 0
     rx_queue_51_bp_poll_yield: 0
     rx_queue_51_bp_misses: 0
     rx_queue_51_bp_cleaned: 0
     rx_queue_52_packets: 0
     rx_queue_52_bytes: 0
     rx_queue_52_bp_poll_yield: 0
     rx_queue_52_bp_misses: 0
     rx_queue_52_bp_cleaned: 0
     rx_queue_53_packets: 0
     rx_queue_53_bytes: 0
     rx_queue_53_bp_poll_yield: 0
     rx_queue_53_bp_misses: 0
     rx_queue_53_bp_cleaned: 0
     rx_queue_54_packets: 0
     rx_queue_54_bytes: 0
     rx_queue_54_bp_poll_yield: 0
     rx_queue_54_bp_misses: 0
     rx_queue_54_bp_cleaned: 0
     rx_queue_55_packets: 0
     rx_queue_55_bytes: 0
     rx_queue_55_bp_poll_yield: 0
     rx_queue_55_bp_misses: 0
     rx_queue_55_bp_cleaned: 0
     rx_queue_56_packets: 0
     rx_queue_56_bytes: 0
     rx_queue_56_bp_poll_yield: 0
     rx_queue_56_bp_misses: 0
     rx_queue_56_bp_cleaned: 0
     rx_queue_57_packets: 0
     rx_queue_57_bytes: 0
     rx_queue_57_bp_poll_yield: 0
     rx_queue_57_bp_misses: 0
     rx_queue_57_bp_cleaned: 0
     rx_queue_58_packets: 0
     rx_queue_58_bytes: 0
     rx_queue_58_bp_poll_yield: 0
     rx_queue_58_bp_misses: 0
     rx_queue_58_bp_cleaned: 0
     rx_queue_59_packets: 0
     rx_queue_59_bytes: 0
     rx_queue_59_bp_poll_yield: 0
     rx_queue_59_bp_misses: 0
     rx_queue_59_bp_cleaned: 0
     rx_queue_60_packets: 0
     rx_queue_60_bytes: 0
     rx_queue_60_bp_poll_yield: 0
     rx_queue_60_bp_misses: 0
     rx_queue_60_bp_cleaned: 0
     rx_queue_61_packets: 0
     rx_queue_61_bytes: 0
     rx_queue_61_bp_poll_yield: 0
     rx_queue_61_bp_misses: 0
     rx_queue_61_bp_cleaned: 0
     rx_queue_62_packets: 0
     rx_queue_62_bytes: 0
     rx_queue_62_bp_poll_yield: 0
     rx_queue_62_bp_misses: 0
     rx_queue_62_bp_cleaned: 0
     rx_queue_63_packets: 0
     rx_queue_63_bytes: 0
     rx_queue_63_bp_poll_yield: 0
     rx_queue_63_bp_misses: 0
     rx_queue_63_bp_cleaned: 0
     rx_queue_64_packets: 0
     rx_queue_64_bytes: 0
     rx_queue_64_bp_poll_yield: 0
     rx_queue_64_bp_misses: 0
     rx_queue_64_bp_cleaned: 0
     rx_queue_65_packets: 0
     rx_queue_65_bytes: 0
     rx_queue_65_bp_poll_yield: 0
     rx_queue_65_bp_misses: 0
     rx_queue_65_bp_cleaned: 0
     rx_queue_66_packets: 0
     rx_queue_66_bytes: 0
     rx_queue_66_bp_poll_yield: 0
     rx_queue_66_bp_misses: 0
     rx_queue_66_bp_cleaned: 0
     rx_queue_67_packets: 0
     rx_queue_67_bytes: 0
     rx_queue_67_bp_poll_yield: 0
     rx_queue_67_bp_misses: 0
     rx_queue_67_bp_cleaned: 0
     rx_queue_68_packets: 0
     rx_queue_68_bytes: 0
     rx_queue_68_bp_poll_yield: 0
     rx_queue_68_bp_misses: 0
     rx_queue_68_bp_cleaned: 0
     rx_queue_69_packets: 0
     rx_queue_69_bytes: 0
     rx_queue_69_bp_poll_yield: 0
     rx_queue_69_bp_misses: 0
     rx_queue_69_bp_cleaned: 0
     rx_queue_70_packets: 0
     rx_queue_70_bytes: 0
     rx_queue_70_bp_poll_yield: 0
     rx_queue_70_bp_misses: 0
     rx_queue_70_bp_cleaned: 0
     tx_pb_0_pxon: 0
     tx_pb_0_pxoff: 0
     tx_pb_1_pxon: 0
     tx_pb_1_pxoff: 0
     tx_pb_2_pxon: 0
     tx_pb_2_pxoff: 0
     tx_pb_3_pxon: 0
     tx_pb_3_pxoff: 0
     tx_pb_4_pxon: 0
     tx_pb_4_pxoff: 0
     tx_pb_5_pxon: 0
     tx_pb_5_pxoff: 0
     tx_pb_6_pxon: 0
     tx_pb_6_pxoff: 0
     tx_pb_7_pxon: 0
     tx_pb_7_pxoff: 0
     rx_pb_0_pxon: 0
     rx_pb_0_pxoff: 0
     rx_pb_1_pxon: 0
     rx_pb_1_pxoff: 0
     rx_pb_2_pxon: 0
     rx_pb_2_pxoff: 0
     rx_pb_3_pxon: 0
     rx_pb_3_pxoff: 0
     rx_pb_4_pxon: 0
     rx_pb_4_pxoff: 0
     rx_pb_5_pxon: 0
     rx_pb_5_pxoff: 0
     rx_pb_6_pxon: 0
     rx_pb_6_pxoff: 0
     rx_pb_7_pxon: 0
     rx_pb_7_pxoff: 0
Features for eth1:
rx-checksumming: on
tx-checksumming: on
    tx-checksum-ipv4: on
    tx-checksum-ip-generic: off [fixed]
    tx-checksum-ipv6: on
    tx-checksum-fcoe-crc: off [fixed]
    tx-checksum-sctp: on
scatter-gather: on
    tx-scatter-gather: on
    tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
    tx-tcp-segmentation: on
    tx-tcp-ecn-segmentation: off [fixed]
    tx-tcp6-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
busy-poll: on [fixed]
driver: ixgbe
version: 4.3.15
firmware-version: 0x2b2c0001
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no
 

 

 

 

01:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
 

Параметры сетевых одинаковы на разных машинах (по крайней мере те, что сам меняю, может дефолт и разный)

Арпинг не показатель, но это то, что в глаза бросилось по отличиям с первой работающей машинкой.

 

Edited March 24, 2019 by pr0lan

[Avad0n]

tso gso gro в off тоже бы закинуть.

[Dimka88]

4 часа назад, pr0lan сказал:

Параметры сетевых одинаковы на разных машинах (по крайней мере те, что сам меняю, может дефолт и разный)

Арпинг не показатель, но это то, что в глаза бросилось по отличиям с первой работающей машинкой.

ethtool -G eth1 rx 4096 tx 4096
ethtool -C eth1 rx-usecs 0

после выполнения, покажите еще раз arping

[pr0lan]

В 24.03.2019 в 17:22, Dimka88 сказал:

ethtool -G eth1 rx 4096 tx 4096
ethtool -C eth1 rx-usecs 0

после выполнения, покажите еще раз arping

ARPING 192.168.10.34
60 bytes from 78:44:76:59:62:f8 (192.168.10.34): index=0 time=83.292 msec
60 bytes from 78:44:76:59:62:f8 (192.168.10.34): index=1 time=89.644 msec
60 bytes from 78:44:76:59:62:f8 (192.168.10.34): index=2 time=87.151 msec
60 bytes from 78:44:76:59:62:f8 (192.168.10.34): index=3 time=11.547 msec
 

 

такой же высокий...

[TriKS]

ixgbe после 5.3.8 текут на дебиане 9. ядро 4.9.

Попробуйте ядро посвежей, ну и дровишки откатить.

[pr0lan]

2 часа назад, TriKS сказал:

ixgbe после 5.3.8 текут на дебиане 9. ядро 4.9.

Попробуйте ядро посвежей, ну и дровишки откатить.

На 8.11 поставлен драйвер 4.3.15 (тот же что на старой машинке). Перейду конечно на 9-й, просто все скрипты пока увязаываются на systemd

 

[v_r]

А если попробовать rx-usecs 10 и tx-usecs 10 ?

 

[pr0lan]

В 31.03.2019 в 07:00, v_r сказал:

А если попробовать rx-usecs 10 и tx-usecs 10 ?

 

Тоже не дало результата.

 

Нашел жесткий диск еще с 7-м дебианом  - arping < 1000 usec, так что железо исключил наверняка. 

Балуюсь с 9-м - arping 1-15 ms(уже лучше чем было), пинг до этих же хостов - 1-2 мс.

 

Linux d-9 4.9.0-8-amd64 #1 SMP Debian 4.9.144-3.1 (2019-02-19) x86_64 GNU/Linux


driver: ixgbe
version: 5.5.5
firmware-version: 0x2b2c0001
expansion-rom-version:
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

 

Докручу - попробую ночью переключить, но все же мне такой арпинг не очень нравится. 

Если кому не сложно посмотрите арпинг от шлюза до хостов клиентов, у кого что твориться.

 

[h3ll1]

tc qdisc del dev XXX может на помочь.

[pr0lan]

19 минут назад, h3ll1 сказал:

tc qdisc del dev XXX может на помочь.

Напоминаю, система голая, стоит как обычный хост без нагрузки. Никаких очередей кроме дефолтных нету... 

[jffulcrum]

Такая хрень была с карточками HP на 82599. Некорректно работал датчик температуры, из-за этого драйвер считал, что карточка перегрелась, и начинал тротлить. Тогда еще примерно одновременно выпустили обновления Firmware и HP, и DELL, и даже Huawei - возможно, проблема у всех была одинаковая. Но касалось вроде как только SFP-карточек - медные не затрагивало.

 

Цитата

firmware-version: 0x2b2c0001

Вот, кстати, похоже что у вас прошивка древняя, как гуано мамонта. Сейчас в карточках прошиты версии типа 0x80000ХХХ

[pr0lan]

3 часа назад, jffulcrum сказал:

Такая хрень была с карточками HP на 82599. Некорректно работал датчик температуры, из-за этого драйвер считал, что карточка перегрелась, и начинал тротлить. Тогда еще примерно одновременно выпустили обновления Firmware и HP, и DELL, и даже Huawei - возможно, проблема у всех была одинаковая. Но касалось вроде как только SFP-карточек - медные не затрагивало.

 

Вот, кстати, похоже что у вас прошивка древняя, как гуано мамонта. Сейчас в карточках прошиты версии типа 0x80000ХХХ

Может быть, но вот на Дебиан 7 с арпингом все ок. На рабочей машинке прошивка 0х5...... таки постарше. Я так понимаю в кустарных условиях прошивку не обновить? 

[jffulcrum]

2 часа назад, pr0lan сказал:

Я так понимаю в кустарных условиях прошивку не обновить? 

Гипотетически комплект утилит eeupdate в сети есть, дамп можно снять с какой-нибудь фирмовой карточки, но вероятность трупного окоченения оцениваю как достаточно высокую, и даже в случае удачи возможны спецэффекты вроде обнуления MAC-адреса, появления вендор-лока на SFP и т.п.

[pr0lan]

11 часов назад, jffulcrum сказал:

Гипотетически комплект утилит eeupdate в сети есть, дамп можно снять с какой-нибудь фирмовой карточки, но вероятность трупного окоченения оцениваю как достаточно высокую, и даже в случае удачи возможны спецэффекты вроде обнуления MAC-адреса, появления вендор-лока на SFP и т.п.

Тогда решение моей проблемы - только замена? Все равно не пойму почему на ядрах постарше все хорошо..

[pr0lan]

Фигня какая-то, доставил карту купленную года два назад в Китае.

ethtool -i eth1

driver: ixgbe
version: 5.5.5
firmware-version: 0x2b2c0001
expansion-rom-version:
bus-info: 0000:05:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

 

ethtool -i eth2
driver: ixgbe
version: 5.5.5
firmware-version: 0x2b2c0001
expansion-rom-version:
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

 

firmware-version: 0x2b2c0001  одинаковы... вот какая вероятность того, что две карты купленные в разное время в разных местах могут быть идентичны. 

Есть подозрение, что драйвер сам подтягивает нужную прошивку (не называл бы ее прям так), где-то даже такое встречал на просторах. 

[pr0lan]

Попробовал последнюю убунту 18,04,2 - все завелось без шаманства arping 100-200 usec (ядро 4.18)

Накатил на дебиан ядро 4.19 - та же печальная история   1-20 msec

 

Вот думаю что не в ядре дело.. либо же в конфиге ядра убунты отличия.

Собственно рассматриваю вариант мигрировать на убунту lts. Но придется много вещей переписать.

Потому вдруг у кого есть идеи по тому как остаться на debian - буду рад.