Перейти к содержимому
Калькуляторы

Коллеги, внезапно оказалось, что есть проблема у маршрутизатора на linux

 

Карта Intel XL710-Q2

ОС - Ubuntu 20.04, в ней bird, в нем штук пять линков с аплинками, два фуллвью и еще по мелочи

 

Как с драйвером из поставки ОС, так и со свежим от интела наблюдаю вот что: в один поток скорость аплоада в интернет с даунлинков крайне мала, в пределах 5-10 мегабит.

Аплоад с самой машины в один поток без всяких проблем, очень быстро.

 

Даунлоад у клиентов без проблем, очень быстро тоже.

 

На машине ни шейпера, ни натов, ничего такого нет.

 

Еще интересный эффект - если машину перезагрузить, то сразу после того, как поднимется маршрутизация, скорось на аплоад хорошая, но буквально через тридцать секунд падает. В логах при этом ничего криминального не происходит. 

 

В какую сторону копать? 

Изменено пользователем vsmith80

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, vsmith80 сказал:

Коллеги, внезапно оказалось, что есть проблема у маршрутизатора на linux

 

Карта Intel XL710-Q2

ОС - Ubuntu 20.04, в ней bird, в нем штук пять линков с аплинками, два фуллвью и еще по мелочи

 

Как с драйвером из поставки ОС, так и со свежим от интела наблюдаю вот что: в один поток скорость аплоада в интернет с даунлинков крайне мала, в пределах 5-10 мегабит.

Аплоад с самой машины в один поток без всяких проблем, очень быстро.

 

Даунлоад у клиентов без проблем, очень быстро тоже.

 

На машине ни шейпера, ни натов, ничего такого нет.

 

Еще интересный эффект - если машину перезагрузить, то сразу после того, как поднимется маршрутизация, скорось на аплоад хорошая, но буквально через тридцать секунд падает. В логах при этом ничего криминального не происходит. 

 

В какую сторону копать? 

 

Добрый день.

Тюнили сетевую карту через ethtool (отключение оффлоадов, gro,tso,lro и прочее)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

33 minutes ago, John_obn said:

Добрый день.

Тюнили сетевую карту через ethtool (отключение оффлоадов, gro,tso,lro и прочее)?

Да, конечно, все гайды перечитал, все сделал. Просто если этого не сделать - то оно в много потоков и в обе стороны будет плохо под нагрузкой, и там спецэффекты вполне определенные наблюдаются. Тут ничего похожего, просто в один поток транзитный трафик в интернет очень медленный.

Изменено пользователем vsmith80

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 hour ago, vsmith80 said:

В какую сторону копать? 

Flow Control выключен? (выключить)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 minutes ago, rm_ said:

Flow Control выключен? (выключить)

Выключен

/etc/network# ethtool -a ens6f0
Pause parameters for ens6f0:
Autonegotiate:  off
RX:             off
TX:             off


/etc/network# ethtool -a ens6f1
Pause parameters for ens6f0:
Autonegotiate:  off
RX:             off
TX:             off

 

На другой стороне:

 

#show interfaces status fo 1/0/1
                                             Flow Link           Uptime       Back   Mdix
Port     Type         Duplex  Speed Neg      ctrl State         (d,h:m:s)   Pressure Mode    Port Mode (VLAN)
-------- ------------ ------  ----- -------- ---- ----------- ------------- -------- ------- ------------------------
fo1/0/1  40G-Fiber    Full    40000 Disabled Off  Up          00,06:08:09   Disabled Off     Trunk


#show interfaces status fo 1/0/2
                                             Flow Link           Uptime       Back   Mdix
Port     Type         Duplex  Speed Neg      ctrl State         (d,h:m:s)   Pressure Mode    Port Mode (VLAN)
-------- ------------ ------  ----- -------- ---- ----------- ------------- -------- ------- ------------------------
fo1/0/2  40G-Fiber    Full    40000 Disabled Off  Up          00,06:08:14   Disabled Off     Trunk


 

Изменено пользователем vsmith80

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

11 минут назад, vsmith80 сказал:

Да, конечно, все гайды перечитал, все сделал. Просто если этого не сделать - то оно в много потоков и в обе стороны будет плохо под нагрузкой, и там спецэффекты вполне определенные наблюдаются. Тут ничего похожего, просто в один поток транзитный трафик в интернет очень медленный.

 

Не совсем понял, у вас проблемы только с 1 потоком (очередью)? с остальными все ок?

Если да, то есть ли реально жалобы от клиентов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

16 minutes ago, John_obn said:

Не совсем понял, у вас проблемы только с 1 потоком (очередью)? с остальными все ок?

Если да, то есть ли реально жалобы от клиентов?

да, проблема только при передаче в интернет транзитного трафика в один поток. 

Причем начинает хорошо, скорость повышается до 30-40-50 мбит в первые три-четыре секунды, а потом падает. Эффект и на iperf Заметен, и на internet.yandex.ru, и на других мерялках подобных. Прям крайне похоже на шейпер с Burst, но шейперов у нас таких нет, у аплинков тоже.

Жалобы от клиентов да, есть, им стримить мешает. 

Изменено пользователем vsmith80

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

6 минут назад, vsmith80 сказал:

да, проблема только при передаче в интернет транзитного трафика в один поток. 

Причем начинает хорошо, скорость повышается до 30-40-50 мбит в первые три-четыре секунды, а потом падает. Эффект и на iperf Заметен, и на internet.yandex.ru, и на других мерялках подобных. 

Жалобы от клиентов да, есть, им стримить мешает. 

Думаю, вам стоит сюда выложить выводы всего тюнинга проблемного интерфейса: ethtool -k , -g , -l , -S

заодно и cat /proc/interrupts | grep <ifname>

 

С этим потоком только сейчас появились проблемы или всегда были? Что явилось триггером начала проблемы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, vsmith80 сказал:

Прям крайне похоже на шейпер с Burst, но шейперов у нас таких нет, у аплинков тоже.

Вот здесь никогда нельзя быть уверенным на все 100.

 

Предлагаю поставить свой iperf в подсеть линковки с вышестоящим провайдером и измерить скорости.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 hour ago, John_obn said:

Думаю, вам стоит сюда выложить выводы всего тюнинга проблемного интерфейса: ethtool -k , -g , -l , -S

заодно и cat /proc/interrupts | grep <ifname>

 

С этим потоком только сейчас появились проблемы или всегда были? Что явилось триггером начала проблемы?

Когда появились не могу точно сказать, к сожалению. Замечена в полный рост проблема была недавно, и сразу все прочитал что нашел по этому поводу.

Триггер - жалобы клиентов. 

 

ethtool -k ens6f0
ethtool -k ens6f1

 

Spoiler

# ethtool -k ens6f0
Features for ens6f0:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]
 

 

# ethtool -k ens6f1
Features for ens6f1:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]


 

ethtool -g ens6f0

ethtool -g ens6f1


 

Spoiler

 

# ethtool -g ens6f0
Ring parameters for ens6f0:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

# ethtool -g ens6f1
Ring parameters for ens6f1:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

 

ethtool -l ens6f0

ethtool -l ens6f1

 

Spoiler

 

# ethtool -l ens6f0
Channel parameters for ens6f0:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 

# ethtool -l ens6f1
Channel parameters for ens6f1:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 


ethtool -S ens6f0

ethtool -S ens6f1

 

Spoiler

# ethtool -S ens6f0
NIC statistics:
     rx_packets: 7688052688
     tx_packets: 2545625949
     rx_bytes: 9060462491339
     tx_bytes: 1589932359316
     rx_errors: 10544
     tx_errors: 0
     rx_dropped: 970
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 10485
     rx_unicast: 7675954509
     tx_unicast: 2545495933
     rx_multicast: 1672143
     tx_multicast: 0
     rx_broadcast: 10425465
     tx_broadcast: 112584
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 42254867
     tx-0.bytes: 33469877807
     rx-0.packets: 885524925
     rx-0.bytes: 1022983042875
     tx-1.packets: 45615267
     tx-1.bytes: 35014603616
     rx-1.packets: 899732412
     rx-1.bytes: 1061899278156
     tx-2.packets: 1386175248
     tx-2.bytes: 717569057741
     rx-2.packets: 1063515811
     rx-2.bytes: 1218804664675
     tx-3.packets: 248471416
     tx-3.bytes: 194171652875
     rx-3.packets: 1008175010
     rx-3.bytes: 1191141301084
     tx-4.packets: 167340946
     tx-4.bytes: 121743646291
     rx-4.packets: 909497304
     rx-4.bytes: 1098757642203
     tx-5.packets: 182581807
     tx-5.bytes: 126013372934
     rx-5.packets: 924177092
     rx-5.bytes: 1101322775402
     tx-6.packets: 244424997
     tx-6.bytes: 185341095941
     rx-6.packets: 1000520123
     rx-6.bytes: 1187991834302
     tx-7.packets: 228761401
     tx-7.bytes: 176609052111
     rx-7.packets: 996910012
     rx-7.bytes: 1177561952708
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 9091348162021
     port.tx_bytes: 1600763841553
     port.rx_unicast: 7675964222
     port.tx_unicast: 2545495925
     port.rx_multicast: 3175811
     port.tx_multicast: 850
     port.rx_broadcast: 10425464
     port.tx_broadcast: 112584
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 10485
     port.illegal_bytes: 59
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 183436120
     port.rx_size_127: 1013173141
     port.rx_size_255: 263759971
     port.rx_size_511: 147738398
     port.rx_size_1023: 163533333
     port.rx_size_1522: 5917924553
     port.rx_size_big: 0
     port.tx_size_64: 326254914
     port.tx_size_127: 957329315
     port.tx_size_255: 165935084
     port.tx_size_511: 82488490
     port.tx_size_1023: 77101308
     port.tx_size_1522: 936500255
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2796
     port.fdir_atr_match: 895363558
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 1
     port.fdir_sb_match: 0
     port.fdir_sb_status: 1
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0
# ethtool -S ens6f1
NIC statistics:
     rx_packets: 58653042
     tx_packets: 185659050
     rx_bytes: 34437415969
     tx_bytes: 210110104653
     rx_errors: 24656
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 24377
     rx_unicast: 58565906
     tx_unicast: 185357350
     rx_multicast: 1294
     tx_multicast: 1
     rx_broadcast: 1301
     tx_broadcast: 40398
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 5560877
     tx-0.bytes: 6003571748
     rx-0.packets: 8158244
     rx-0.bytes: 4192892787
     tx-1.packets: 7146219
     tx-1.bytes: 8665653140
     rx-1.packets: 6268243
     rx-1.bytes: 2813343050
     tx-2.packets: 28293273
     tx-2.bytes: 30669083191
     rx-2.packets: 6757231
     rx-2.bytes: 4295985517
     tx-3.packets: 26127906
     tx-3.bytes: 30071018207
     rx-3.packets: 9618579
     rx-3.bytes: 6250591760
     tx-4.packets: 26794552
     tx-4.bytes: 29930510739
     rx-4.packets: 5953709
     rx-4.bytes: 3331813955
     tx-5.packets: 32041907
     tx-5.bytes: 36284193143
     rx-5.packets: 6426681
     rx-5.bytes: 3475872552
     tx-6.packets: 28055944
     tx-6.bytes: 32132488554
     rx-6.packets: 7112107
     rx-6.bytes: 4254006972
     tx-7.packets: 31638372
     tx-7.bytes: 36353585931
     rx-7.packets: 8358248
     rx-7.bytes: 5822909376
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 34626039186
     port.tx_bytes: 210585446724
     port.rx_unicast: 58565897
     port.tx_unicast: 185357352
     port.rx_multicast: 1314
     port.tx_multicast: 21
     port.rx_broadcast: 1301
     port.tx_broadcast: 40398
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 24377
     port.illegal_bytes: 279
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 8309643
     port.rx_size_127: 21818411
     port.rx_size_255: 4375027
     port.rx_size_511: 2232266
     port.rx_size_1023: 1971271
     port.rx_size_1522: 19861902
     port.rx_size_big: 0
     port.tx_size_64: 12218804
     port.tx_size_127: 21656478
     port.tx_size_255: 7094739
     port.tx_size_511: 3982561
     port.tx_size_1023: 3298736
     port.tx_size_1522: 137146451
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2797
     port.fdir_atr_match: 14201767
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 0
     port.fdir_sb_match: 0
     port.fdir_sb_status: 0
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0

 

 

Прерывания. Тут следы нечеловеческих экспериментов, на самом деле сейчас на обоих интерфейсах сделал ./set_irq_affinity 2-9 ens6fX 

И там красивая лесенка от второго до девятого.

 

 

Spoiler

 

 


# cat /proc/interrupts | grep ens6f0
 36:  219966382          0  613668370          0          0          1          0          0          0          0   PCI-MSI 1048577-edge      i40e-ens6f0-TxRx-0
 37:          0    1457174          0  613291617          0          0          1          0          0          0   PCI-MSI 1048578-edge      i40e-ens6f0-TxRx-1
 38:          0          0    1612085          0  740565330          0          0          1          0          0   PCI-MSI 1048579-edge      i40e-ens6f0-TxRx-2
 39:          0          0          0    1564072          0  694240716          0          0          1          0   PCI-MSI 1048580-edge      i40e-ens6f0-TxRx-3
 40:          0          0          0          0    1506159          0  633657099          0          0          1   PCI-MSI 1048581-edge      i40e-ens6f0-TxRx-4
 41:          1          0          0          0          0    1431223          0  633701012          0          0   PCI-MSI 1048582-edge      i40e-ens6f0-TxRx-5
 42:          0          1          0          0          0          0     410619          0  688206320          0   PCI-MSI 1048583-edge      i40e-ens6f0-TxRx-6
 43:          0          0          1          0          0          0          0     401102          0  690443904   PCI-MSI 1048584-edge      i40e-ens6f0-TxRx-7
# cat /proc/interrupts | grep ens6f1
 67:   69045427          0 1277473080          0          0          1          0          0          0          0   PCI-MSI 1050625-edge      i40e-ens6f1-TxRx-0
 68:          0    1701136          0   10110270          0          0          1          0          0          0   PCI-MSI 1050626-edge      i40e-ens6f1-TxRx-1
 69:          0          0    1859483          0  246404029          0          0          1          0          0   PCI-MSI 1050627-edge      i40e-ens6f1-TxRx-2
 70:          0          0          0    2079585          0  246066683          0          0          1          0   PCI-MSI 1050628-edge      i40e-ens6f1-TxRx-3
 71:          0          0          0          0    1876008          0  318561072          0          0          1   PCI-MSI 1050629-edge      i40e-ens6f1-TxRx-4
 72:          1          0          0          0          0    1816547          0  305069365          0          0   PCI-MSI 1050630-edge      i40e-ens6f1-TxRx-5
 73:          0          1          0          0          0          0    1441007          0  271091806          0   PCI-MSI 1050631-edge      i40e-ens6f1-TxRx-6
 74:          0          0          1          0          0          0          0    1455472          0  275056283   PCI-MSI 1050632-edge      i40e-ens6f1-TxRx-7

 

Виртуализация выключена само собой.

Изменено пользователем vsmith80

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, vsmith80 сказал:

Когда появились не могу точно сказать, к сожалению. Замечена в полный рост проблема была недавно, и сразу все прочитал что нашел по этому поводу.

Триггер - жалобы клиентов. 

 

ethtool -k ens6f0
ethtool -k ens6f1

 

  Показать содержимое

# ethtool -k ens6f0
Features for ens6f0:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]
 

 

# ethtool -k ens6f1
Features for ens6f1:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]


 

ethtool -g ens6f0

ethtool -g ens6f1


 

  Показать содержимое

 

# ethtool -g ens6f0
Ring parameters for ens6f0:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

# ethtool -g ens6f1
Ring parameters for ens6f1:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

 

ethtool -l ens6f0

ethtool -l ens6f1

 

  Показать содержимое

 

# ethtool -l ens6f0
Channel parameters for ens6f0:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 

# ethtool -l ens6f1
Channel parameters for ens6f1:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 


ethtool -S ens6f0

ethtool -S ens6f1

 

  Показать содержимое

# ethtool -S ens6f0
NIC statistics:
     rx_packets: 7688052688
     tx_packets: 2545625949
     rx_bytes: 9060462491339
     tx_bytes: 1589932359316
     rx_errors: 10544
     tx_errors: 0
     rx_dropped: 970
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 10485
     rx_unicast: 7675954509
     tx_unicast: 2545495933
     rx_multicast: 1672143
     tx_multicast: 0
     rx_broadcast: 10425465
     tx_broadcast: 112584
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 42254867
     tx-0.bytes: 33469877807
     rx-0.packets: 885524925
      rx-0.bytes: 1022983042875
     tx-1.packets: 45615267
     tx-1.bytes: 35014603616
     rx-1.packets: 899732412
     rx-1.bytes: 1061899278156
     tx-2.packets: 1386175248
     tx-2.bytes: 717569057741
     rx-2.packets: 1063515811
     rx-2.bytes: 1218804664675
     tx-3.packets: 248471416
     tx-3.bytes: 194171652875
     rx-3.packets: 1008175010
     rx-3.bytes: 1191141301084
     tx-4.packets: 167340946
     tx-4.bytes: 121743646291
     rx-4.packets: 909497304
     rx-4.bytes: 1098757642203
     tx-5.packets: 182581807
     tx-5.bytes: 126013372934
     rx-5.packets: 924177092
     rx-5.bytes: 1101322775402
     tx-6.packets: 244424997
     tx-6.bytes: 185341095941
     rx-6.packets: 1000520123
     rx-6.bytes: 1187991834302
     tx-7.packets: 228761401
     tx-7.bytes: 176609052111
     rx-7.packets: 996910012
     rx-7.bytes: 1177561952708
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 9091348162021
     port.tx_bytes: 1600763841553
     port.rx_unicast: 7675964222
     port.tx_unicast: 2545495925
     port.rx_multicast: 3175811
     port.tx_multicast: 850
     port.rx_broadcast: 10425464
     port.tx_broadcast: 112584
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 10485
     port.illegal_bytes: 59
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 183436120
     port.rx_size_127: 1013173141
     port.rx_size_255: 263759971
     port.rx_size_511: 147738398
     port.rx_size_1023: 163533333
     port.rx_size_1522: 5917924553
     port.rx_size_big: 0
     port.tx_size_64: 326254914
     port.tx_size_127: 957329315
     port.tx_size_255: 165935084
     port.tx_size_511: 82488490
     port.tx_size_1023: 77101308
     port.tx_size_1522: 936500255
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2796
     port.fdir_atr_match: 895363558
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 1
     port.fdir_sb_match: 0
     port.fdir_sb_status: 1
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0
# ethtool -S ens6f1
NIC statistics:
     rx_packets: 58653042
     tx_packets: 185659050
     rx_bytes: 34437415969
     tx_bytes: 210110104653
     rx_errors: 24656
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 24377
     rx_unicast: 58565906
     tx_unicast: 185357350
     rx_multicast: 1294
     tx_multicast: 1
     rx_broadcast: 1301
     tx_broadcast: 40398
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 5560877
     tx-0.bytes: 6003571748
     rx-0.packets: 8158244
     rx-0.bytes: 4192892787
     tx-1.packets: 7146219
     tx-1.bytes: 8665653140
     rx-1.packets: 6268243
     rx-1.bytes: 2813343050
     tx-2.packets: 28293273
     tx-2.bytes: 30669083191
     rx-2.packets: 6757231
     rx-2.bytes: 4295985517
     tx-3.packets: 26127906
     tx-3.bytes: 30071018207
     rx-3.packets: 9618579
     rx-3.bytes: 6250591760
     tx-4.packets: 26794552
     tx-4.bytes: 29930510739
     rx-4.packets: 5953709
     rx-4.bytes: 3331813955
     tx-5.packets: 32041907
     tx-5.bytes: 36284193143
     rx-5.packets: 6426681
     rx-5.bytes: 3475872552
     tx-6.packets: 28055944
     tx-6.bytes: 32132488554
     rx-6.packets: 7112107
     rx-6.bytes: 4254006972
     tx-7.packets: 31638372
     tx-7.bytes: 36353585931
     rx-7.packets: 8358248
     rx-7.bytes: 5822909376
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 34626039186
     port.tx_bytes: 210585446724
     port.rx_unicast: 58565897
     port.tx_unicast: 185357352
     port.rx_multicast: 1314
     port.tx_multicast: 21
     port.rx_broadcast: 1301
     port.tx_broadcast: 40398
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 24377
     port.illegal_bytes: 279
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 8309643
     port.rx_size_127: 21818411
     port.rx_size_255: 4375027
     port.rx_size_511: 2232266
     port.rx_size_1023: 1971271
     port.rx_size_1522: 19861902
     port.rx_size_big: 0
     port.tx_size_64: 12218804
     port.tx_size_127: 21656478
     port.tx_size_255: 7094739
     port.tx_size_511: 3982561
     port.tx_size_1023: 3298736
     port.tx_size_1522: 137146451
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2797
     port.fdir_atr_match: 14201767
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 0
     port.fdir_sb_match: 0
     port.fdir_sb_status: 0
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0

 

 

Прерывания. Тут следы нечеловеческих экспериментов, на самом деле сейчас на обоих интерфейсах сделал ./set_irq_affinity 2-9 ens6fX 

И там красивая лесенка от второго до девятого.

 

 

  Скрыть содержимое

 

 



# cat /proc/interrupts | grep ens6f0
 36:  219966382          0  613668370          0          0          1          0          0          0          0   PCI-MSI 1048577-edge      i40e-ens6f0-TxRx-0
 37:          0    1457174          0  613291617          0          0          1          0          0          0   PCI-MSI 1048578-edge      i40e-ens6f0-TxRx-1
 38:          0          0    1612085          0  740565330          0          0          1          0          0   PCI-MSI 1048579-edge      i40e-ens6f0-TxRx-2
 39:          0          0          0    1564072          0  694240716          0          0          1          0   PCI-MSI 1048580-edge      i40e-ens6f0-TxRx-3
 40:          0          0          0          0    1506159          0  633657099          0          0          1   PCI-MSI 1048581-edge      i40e-ens6f0-TxRx-4
 41:          1          0          0          0          0    1431223          0  633701012          0          0   PCI-MSI 1048582-edge      i40e-ens6f0-TxRx-5
 42:          0          1          0          0          0          0     410619          0  688206320          0   PCI-MSI 1048583-edge      i40e-ens6f0-TxRx-6
 43:          0          0          1          0          0          0          0     401102          0  690443904   PCI-MSI 1048584-edge      i40e-ens6f0-TxRx-7
# cat /proc/interrupts | grep ens6f1
 67:   69045427          0 1277473080          0          0          1          0          0          0          0   PCI-MSI 1050625-edge      i40e-ens6f1-TxRx-0
 68:          0    1701136          0   10110270          0          0          1          0          0          0   PCI-MSI 1050626-edge      i40e-ens6f1-TxRx-1
 69:          0          0    1859483          0  246404029          0          0          1          0          0   PCI-MSI 1050627-edge      i40e-ens6f1-TxRx-2
 70:          0          0          0    2079585          0  246066683          0          0          1          0   PCI-MSI 1050628-edge      i40e-ens6f1-TxRx-3
 71:          0          0          0          0    1876008          0  318561072          0          0          1   PCI-MSI 1050629-edge      i40e-ens6f1-TxRx-4
 72:          1          0          0          0          0    1816547          0  305069365          0          0   PCI-MSI 1050630-edge      i40e-ens6f1-TxRx-5
 73:          0          1          0          0          0          0    1441007          0  271091806          0   PCI-MSI 1050631-edge      i40e-ens6f1-TxRx-6
 74:          0          0          1          0          0          0          0    1455472          0  275056283   PCI-MSI 1050632-edge      i40e-ens6f1-TxRx-7

 

Виртуализация выключена само собой.

 

Как вы определили, что проблема с одним из потоков-очередью?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

почему никто до сих пор не сказал проверить output discard-ы на свичах? :)

очевидно что сервер подключен 40 гбитами, а вот дальше расходится в сеть вероятнее всего десятками

и вот тут то свичи и начинают терять пакеты

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

20 hours ago, John_obn said:

Как вы определили, что проблема с одним из потоков-очередью?

при помощи iperf3.

если тест запускать аплода на один поток - все плохо. Первые четыре секунды растет скорость до 30-40-50мбит, потом падает до 7 мбит, в итоге по тесту длительностью 10 секкунд средняя скорость - 9-10-11 мбит. Мало.

 

Если зарядить десять потоков, то там в целом скорость нормальная.

 

21 hours ago, sekuzz said:

Вот здесь никогда нельзя быть уверенным на все 100.

 

Предлагаю поставить свой iperf в подсеть линковки с вышестоящим провайдером и измерить скорости.

Сомневаюсь, что все аплинки одинаково шейпят, даже если шейпят. И - был бы шейпер, оно бы и тест в много потоков ломало. И еще оно бы ломало и трафик роутера. Но с роутера все просто замечательно.

 

20 hours ago, GrandPr1de said:

почему никто до сих пор не сказал проверить output discard-ы на свичах? :)

очевидно что сервер подключен 40 гбитами, а вот дальше расходится в сеть вероятнее всего десятками

и вот тут то свичи и начинают терять пакеты

и теряют почему-то только в случае одного потока, если потоков много -то не теряют? Но посмотрел - ничего такого нет.

 

Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик.

Изменено пользователем vsmith80

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, vsmith80 сказал:

Но посмотрел - ничего такого нет

смотря что за свичи, это может идти отдельным счетчиком, а могут и вовсе не показывать их

сморите на кол-во ретрансмитов в одном потоке, если валят ретрансмиты и укладывают tcp окно то это дискарды зачастую

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, vsmith80 сказал:

при помощи iperf3.

если тест запускать аплода на один поток - все плохо. Первые четыре секунды растет скорость до 30-40-50мбит, потом падает до 7 мбит, в итоге по тесту длительностью 10 секкунд средняя скорость - 9-10-11 мбит. Мало.

 

Если зарядить десять потоков, то там в целом скорость нормальная.

 

Сомневаюсь, что все аплинки одинаково шейпят, даже если шейпят. И - был бы шейпер, оно бы и тест в много потоков ломало. И еще оно бы ломало и трафик роутера. Но с роутера все просто замечательно.

 

и теряют почему-то только в случае одного потока, если потоков много -то не теряют? Но посмотрел - ничего такого нет.

 

Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик.

 

Я что то подумал, что речь изначально про поток сетевой карты, а не поток трафика от клиента. Поэтому и спросил, как определили, что проблема с потоком.

В таком случае не факт, что проблема вообще в этом PC-маршрутизаторе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

On 4/22/2021 at 12:36 PM, vsmith80 said:

да, проблема только при передаче в интернет транзитного трафика в один поток. 

Передаете флуда с вашего хостинга. Ничто плохое. (https://github.com/pavel-odintsov/fastnetmon)

Изменено пользователем h3ll1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 05.01.2021 в 00:24, John_obn сказал:

Коллеги, изучал кто то , на сколько будет эффективнее как точки зрения цены, так и с точки зрения производительности строить linux softrouter на процессорах AMD Epyc? Интересует в роли border+NAT+ipt_netflow (для natevents). У нас работают 2 бордера в параллель, задумываюсь о третьем, чтобы разгрузить текущие, т.к. потихоньку растут дропы на in, а крутилки уже все выкручены (по крайней мере у меня уже нет идей, кроме как упираемся в максимальную производительность). Кому интересно, графики сейчас такие (ens6 40G - Intel XL710 (аплинки+downlink), ens3 - прямой линк до второго бордера), cpu E5-2690v4 * 2шт: 

2021-01-05_00-14-01.png

2021-01-05_00-15-45.png

2021-01-05_00-16-55.png

2021-01-05_00-17-37.png

Решил свою проблему, описанную выше. Для начала вынес роль бордера на mx204 в надежде, что, оставив только роль NAT на сервере , чтобы не пришлось бегать по таблице маршрутизации, проблема уйдет. Но нет, проблема осталась.

Машину под NAT я сделал, используя nftables + flow offload ( статья на Хабре ), для этого взял Ubuntu 20.04. Изначально я поставил самый свежий драйвер i40e от Intel на sourceforge. И только потом вспомнил, что на этом драйвере дропы выросли многократно.

Итоговый вариант: включен HyperThreading, ubuntu 20.04, mitigations=off, драйвер i40e в комплекте с ядром, кол-во очередей равно ядрам+HT, ethtool -C rx tx 50. Трафик на одном интерфейсе разделенный на 2 влана (влан1- наша сеть, влан2 - в сторону бордера/аплинков). Поскольку очереди привязаны к local numa, получается, второй процессор отдыхает совсем.

За последние сутки дропов 0 при пике в 26,57 гбит/с и 3,39 мппс в каждую сторону. При этом минимальный idle у задействованных ядер примерно 82% . Напомню , cpu E5-2690v4

Благодарю за ценные советы автора статьи на Хабре.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 23.04.2021 в 16:12, vsmith80 сказал:

Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик.

У меня была похожая проблема - виноват был Ростелеком, притом не местный, а где-то на подходе к Москве. Все, что транзитом бежало через них, было подвержено такой проблеме.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 минуты назад, support_RT сказал:

Все проверим и решим.

Слово пацана даете?

А если нет, то что будет с вами?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Народ, никак не пойму куда копать. 

Проблема - периодически через NAT перестают проходить пакеты больше 2000. 

собрано так: 

bgp_NAT_shaper - разные машины. 

с bgp на NAT - в момент проблемы нет пингов пакетами больше 2000. с shaper на NAT аналогично. 

Зависимостей по нагрузке нет. вемя рандомное - просто на пару часов может пропасть прохождение пакетов. 

Логи - чистые. 

Куда копать вообще? может кто сталкивался? 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 08.08.2022 в 15:29, wed сказал:

Народ, никак не пойму куда копать. 

Проблема - периодически через NAT перестают проходить пакеты больше 2000. 

собрано так: 

bgp_NAT_shaper - разные машины. 

с bgp на NAT - в момент проблемы нет пингов пакетами больше 2000. с shaper на NAT аналогично. 

Зависимостей по нагрузке нет. вемя рандомное - просто на пару часов может пропасть прохождение пакетов. 

Логи - чистые. 

Куда копать вообще? может кто сталкивался? 

 

Ищите место, где они теряются. Смотрите дамп трафика на выходе с bgp и shaper в сторону NAT. Смотрите пакетики на входе в NAT. На промежуточных коммутаторах или маршрутизаторах (если таковые имеются). Счетчики ошибок/дропов на портах, и сетевых картах в эти моменты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

скажите, а что на текущий момент самое "модное-актуальное" и беспроблемное? ) имею в виду ядро/драйвера. сетевухи - интел 10, мелланокс 4-й 40.

ну то есть можно смело ставить убунту 22 c 5.15, или лучше консервативно посидеть на дебиане с 5.10 ядром?

или вообще взять 18-ю убунту с 5.4? или еще что-то постарше?

задачи - роутер, нат, раздельно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 10.08.2022 в 20:37, nixx сказал:

убунту 22 c 5.15

Пока отказать, сыро.

 

Попробуйте освоить Arch

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 10.08.2022 в 21:01, jffulcrum сказал:

Пока отказать, сыро.

Попробуйте освоить Arch

дык arch вообще впереди планеты всей с версиями ядра. 5.18 ставить предлагаете?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Просто на Убунте 22-й уже столкнулся с рядом проблем, включая непонятные ребуты. На рядом стоящих Arch таких проблем нет. Что-то в canonical недожали, а платного саппорта больше нет (для РФ/РБ)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.