Jump to content
Калькуляторы

Linux softrouter

Коллеги, внезапно оказалось, что есть проблема у маршрутизатора на linux

 

Карта Intel XL710-Q2

ОС - Ubuntu 20.04, в ней bird, в нем штук пять линков с аплинками, два фуллвью и еще по мелочи

 

Как с драйвером из поставки ОС, так и со свежим от интела наблюдаю вот что: в один поток скорость аплоада в интернет с даунлинков крайне мала, в пределах 5-10 мегабит.

Аплоад с самой машины в один поток без всяких проблем, очень быстро.

 

Даунлоад у клиентов без проблем, очень быстро тоже.

 

На машине ни шейпера, ни натов, ничего такого нет.

 

Еще интересный эффект - если машину перезагрузить, то сразу после того, как поднимется маршрутизация, скорось на аплоад хорошая, но буквально через тридцать секунд падает. В логах при этом ничего криминального не происходит. 

 

В какую сторону копать? 

Edited by vsmith80

Share this post


Link to post
Share on other sites
1 час назад, vsmith80 сказал:

Коллеги, внезапно оказалось, что есть проблема у маршрутизатора на linux

 

Карта Intel XL710-Q2

ОС - Ubuntu 20.04, в ней bird, в нем штук пять линков с аплинками, два фуллвью и еще по мелочи

 

Как с драйвером из поставки ОС, так и со свежим от интела наблюдаю вот что: в один поток скорость аплоада в интернет с даунлинков крайне мала, в пределах 5-10 мегабит.

Аплоад с самой машины в один поток без всяких проблем, очень быстро.

 

Даунлоад у клиентов без проблем, очень быстро тоже.

 

На машине ни шейпера, ни натов, ничего такого нет.

 

Еще интересный эффект - если машину перезагрузить, то сразу после того, как поднимется маршрутизация, скорось на аплоад хорошая, но буквально через тридцать секунд падает. В логах при этом ничего криминального не происходит. 

 

В какую сторону копать? 

 

Добрый день.

Тюнили сетевую карту через ethtool (отключение оффлоадов, gro,tso,lro и прочее)?

Share this post


Link to post
Share on other sites
33 minutes ago, John_obn said:

Добрый день.

Тюнили сетевую карту через ethtool (отключение оффлоадов, gro,tso,lro и прочее)?

Да, конечно, все гайды перечитал, все сделал. Просто если этого не сделать - то оно в много потоков и в обе стороны будет плохо под нагрузкой, и там спецэффекты вполне определенные наблюдаются. Тут ничего похожего, просто в один поток транзитный трафик в интернет очень медленный.

Edited by vsmith80

Share this post


Link to post
Share on other sites
1 hour ago, vsmith80 said:

В какую сторону копать? 

Flow Control выключен? (выключить)

Share this post


Link to post
Share on other sites
8 minutes ago, rm_ said:

Flow Control выключен? (выключить)

Выключен

/etc/network# ethtool -a ens6f0
Pause parameters for ens6f0:
Autonegotiate:  off
RX:             off
TX:             off


/etc/network# ethtool -a ens6f1
Pause parameters for ens6f0:
Autonegotiate:  off
RX:             off
TX:             off

 

На другой стороне:

 

#show interfaces status fo 1/0/1
                                             Flow Link           Uptime       Back   Mdix
Port     Type         Duplex  Speed Neg      ctrl State         (d,h:m:s)   Pressure Mode    Port Mode (VLAN)
-------- ------------ ------  ----- -------- ---- ----------- ------------- -------- ------- ------------------------
fo1/0/1  40G-Fiber    Full    40000 Disabled Off  Up          00,06:08:09   Disabled Off     Trunk


#show interfaces status fo 1/0/2
                                             Flow Link           Uptime       Back   Mdix
Port     Type         Duplex  Speed Neg      ctrl State         (d,h:m:s)   Pressure Mode    Port Mode (VLAN)
-------- ------------ ------  ----- -------- ---- ----------- ------------- -------- ------- ------------------------
fo1/0/2  40G-Fiber    Full    40000 Disabled Off  Up          00,06:08:14   Disabled Off     Trunk


 

Edited by vsmith80

Share this post


Link to post
Share on other sites
11 минут назад, vsmith80 сказал:

Да, конечно, все гайды перечитал, все сделал. Просто если этого не сделать - то оно в много потоков и в обе стороны будет плохо под нагрузкой, и там спецэффекты вполне определенные наблюдаются. Тут ничего похожего, просто в один поток транзитный трафик в интернет очень медленный.

 

Не совсем понял, у вас проблемы только с 1 потоком (очередью)? с остальными все ок?

Если да, то есть ли реально жалобы от клиентов?

Share this post


Link to post
Share on other sites
16 minutes ago, John_obn said:

Не совсем понял, у вас проблемы только с 1 потоком (очередью)? с остальными все ок?

Если да, то есть ли реально жалобы от клиентов?

да, проблема только при передаче в интернет транзитного трафика в один поток. 

Причем начинает хорошо, скорость повышается до 30-40-50 мбит в первые три-четыре секунды, а потом падает. Эффект и на iperf Заметен, и на internet.yandex.ru, и на других мерялках подобных. Прям крайне похоже на шейпер с Burst, но шейперов у нас таких нет, у аплинков тоже.

Жалобы от клиентов да, есть, им стримить мешает. 

Edited by vsmith80

Share this post


Link to post
Share on other sites
6 минут назад, vsmith80 сказал:

да, проблема только при передаче в интернет транзитного трафика в один поток. 

Причем начинает хорошо, скорость повышается до 30-40-50 мбит в первые три-четыре секунды, а потом падает. Эффект и на iperf Заметен, и на internet.yandex.ru, и на других мерялках подобных. 

Жалобы от клиентов да, есть, им стримить мешает. 

Думаю, вам стоит сюда выложить выводы всего тюнинга проблемного интерфейса: ethtool -k , -g , -l , -S

заодно и cat /proc/interrupts | grep <ifname>

 

С этим потоком только сейчас появились проблемы или всегда были? Что явилось триггером начала проблемы?

Share this post


Link to post
Share on other sites
1 час назад, vsmith80 сказал:

Прям крайне похоже на шейпер с Burst, но шейперов у нас таких нет, у аплинков тоже.

Вот здесь никогда нельзя быть уверенным на все 100.

 

Предлагаю поставить свой iperf в подсеть линковки с вышестоящим провайдером и измерить скорости.

Share this post


Link to post
Share on other sites
1 hour ago, John_obn said:

Думаю, вам стоит сюда выложить выводы всего тюнинга проблемного интерфейса: ethtool -k , -g , -l , -S

заодно и cat /proc/interrupts | grep <ifname>

 

С этим потоком только сейчас появились проблемы или всегда были? Что явилось триггером начала проблемы?

Когда появились не могу точно сказать, к сожалению. Замечена в полный рост проблема была недавно, и сразу все прочитал что нашел по этому поводу.

Триггер - жалобы клиентов. 

 

ethtool -k ens6f0
ethtool -k ens6f1

 

Spoiler

# ethtool -k ens6f0
Features for ens6f0:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]
 

 

# ethtool -k ens6f1
Features for ens6f1:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]


 

ethtool -g ens6f0

ethtool -g ens6f1


 

Spoiler

 

# ethtool -g ens6f0
Ring parameters for ens6f0:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

# ethtool -g ens6f1
Ring parameters for ens6f1:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

 

ethtool -l ens6f0

ethtool -l ens6f1

 

Spoiler

 

# ethtool -l ens6f0
Channel parameters for ens6f0:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 

# ethtool -l ens6f1
Channel parameters for ens6f1:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 


ethtool -S ens6f0

ethtool -S ens6f1

 

Spoiler

# ethtool -S ens6f0
NIC statistics:
     rx_packets: 7688052688
     tx_packets: 2545625949
     rx_bytes: 9060462491339
     tx_bytes: 1589932359316
     rx_errors: 10544
     tx_errors: 0
     rx_dropped: 970
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 10485
     rx_unicast: 7675954509
     tx_unicast: 2545495933
     rx_multicast: 1672143
     tx_multicast: 0
     rx_broadcast: 10425465
     tx_broadcast: 112584
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 42254867
     tx-0.bytes: 33469877807
     rx-0.packets: 885524925
     rx-0.bytes: 1022983042875
     tx-1.packets: 45615267
     tx-1.bytes: 35014603616
     rx-1.packets: 899732412
     rx-1.bytes: 1061899278156
     tx-2.packets: 1386175248
     tx-2.bytes: 717569057741
     rx-2.packets: 1063515811
     rx-2.bytes: 1218804664675
     tx-3.packets: 248471416
     tx-3.bytes: 194171652875
     rx-3.packets: 1008175010
     rx-3.bytes: 1191141301084
     tx-4.packets: 167340946
     tx-4.bytes: 121743646291
     rx-4.packets: 909497304
     rx-4.bytes: 1098757642203
     tx-5.packets: 182581807
     tx-5.bytes: 126013372934
     rx-5.packets: 924177092
     rx-5.bytes: 1101322775402
     tx-6.packets: 244424997
     tx-6.bytes: 185341095941
     rx-6.packets: 1000520123
     rx-6.bytes: 1187991834302
     tx-7.packets: 228761401
     tx-7.bytes: 176609052111
     rx-7.packets: 996910012
     rx-7.bytes: 1177561952708
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 9091348162021
     port.tx_bytes: 1600763841553
     port.rx_unicast: 7675964222
     port.tx_unicast: 2545495925
     port.rx_multicast: 3175811
     port.tx_multicast: 850
     port.rx_broadcast: 10425464
     port.tx_broadcast: 112584
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 10485
     port.illegal_bytes: 59
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 183436120
     port.rx_size_127: 1013173141
     port.rx_size_255: 263759971
     port.rx_size_511: 147738398
     port.rx_size_1023: 163533333
     port.rx_size_1522: 5917924553
     port.rx_size_big: 0
     port.tx_size_64: 326254914
     port.tx_size_127: 957329315
     port.tx_size_255: 165935084
     port.tx_size_511: 82488490
     port.tx_size_1023: 77101308
     port.tx_size_1522: 936500255
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2796
     port.fdir_atr_match: 895363558
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 1
     port.fdir_sb_match: 0
     port.fdir_sb_status: 1
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0
# ethtool -S ens6f1
NIC statistics:
     rx_packets: 58653042
     tx_packets: 185659050
     rx_bytes: 34437415969
     tx_bytes: 210110104653
     rx_errors: 24656
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 24377
     rx_unicast: 58565906
     tx_unicast: 185357350
     rx_multicast: 1294
     tx_multicast: 1
     rx_broadcast: 1301
     tx_broadcast: 40398
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 5560877
     tx-0.bytes: 6003571748
     rx-0.packets: 8158244
     rx-0.bytes: 4192892787
     tx-1.packets: 7146219
     tx-1.bytes: 8665653140
     rx-1.packets: 6268243
     rx-1.bytes: 2813343050
     tx-2.packets: 28293273
     tx-2.bytes: 30669083191
     rx-2.packets: 6757231
     rx-2.bytes: 4295985517
     tx-3.packets: 26127906
     tx-3.bytes: 30071018207
     rx-3.packets: 9618579
     rx-3.bytes: 6250591760
     tx-4.packets: 26794552
     tx-4.bytes: 29930510739
     rx-4.packets: 5953709
     rx-4.bytes: 3331813955
     tx-5.packets: 32041907
     tx-5.bytes: 36284193143
     rx-5.packets: 6426681
     rx-5.bytes: 3475872552
     tx-6.packets: 28055944
     tx-6.bytes: 32132488554
     rx-6.packets: 7112107
     rx-6.bytes: 4254006972
     tx-7.packets: 31638372
     tx-7.bytes: 36353585931
     rx-7.packets: 8358248
     rx-7.bytes: 5822909376
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 34626039186
     port.tx_bytes: 210585446724
     port.rx_unicast: 58565897
     port.tx_unicast: 185357352
     port.rx_multicast: 1314
     port.tx_multicast: 21
     port.rx_broadcast: 1301
     port.tx_broadcast: 40398
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 24377
     port.illegal_bytes: 279
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 8309643
     port.rx_size_127: 21818411
     port.rx_size_255: 4375027
     port.rx_size_511: 2232266
     port.rx_size_1023: 1971271
     port.rx_size_1522: 19861902
     port.rx_size_big: 0
     port.tx_size_64: 12218804
     port.tx_size_127: 21656478
     port.tx_size_255: 7094739
     port.tx_size_511: 3982561
     port.tx_size_1023: 3298736
     port.tx_size_1522: 137146451
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2797
     port.fdir_atr_match: 14201767
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 0
     port.fdir_sb_match: 0
     port.fdir_sb_status: 0
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0

 

 

Прерывания. Тут следы нечеловеческих экспериментов, на самом деле сейчас на обоих интерфейсах сделал ./set_irq_affinity 2-9 ens6fX 

И там красивая лесенка от второго до девятого.

 

 

Spoiler

 

 


# cat /proc/interrupts | grep ens6f0
 36:  219966382          0  613668370          0          0          1          0          0          0          0   PCI-MSI 1048577-edge      i40e-ens6f0-TxRx-0
 37:          0    1457174          0  613291617          0          0          1          0          0          0   PCI-MSI 1048578-edge      i40e-ens6f0-TxRx-1
 38:          0          0    1612085          0  740565330          0          0          1          0          0   PCI-MSI 1048579-edge      i40e-ens6f0-TxRx-2
 39:          0          0          0    1564072          0  694240716          0          0          1          0   PCI-MSI 1048580-edge      i40e-ens6f0-TxRx-3
 40:          0          0          0          0    1506159          0  633657099          0          0          1   PCI-MSI 1048581-edge      i40e-ens6f0-TxRx-4
 41:          1          0          0          0          0    1431223          0  633701012          0          0   PCI-MSI 1048582-edge      i40e-ens6f0-TxRx-5
 42:          0          1          0          0          0          0     410619          0  688206320          0   PCI-MSI 1048583-edge      i40e-ens6f0-TxRx-6
 43:          0          0          1          0          0          0          0     401102          0  690443904   PCI-MSI 1048584-edge      i40e-ens6f0-TxRx-7
# cat /proc/interrupts | grep ens6f1
 67:   69045427          0 1277473080          0          0          1          0          0          0          0   PCI-MSI 1050625-edge      i40e-ens6f1-TxRx-0
 68:          0    1701136          0   10110270          0          0          1          0          0          0   PCI-MSI 1050626-edge      i40e-ens6f1-TxRx-1
 69:          0          0    1859483          0  246404029          0          0          1          0          0   PCI-MSI 1050627-edge      i40e-ens6f1-TxRx-2
 70:          0          0          0    2079585          0  246066683          0          0          1          0   PCI-MSI 1050628-edge      i40e-ens6f1-TxRx-3
 71:          0          0          0          0    1876008          0  318561072          0          0          1   PCI-MSI 1050629-edge      i40e-ens6f1-TxRx-4
 72:          1          0          0          0          0    1816547          0  305069365          0          0   PCI-MSI 1050630-edge      i40e-ens6f1-TxRx-5
 73:          0          1          0          0          0          0    1441007          0  271091806          0   PCI-MSI 1050631-edge      i40e-ens6f1-TxRx-6
 74:          0          0          1          0          0          0          0    1455472          0  275056283   PCI-MSI 1050632-edge      i40e-ens6f1-TxRx-7

 

Виртуализация выключена само собой.

Edited by vsmith80

Share this post


Link to post
Share on other sites
1 час назад, vsmith80 сказал:

Когда появились не могу точно сказать, к сожалению. Замечена в полный рост проблема была недавно, и сразу все прочитал что нашел по этому поводу.

Триггер - жалобы клиентов. 

 

ethtool -k ens6f0
ethtool -k ens6f1

 

  Показать содержимое

# ethtool -k ens6f0
Features for ens6f0:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]
 

 

# ethtool -k ens6f1
Features for ens6f1:
rx-checksumming: off
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp-mangleid-segmentation: off
        tx-tcp6-segmentation: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off [fixed]
rx-vlan-offload: off
tx-vlan-offload: off
ntuple-filters: on
receive-hashing: off
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-tunnel-remcsum-segmentation: off [fixed]
tx-sctp-segmentation: off [fixed]
tx-esp-segmentation: off [fixed]
tx-udp-segmentation: on
tx-gso-list: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [fixed]
esp-tx-csum-hw-offload: off [fixed]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [fixed]
tls-hw-rx-offload: off [fixed]
rx-gro-hw: off [fixed]
tls-hw-record: off [fixed]
rx-gro-list: off
macsec-hw-offload: off [fixed]


 

ethtool -g ens6f0

ethtool -g ens6f1


 

  Показать содержимое

 

# ethtool -g ens6f0
Ring parameters for ens6f0:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

# ethtool -g ens6f1
Ring parameters for ens6f1:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

 

ethtool -l ens6f0

ethtool -l ens6f1

 

  Показать содержимое

 

# ethtool -l ens6f0
Channel parameters for ens6f0:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 

# ethtool -l ens6f1
Channel parameters for ens6f1:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

 


ethtool -S ens6f0

ethtool -S ens6f1

 

  Показать содержимое

# ethtool -S ens6f0
NIC statistics:
     rx_packets: 7688052688
     tx_packets: 2545625949
     rx_bytes: 9060462491339
     tx_bytes: 1589932359316
     rx_errors: 10544
     tx_errors: 0
     rx_dropped: 970
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 10485
     rx_unicast: 7675954509
     tx_unicast: 2545495933
     rx_multicast: 1672143
     tx_multicast: 0
     rx_broadcast: 10425465
     tx_broadcast: 112584
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 42254867
     tx-0.bytes: 33469877807
     rx-0.packets: 885524925
      rx-0.bytes: 1022983042875
     tx-1.packets: 45615267
     tx-1.bytes: 35014603616
     rx-1.packets: 899732412
     rx-1.bytes: 1061899278156
     tx-2.packets: 1386175248
     tx-2.bytes: 717569057741
     rx-2.packets: 1063515811
     rx-2.bytes: 1218804664675
     tx-3.packets: 248471416
     tx-3.bytes: 194171652875
     rx-3.packets: 1008175010
     rx-3.bytes: 1191141301084
     tx-4.packets: 167340946
     tx-4.bytes: 121743646291
     rx-4.packets: 909497304
     rx-4.bytes: 1098757642203
     tx-5.packets: 182581807
     tx-5.bytes: 126013372934
     rx-5.packets: 924177092
     rx-5.bytes: 1101322775402
     tx-6.packets: 244424997
     tx-6.bytes: 185341095941
     rx-6.packets: 1000520123
     rx-6.bytes: 1187991834302
     tx-7.packets: 228761401
     tx-7.bytes: 176609052111
     rx-7.packets: 996910012
     rx-7.bytes: 1177561952708
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 9091348162021
     port.tx_bytes: 1600763841553
     port.rx_unicast: 7675964222
     port.tx_unicast: 2545495925
     port.rx_multicast: 3175811
     port.tx_multicast: 850
     port.rx_broadcast: 10425464
     port.tx_broadcast: 112584
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 10485
     port.illegal_bytes: 59
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 183436120
     port.rx_size_127: 1013173141
     port.rx_size_255: 263759971
     port.rx_size_511: 147738398
     port.rx_size_1023: 163533333
     port.rx_size_1522: 5917924553
     port.rx_size_big: 0
     port.tx_size_64: 326254914
     port.tx_size_127: 957329315
     port.tx_size_255: 165935084
     port.tx_size_511: 82488490
     port.tx_size_1023: 77101308
     port.tx_size_1522: 936500255
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2796
     port.fdir_atr_match: 895363558
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 1
     port.fdir_sb_match: 0
     port.fdir_sb_status: 1
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0
# ethtool -S ens6f1
NIC statistics:
     rx_packets: 58653042
     tx_packets: 185659050
     rx_bytes: 34437415969
     tx_bytes: 210110104653
     rx_errors: 24656
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 24377
     rx_unicast: 58565906
     tx_unicast: 185357350
     rx_multicast: 1294
     tx_multicast: 1
     rx_broadcast: 1301
     tx_broadcast: 40398
     rx_unknown_protocol: 0
     tx_linearize: 0
     tx_force_wb: 0
     tx_busy: 0
     rx_alloc_fail: 0
     rx_pg_alloc_fail: 0
     tx-0.packets: 5560877
     tx-0.bytes: 6003571748
     rx-0.packets: 8158244
     rx-0.bytes: 4192892787
     tx-1.packets: 7146219
     tx-1.bytes: 8665653140
     rx-1.packets: 6268243
     rx-1.bytes: 2813343050
     tx-2.packets: 28293273
     tx-2.bytes: 30669083191
     rx-2.packets: 6757231
     rx-2.bytes: 4295985517
     tx-3.packets: 26127906
     tx-3.bytes: 30071018207
     rx-3.packets: 9618579
     rx-3.bytes: 6250591760
     tx-4.packets: 26794552
     tx-4.bytes: 29930510739
     rx-4.packets: 5953709
     rx-4.bytes: 3331813955
     tx-5.packets: 32041907
     tx-5.bytes: 36284193143
     rx-5.packets: 6426681
     rx-5.bytes: 3475872552
     tx-6.packets: 28055944
     tx-6.bytes: 32132488554
     rx-6.packets: 7112107
     rx-6.bytes: 4254006972
     tx-7.packets: 31638372
     tx-7.bytes: 36353585931
     rx-7.packets: 8358248
     rx-7.bytes: 5822909376
     tx-8.packets: 0
     tx-8.bytes: 0
     rx-8.packets: 0
     rx-8.bytes: 0
     tx-9.packets: 0
     tx-9.bytes: 0
     rx-9.packets: 0
     rx-9.bytes: 0
     tx-10.packets: 0
     tx-10.bytes: 0
     rx-10.packets: 0
     rx-10.bytes: 0
     tx-11.packets: 0
     tx-11.bytes: 0
     rx-11.packets: 0
     rx-11.bytes: 0
     tx-12.packets: 0
     tx-12.bytes: 0
     rx-12.packets: 0
     rx-12.bytes: 0
     tx-13.packets: 0
     tx-13.bytes: 0
     rx-13.packets: 0
     rx-13.bytes: 0
     tx-14.packets: 0
     tx-14.bytes: 0
     rx-14.packets: 0
     rx-14.bytes: 0
     tx-15.packets: 0
     tx-15.bytes: 0
     rx-15.packets: 0
     rx-15.bytes: 0
     tx-16.packets: 0
     tx-16.bytes: 0
     rx-16.packets: 0
     rx-16.bytes: 0
     tx-17.packets: 0
     tx-17.bytes: 0
     rx-17.packets: 0
     rx-17.bytes: 0
     tx-18.packets: 0
     tx-18.bytes: 0
     rx-18.packets: 0
     rx-18.bytes: 0
     tx-19.packets: 0
     tx-19.bytes: 0
     rx-19.packets: 0
     rx-19.bytes: 0
     tx-20.packets: 0
     tx-20.bytes: 0
     rx-20.packets: 0
     rx-20.bytes: 0
     tx-21.packets: 0
     tx-21.bytes: 0
     rx-21.packets: 0
     rx-21.bytes: 0
     tx-22.packets: 0
     tx-22.bytes: 0
     rx-22.packets: 0
     rx-22.bytes: 0
     tx-23.packets: 0
     tx-23.bytes: 0
     rx-23.packets: 0
     rx-23.bytes: 0
     tx-24.packets: 0
     tx-24.bytes: 0
     rx-24.packets: 0
     rx-24.bytes: 0
     tx-25.packets: 0
     tx-25.bytes: 0
     rx-25.packets: 0
     rx-25.bytes: 0
     tx-26.packets: 0
     tx-26.bytes: 0
     rx-26.packets: 0
     rx-26.bytes: 0
     tx-27.packets: 0
     tx-27.bytes: 0
     rx-27.packets: 0
     rx-27.bytes: 0
     tx-28.packets: 0
     tx-28.bytes: 0
     rx-28.packets: 0
     rx-28.bytes: 0
     tx-29.packets: 0
     tx-29.bytes: 0
     rx-29.packets: 0
     rx-29.bytes: 0
     tx-30.packets: 0
     tx-30.bytes: 0
     rx-30.packets: 0
     rx-30.bytes: 0
     tx-31.packets: 0
     tx-31.bytes: 0
     rx-31.packets: 0
     rx-31.bytes: 0
     tx-32.packets: 0
     tx-32.bytes: 0
     rx-32.packets: 0
     rx-32.bytes: 0
     tx-33.packets: 0
     tx-33.bytes: 0
     rx-33.packets: 0
     rx-33.bytes: 0
     tx-34.packets: 0
     tx-34.bytes: 0
     rx-34.packets: 0
     rx-34.bytes: 0
     tx-35.packets: 0
     tx-35.bytes: 0
     rx-35.packets: 0
     rx-35.bytes: 0
     tx-36.packets: 0
     tx-36.bytes: 0
     rx-36.packets: 0
     rx-36.bytes: 0
     tx-37.packets: 0
     tx-37.bytes: 0
     rx-37.packets: 0
     rx-37.bytes: 0
     tx-38.packets: 0
     tx-38.bytes: 0
     rx-38.packets: 0
     rx-38.bytes: 0
     tx-39.packets: 0
     tx-39.bytes: 0
     rx-39.packets: 0
     rx-39.bytes: 0
     tx-40.packets: 0
     tx-40.bytes: 0
     rx-40.packets: 0
     rx-40.bytes: 0
     tx-41.packets: 0
     tx-41.bytes: 0
     rx-41.packets: 0
     rx-41.bytes: 0
     tx-42.packets: 0
     tx-42.bytes: 0
     rx-42.packets: 0
     rx-42.bytes: 0
     tx-43.packets: 0
     tx-43.bytes: 0
     rx-43.packets: 0
     rx-43.bytes: 0
     tx-44.packets: 0
     tx-44.bytes: 0
     rx-44.packets: 0
     rx-44.bytes: 0
     tx-45.packets: 0
     tx-45.bytes: 0
     rx-45.packets: 0
     rx-45.bytes: 0
     tx-46.packets: 0
     tx-46.bytes: 0
     rx-46.packets: 0
     rx-46.bytes: 0
     tx-47.packets: 0
     tx-47.bytes: 0
     rx-47.packets: 0
     rx-47.bytes: 0
     tx-48.packets: 0
     tx-48.bytes: 0
     rx-48.packets: 0
     rx-48.bytes: 0
     tx-49.packets: 0
     tx-49.bytes: 0
     rx-49.packets: 0
     rx-49.bytes: 0
     tx-50.packets: 0
     tx-50.bytes: 0
     rx-50.packets: 0
     rx-50.bytes: 0
     tx-51.packets: 0
     tx-51.bytes: 0
     rx-51.packets: 0
     rx-51.bytes: 0
     tx-52.packets: 0
     tx-52.bytes: 0
     rx-52.packets: 0
     rx-52.bytes: 0
     tx-53.packets: 0
     tx-53.bytes: 0
     rx-53.packets: 0
     rx-53.bytes: 0
     tx-54.packets: 0
     tx-54.bytes: 0
     rx-54.packets: 0
     rx-54.bytes: 0
     tx-55.packets: 0
     tx-55.bytes: 0
     rx-55.packets: 0
     rx-55.bytes: 0
     tx-56.packets: 0
     tx-56.bytes: 0
     rx-56.packets: 0
     rx-56.bytes: 0
     tx-57.packets: 0
     tx-57.bytes: 0
     rx-57.packets: 0
     rx-57.bytes: 0
     tx-58.packets: 0
     tx-58.bytes: 0
     rx-58.packets: 0
     rx-58.bytes: 0
     tx-59.packets: 0
     tx-59.bytes: 0
     rx-59.packets: 0
     rx-59.bytes: 0
     tx-60.packets: 0
     tx-60.bytes: 0
     rx-60.packets: 0
     rx-60.bytes: 0
     tx-61.packets: 0
     tx-61.bytes: 0
     rx-61.packets: 0
     rx-61.bytes: 0
     tx-62.packets: 0
     tx-62.bytes: 0
     rx-62.packets: 0
     rx-62.bytes: 0
     tx-63.packets: 0
     tx-63.bytes: 0
     rx-63.packets: 0
     rx-63.bytes: 0
     veb.rx_bytes: 0
     veb.tx_bytes: 0
     veb.rx_unicast: 0
     veb.tx_unicast: 0
     veb.rx_multicast: 0
     veb.tx_multicast: 0
     veb.rx_broadcast: 0
     veb.tx_broadcast: 0
     veb.rx_discards: 0
     veb.tx_discards: 0
     veb.tx_errors: 0
     veb.rx_unknown_protocol: 0
     veb.tc_0_tx_packets: 0
     veb.tc_0_tx_bytes: 0
     veb.tc_0_rx_packets: 0
     veb.tc_0_rx_bytes: 0
     veb.tc_1_tx_packets: 0
     veb.tc_1_tx_bytes: 0
     veb.tc_1_rx_packets: 0
     veb.tc_1_rx_bytes: 0
     veb.tc_2_tx_packets: 0
     veb.tc_2_tx_bytes: 0
     veb.tc_2_rx_packets: 0
     veb.tc_2_rx_bytes: 0
     veb.tc_3_tx_packets: 0
     veb.tc_3_tx_bytes: 0
     veb.tc_3_rx_packets: 0
     veb.tc_3_rx_bytes: 0
     veb.tc_4_tx_packets: 0
     veb.tc_4_tx_bytes: 0
     veb.tc_4_rx_packets: 0
     veb.tc_4_rx_bytes: 0
     veb.tc_5_tx_packets: 0
     veb.tc_5_tx_bytes: 0
     veb.tc_5_rx_packets: 0
     veb.tc_5_rx_bytes: 0
     veb.tc_6_tx_packets: 0
     veb.tc_6_tx_bytes: 0
     veb.tc_6_rx_packets: 0
     veb.tc_6_rx_bytes: 0
     veb.tc_7_tx_packets: 0
     veb.tc_7_tx_bytes: 0
     veb.tc_7_rx_packets: 0
     veb.tc_7_rx_bytes: 0
     port.rx_bytes: 34626039186
     port.tx_bytes: 210585446724
     port.rx_unicast: 58565897
     port.tx_unicast: 185357352
     port.rx_multicast: 1314
     port.tx_multicast: 21
     port.rx_broadcast: 1301
     port.tx_broadcast: 40398
     port.tx_errors: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 24377
     port.illegal_bytes: 279
     port.mac_local_faults: 0
     port.mac_remote_faults: 0
     port.tx_timeout: 0
     port.rx_csum_bad: 0
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 8309643
     port.rx_size_127: 21818411
     port.rx_size_255: 4375027
     port.rx_size_511: 2232266
     port.rx_size_1023: 1971271
     port.rx_size_1522: 19861902
     port.rx_size_big: 0
     port.tx_size_64: 12218804
     port.tx_size_127: 21656478
     port.tx_size_255: 7094739
     port.tx_size_511: 3982561
     port.tx_size_1023: 3298736
     port.tx_size_1522: 137146451
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.arq_overflows: 0
     port.tx_hwtstamp_timeouts: 0
     port.rx_hwtstamp_cleared: 0
     port.tx_hwtstamp_skipped: 0
     port.fdir_flush_cnt: 2797
     port.fdir_atr_match: 14201767
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 0
     port.fdir_sb_match: 0
     port.fdir_sb_status: 0
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon_tx: 0
     port.tx_priority_0_xoff_tx: 0
     port.rx_priority_0_xon_rx: 0
     port.rx_priority_0_xoff_rx: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.tx_priority_1_xon_tx: 0
     port.tx_priority_1_xoff_tx: 0
     port.rx_priority_1_xon_rx: 0
     port.rx_priority_1_xoff_rx: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.tx_priority_2_xon_tx: 0
     port.tx_priority_2_xoff_tx: 0
     port.rx_priority_2_xon_rx: 0
     port.rx_priority_2_xoff_rx: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.tx_priority_3_xon_tx: 0
     port.tx_priority_3_xoff_tx: 0
     port.rx_priority_3_xon_rx: 0
     port.rx_priority_3_xoff_rx: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.tx_priority_4_xon_tx: 0
     port.tx_priority_4_xoff_tx: 0
     port.rx_priority_4_xon_rx: 0
     port.rx_priority_4_xoff_rx: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.tx_priority_5_xon_tx: 0
     port.tx_priority_5_xoff_tx: 0
     port.rx_priority_5_xon_rx: 0
     port.rx_priority_5_xoff_rx: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.tx_priority_6_xon_tx: 0
     port.tx_priority_6_xoff_tx: 0
     port.rx_priority_6_xon_rx: 0
     port.rx_priority_6_xoff_rx: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.tx_priority_7_xon_tx: 0
     port.tx_priority_7_xoff_tx: 0
     port.rx_priority_7_xon_rx: 0
     port.rx_priority_7_xoff_rx: 0
     port.rx_priority_7_xon_2_xoff: 0

 

 

Прерывания. Тут следы нечеловеческих экспериментов, на самом деле сейчас на обоих интерфейсах сделал ./set_irq_affinity 2-9 ens6fX 

И там красивая лесенка от второго до девятого.

 

 

  Скрыть содержимое

 

 



# cat /proc/interrupts | grep ens6f0
 36:  219966382          0  613668370          0          0          1          0          0          0          0   PCI-MSI 1048577-edge      i40e-ens6f0-TxRx-0
 37:          0    1457174          0  613291617          0          0          1          0          0          0   PCI-MSI 1048578-edge      i40e-ens6f0-TxRx-1
 38:          0          0    1612085          0  740565330          0          0          1          0          0   PCI-MSI 1048579-edge      i40e-ens6f0-TxRx-2
 39:          0          0          0    1564072          0  694240716          0          0          1          0   PCI-MSI 1048580-edge      i40e-ens6f0-TxRx-3
 40:          0          0          0          0    1506159          0  633657099          0          0          1   PCI-MSI 1048581-edge      i40e-ens6f0-TxRx-4
 41:          1          0          0          0          0    1431223          0  633701012          0          0   PCI-MSI 1048582-edge      i40e-ens6f0-TxRx-5
 42:          0          1          0          0          0          0     410619          0  688206320          0   PCI-MSI 1048583-edge      i40e-ens6f0-TxRx-6
 43:          0          0          1          0          0          0          0     401102          0  690443904   PCI-MSI 1048584-edge      i40e-ens6f0-TxRx-7
# cat /proc/interrupts | grep ens6f1
 67:   69045427          0 1277473080          0          0          1          0          0          0          0   PCI-MSI 1050625-edge      i40e-ens6f1-TxRx-0
 68:          0    1701136          0   10110270          0          0          1          0          0          0   PCI-MSI 1050626-edge      i40e-ens6f1-TxRx-1
 69:          0          0    1859483          0  246404029          0          0          1          0          0   PCI-MSI 1050627-edge      i40e-ens6f1-TxRx-2
 70:          0          0          0    2079585          0  246066683          0          0          1          0   PCI-MSI 1050628-edge      i40e-ens6f1-TxRx-3
 71:          0          0          0          0    1876008          0  318561072          0          0          1   PCI-MSI 1050629-edge      i40e-ens6f1-TxRx-4
 72:          1          0          0          0          0    1816547          0  305069365          0          0   PCI-MSI 1050630-edge      i40e-ens6f1-TxRx-5
 73:          0          1          0          0          0          0    1441007          0  271091806          0   PCI-MSI 1050631-edge      i40e-ens6f1-TxRx-6
 74:          0          0          1          0          0          0          0    1455472          0  275056283   PCI-MSI 1050632-edge      i40e-ens6f1-TxRx-7

 

Виртуализация выключена само собой.

 

Как вы определили, что проблема с одним из потоков-очередью?

Share this post


Link to post
Share on other sites

почему никто до сих пор не сказал проверить output discard-ы на свичах? :)

очевидно что сервер подключен 40 гбитами, а вот дальше расходится в сеть вероятнее всего десятками

и вот тут то свичи и начинают терять пакеты

Share this post


Link to post
Share on other sites
20 hours ago, John_obn said:

Как вы определили, что проблема с одним из потоков-очередью?

при помощи iperf3.

если тест запускать аплода на один поток - все плохо. Первые четыре секунды растет скорость до 30-40-50мбит, потом падает до 7 мбит, в итоге по тесту длительностью 10 секкунд средняя скорость - 9-10-11 мбит. Мало.

 

Если зарядить десять потоков, то там в целом скорость нормальная.

 

21 hours ago, sekuzz said:

Вот здесь никогда нельзя быть уверенным на все 100.

 

Предлагаю поставить свой iperf в подсеть линковки с вышестоящим провайдером и измерить скорости.

Сомневаюсь, что все аплинки одинаково шейпят, даже если шейпят. И - был бы шейпер, оно бы и тест в много потоков ломало. И еще оно бы ломало и трафик роутера. Но с роутера все просто замечательно.

 

20 hours ago, GrandPr1de said:

почему никто до сих пор не сказал проверить output discard-ы на свичах? :)

очевидно что сервер подключен 40 гбитами, а вот дальше расходится в сеть вероятнее всего десятками

и вот тут то свичи и начинают терять пакеты

и теряют почему-то только в случае одного потока, если потоков много -то не теряют? Но посмотрел - ничего такого нет.

 

Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик.

Edited by vsmith80

Share this post


Link to post
Share on other sites
1 час назад, vsmith80 сказал:

Но посмотрел - ничего такого нет

смотря что за свичи, это может идти отдельным счетчиком, а могут и вовсе не показывать их

сморите на кол-во ретрансмитов в одном потоке, если валят ретрансмиты и укладывают tcp окно то это дискарды зачастую

Share this post


Link to post
Share on other sites
1 час назад, vsmith80 сказал:

при помощи iperf3.

если тест запускать аплода на один поток - все плохо. Первые четыре секунды растет скорость до 30-40-50мбит, потом падает до 7 мбит, в итоге по тесту длительностью 10 секкунд средняя скорость - 9-10-11 мбит. Мало.

 

Если зарядить десять потоков, то там в целом скорость нормальная.

 

Сомневаюсь, что все аплинки одинаково шейпят, даже если шейпят. И - был бы шейпер, оно бы и тест в много потоков ломало. И еще оно бы ломало и трафик роутера. Но с роутера все просто замечательно.

 

и теряют почему-то только в случае одного потока, если потоков много -то не теряют? Но посмотрел - ничего такого нет.

 

Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик.

 

Я что то подумал, что речь изначально про поток сетевой карты, а не поток трафика от клиента. Поэтому и спросил, как определили, что проблема с потоком.

В таком случае не факт, что проблема вообще в этом PC-маршрутизаторе.

Share this post


Link to post
Share on other sites
On 4/22/2021 at 12:36 PM, vsmith80 said:

да, проблема только при передаче в интернет транзитного трафика в один поток. 

Передаете флуда с вашего хостинга. Ничто плохое. (https://github.com/pavel-odintsov/fastnetmon)

Edited by h3ll1

Share this post


Link to post
Share on other sites
В 05.01.2021 в 00:24, John_obn сказал:

Коллеги, изучал кто то , на сколько будет эффективнее как точки зрения цены, так и с точки зрения производительности строить linux softrouter на процессорах AMD Epyc? Интересует в роли border+NAT+ipt_netflow (для natevents). У нас работают 2 бордера в параллель, задумываюсь о третьем, чтобы разгрузить текущие, т.к. потихоньку растут дропы на in, а крутилки уже все выкручены (по крайней мере у меня уже нет идей, кроме как упираемся в максимальную производительность). Кому интересно, графики сейчас такие (ens6 40G - Intel XL710 (аплинки+downlink), ens3 - прямой линк до второго бордера), cpu E5-2690v4 * 2шт: 

2021-01-05_00-14-01.png

2021-01-05_00-15-45.png

2021-01-05_00-16-55.png

2021-01-05_00-17-37.png

Решил свою проблему, описанную выше. Для начала вынес роль бордера на mx204 в надежде, что, оставив только роль NAT на сервере , чтобы не пришлось бегать по таблице маршрутизации, проблема уйдет. Но нет, проблема осталась.

Машину под NAT я сделал, используя nftables + flow offload ( статья на Хабре ), для этого взял Ubuntu 20.04. Изначально я поставил самый свежий драйвер i40e от Intel на sourceforge. И только потом вспомнил, что на этом драйвере дропы выросли многократно.

Итоговый вариант: включен HyperThreading, ubuntu 20.04, mitigations=off, драйвер i40e в комплекте с ядром, кол-во очередей равно ядрам+HT, ethtool -C rx tx 50. Трафик на одном интерфейсе разделенный на 2 влана (влан1- наша сеть, влан2 - в сторону бордера/аплинков). Поскольку очереди привязаны к local numa, получается, второй процессор отдыхает совсем.

За последние сутки дропов 0 при пике в 26,57 гбит/с и 3,39 мппс в каждую сторону. При этом минимальный idle у задействованных ядер примерно 82% . Напомню , cpu E5-2690v4

Благодарю за ценные советы автора статьи на Хабре.

Share this post


Link to post
Share on other sites
В 23.04.2021 в 16:12, vsmith80 сказал:

Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик.

У меня была похожая проблема - виноват был Ростелеком, притом не местный, а где-то на подходе к Москве. Все, что транзитом бежало через них, было подвержено такой проблеме.

Share this post


Link to post
Share on other sites
3 минуты назад, support_RT сказал:

Все проверим и решим.

Слово пацана даете?

А если нет, то что будет с вами?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now