vsmith80 Опубликовано 22 апреля, 2021 (изменено) · Жалоба Коллеги, внезапно оказалось, что есть проблема у маршрутизатора на linux Карта Intel XL710-Q2 ОС - Ubuntu 20.04, в ней bird, в нем штук пять линков с аплинками, два фуллвью и еще по мелочи Как с драйвером из поставки ОС, так и со свежим от интела наблюдаю вот что: в один поток скорость аплоада в интернет с даунлинков крайне мала, в пределах 5-10 мегабит. Аплоад с самой машины в один поток без всяких проблем, очень быстро. Даунлоад у клиентов без проблем, очень быстро тоже. На машине ни шейпера, ни натов, ничего такого нет. Еще интересный эффект - если машину перезагрузить, то сразу после того, как поднимется маршрутизация, скорось на аплоад хорошая, но буквально через тридцать секунд падает. В логах при этом ничего криминального не происходит. В какую сторону копать? Изменено 22 апреля, 2021 пользователем vsmith80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 22 апреля, 2021 · Жалоба 1 час назад, vsmith80 сказал: Коллеги, внезапно оказалось, что есть проблема у маршрутизатора на linux Карта Intel XL710-Q2 ОС - Ubuntu 20.04, в ней bird, в нем штук пять линков с аплинками, два фуллвью и еще по мелочи Как с драйвером из поставки ОС, так и со свежим от интела наблюдаю вот что: в один поток скорость аплоада в интернет с даунлинков крайне мала, в пределах 5-10 мегабит. Аплоад с самой машины в один поток без всяких проблем, очень быстро. Даунлоад у клиентов без проблем, очень быстро тоже. На машине ни шейпера, ни натов, ничего такого нет. Еще интересный эффект - если машину перезагрузить, то сразу после того, как поднимется маршрутизация, скорось на аплоад хорошая, но буквально через тридцать секунд падает. В логах при этом ничего криминального не происходит. В какую сторону копать? Добрый день. Тюнили сетевую карту через ethtool (отключение оффлоадов, gro,tso,lro и прочее)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vsmith80 Опубликовано 22 апреля, 2021 (изменено) · Жалоба 33 minutes ago, John_obn said: Добрый день. Тюнили сетевую карту через ethtool (отключение оффлоадов, gro,tso,lro и прочее)? Да, конечно, все гайды перечитал, все сделал. Просто если этого не сделать - то оно в много потоков и в обе стороны будет плохо под нагрузкой, и там спецэффекты вполне определенные наблюдаются. Тут ничего похожего, просто в один поток транзитный трафик в интернет очень медленный. Изменено 22 апреля, 2021 пользователем vsmith80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 22 апреля, 2021 · Жалоба 1 hour ago, vsmith80 said: В какую сторону копать? Flow Control выключен? (выключить) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vsmith80 Опубликовано 22 апреля, 2021 (изменено) · Жалоба 8 minutes ago, rm_ said: Flow Control выключен? (выключить) Выключен /etc/network# ethtool -a ens6f0 Pause parameters for ens6f0: Autonegotiate: off RX: off TX: off /etc/network# ethtool -a ens6f1 Pause parameters for ens6f0: Autonegotiate: off RX: off TX: off На другой стороне: #show interfaces status fo 1/0/1 Flow Link Uptime Back Mdix Port Type Duplex Speed Neg ctrl State (d,h:m:s) Pressure Mode Port Mode (VLAN) -------- ------------ ------ ----- -------- ---- ----------- ------------- -------- ------- ------------------------ fo1/0/1 40G-Fiber Full 40000 Disabled Off Up 00,06:08:09 Disabled Off Trunk #show interfaces status fo 1/0/2 Flow Link Uptime Back Mdix Port Type Duplex Speed Neg ctrl State (d,h:m:s) Pressure Mode Port Mode (VLAN) -------- ------------ ------ ----- -------- ---- ----------- ------------- -------- ------- ------------------------ fo1/0/2 40G-Fiber Full 40000 Disabled Off Up 00,06:08:14 Disabled Off Trunk Изменено 22 апреля, 2021 пользователем vsmith80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 22 апреля, 2021 · Жалоба 11 минут назад, vsmith80 сказал: Да, конечно, все гайды перечитал, все сделал. Просто если этого не сделать - то оно в много потоков и в обе стороны будет плохо под нагрузкой, и там спецэффекты вполне определенные наблюдаются. Тут ничего похожего, просто в один поток транзитный трафик в интернет очень медленный. Не совсем понял, у вас проблемы только с 1 потоком (очередью)? с остальными все ок? Если да, то есть ли реально жалобы от клиентов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vsmith80 Опубликовано 22 апреля, 2021 (изменено) · Жалоба 16 minutes ago, John_obn said: Не совсем понял, у вас проблемы только с 1 потоком (очередью)? с остальными все ок? Если да, то есть ли реально жалобы от клиентов? да, проблема только при передаче в интернет транзитного трафика в один поток. Причем начинает хорошо, скорость повышается до 30-40-50 мбит в первые три-четыре секунды, а потом падает. Эффект и на iperf Заметен, и на internet.yandex.ru, и на других мерялках подобных. Прям крайне похоже на шейпер с Burst, но шейперов у нас таких нет, у аплинков тоже. Жалобы от клиентов да, есть, им стримить мешает. Изменено 22 апреля, 2021 пользователем vsmith80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 22 апреля, 2021 · Жалоба 6 минут назад, vsmith80 сказал: да, проблема только при передаче в интернет транзитного трафика в один поток. Причем начинает хорошо, скорость повышается до 30-40-50 мбит в первые три-четыре секунды, а потом падает. Эффект и на iperf Заметен, и на internet.yandex.ru, и на других мерялках подобных. Жалобы от клиентов да, есть, им стримить мешает. Думаю, вам стоит сюда выложить выводы всего тюнинга проблемного интерфейса: ethtool -k , -g , -l , -S заодно и cat /proc/interrupts | grep <ifname> С этим потоком только сейчас появились проблемы или всегда были? Что явилось триггером начала проблемы? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sekuzz Опубликовано 22 апреля, 2021 · Жалоба 1 час назад, vsmith80 сказал: Прям крайне похоже на шейпер с Burst, но шейперов у нас таких нет, у аплинков тоже. Вот здесь никогда нельзя быть уверенным на все 100. Предлагаю поставить свой iperf в подсеть линковки с вышестоящим провайдером и измерить скорости. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vsmith80 Опубликовано 22 апреля, 2021 (изменено) · Жалоба 1 hour ago, John_obn said: Думаю, вам стоит сюда выложить выводы всего тюнинга проблемного интерфейса: ethtool -k , -g , -l , -S заодно и cat /proc/interrupts | grep <ifname> С этим потоком только сейчас появились проблемы или всегда были? Что явилось триггером начала проблемы? Когда появились не могу точно сказать, к сожалению. Замечена в полный рост проблема была недавно, и сразу все прочитал что нашел по этому поводу. Триггер - жалобы клиентов. ethtool -k ens6f0 ethtool -k ens6f1 Spoiler # ethtool -k ens6f0 Features for ens6f0: rx-checksumming: off tx-checksumming: off tx-checksum-ipv4: off tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: off tx-checksum-fcoe-crc: off [fixed] tx-checksum-sctp: off scatter-gather: off tx-scatter-gather: off tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: off tx-tcp-segmentation: off tx-tcp-ecn-segmentation: off tx-tcp-mangleid-segmentation: off tx-tcp6-segmentation: off generic-segmentation-offload: off generic-receive-offload: off large-receive-offload: off [fixed] rx-vlan-offload: off tx-vlan-offload: off ntuple-filters: on receive-hashing: off highdma: on rx-vlan-filter: on [fixed] vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: off [fixed] tx-gre-segmentation: on tx-gre-csum-segmentation: on tx-ipxip4-segmentation: on tx-ipxip6-segmentation: on tx-udp_tnl-segmentation: on tx-udp_tnl-csum-segmentation: on tx-gso-partial: on tx-tunnel-remcsum-segmentation: off [fixed] tx-sctp-segmentation: off [fixed] tx-esp-segmentation: off [fixed] tx-udp-segmentation: on tx-gso-list: off [fixed] fcoe-mtu: off [fixed] tx-nocache-copy: off loopback: off [fixed] rx-fcs: off [fixed] rx-all: off [fixed] tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] l2-fwd-offload: off hw-tc-offload: on esp-hw-offload: off [fixed] esp-tx-csum-hw-offload: off [fixed] rx-udp_tunnel-port-offload: on tls-hw-tx-offload: off [fixed] tls-hw-rx-offload: off [fixed] rx-gro-hw: off [fixed] tls-hw-record: off [fixed] rx-gro-list: off macsec-hw-offload: off [fixed] # ethtool -k ens6f1 Features for ens6f1: rx-checksumming: off tx-checksumming: off tx-checksum-ipv4: off tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: off tx-checksum-fcoe-crc: off [fixed] tx-checksum-sctp: off scatter-gather: off tx-scatter-gather: off tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: off tx-tcp-segmentation: off tx-tcp-ecn-segmentation: off tx-tcp-mangleid-segmentation: off tx-tcp6-segmentation: off generic-segmentation-offload: off generic-receive-offload: off large-receive-offload: off [fixed] rx-vlan-offload: off tx-vlan-offload: off ntuple-filters: on receive-hashing: off highdma: on rx-vlan-filter: on [fixed] vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: off [fixed] tx-gre-segmentation: on tx-gre-csum-segmentation: on tx-ipxip4-segmentation: on tx-ipxip6-segmentation: on tx-udp_tnl-segmentation: on tx-udp_tnl-csum-segmentation: on tx-gso-partial: on tx-tunnel-remcsum-segmentation: off [fixed] tx-sctp-segmentation: off [fixed] tx-esp-segmentation: off [fixed] tx-udp-segmentation: on tx-gso-list: off [fixed] fcoe-mtu: off [fixed] tx-nocache-copy: off loopback: off [fixed] rx-fcs: off [fixed] rx-all: off [fixed] tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] l2-fwd-offload: off hw-tc-offload: on esp-hw-offload: off [fixed] esp-tx-csum-hw-offload: off [fixed] rx-udp_tunnel-port-offload: on tls-hw-tx-offload: off [fixed] tls-hw-rx-offload: off [fixed] rx-gro-hw: off [fixed] tls-hw-record: off [fixed] rx-gro-list: off macsec-hw-offload: off [fixed] ethtool -g ens6f0 ethtool -g ens6f1 Spoiler # ethtool -g ens6f0 Ring parameters for ens6f0: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 # ethtool -g ens6f1 Ring parameters for ens6f1: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 ethtool -l ens6f0 ethtool -l ens6f1 Spoiler # ethtool -l ens6f0 Channel parameters for ens6f0: Pre-set maximums: RX: 0 TX: 0 Other: 1 Combined: 64 Current hardware settings: RX: 0 TX: 0 Other: 1 Combined: 8 # ethtool -l ens6f1 Channel parameters for ens6f1: Pre-set maximums: RX: 0 TX: 0 Other: 1 Combined: 64 Current hardware settings: RX: 0 TX: 0 Other: 1 Combined: 8 ethtool -S ens6f0 ethtool -S ens6f1 Spoiler # ethtool -S ens6f0 NIC statistics: rx_packets: 7688052688 tx_packets: 2545625949 rx_bytes: 9060462491339 tx_bytes: 1589932359316 rx_errors: 10544 tx_errors: 0 rx_dropped: 970 tx_dropped: 0 collisions: 0 rx_length_errors: 0 rx_crc_errors: 10485 rx_unicast: 7675954509 tx_unicast: 2545495933 rx_multicast: 1672143 tx_multicast: 0 rx_broadcast: 10425465 tx_broadcast: 112584 rx_unknown_protocol: 0 tx_linearize: 0 tx_force_wb: 0 tx_busy: 0 rx_alloc_fail: 0 rx_pg_alloc_fail: 0 tx-0.packets: 42254867 tx-0.bytes: 33469877807 rx-0.packets: 885524925 rx-0.bytes: 1022983042875 tx-1.packets: 45615267 tx-1.bytes: 35014603616 rx-1.packets: 899732412 rx-1.bytes: 1061899278156 tx-2.packets: 1386175248 tx-2.bytes: 717569057741 rx-2.packets: 1063515811 rx-2.bytes: 1218804664675 tx-3.packets: 248471416 tx-3.bytes: 194171652875 rx-3.packets: 1008175010 rx-3.bytes: 1191141301084 tx-4.packets: 167340946 tx-4.bytes: 121743646291 rx-4.packets: 909497304 rx-4.bytes: 1098757642203 tx-5.packets: 182581807 tx-5.bytes: 126013372934 rx-5.packets: 924177092 rx-5.bytes: 1101322775402 tx-6.packets: 244424997 tx-6.bytes: 185341095941 rx-6.packets: 1000520123 rx-6.bytes: 1187991834302 tx-7.packets: 228761401 tx-7.bytes: 176609052111 rx-7.packets: 996910012 rx-7.bytes: 1177561952708 tx-8.packets: 0 tx-8.bytes: 0 rx-8.packets: 0 rx-8.bytes: 0 tx-9.packets: 0 tx-9.bytes: 0 rx-9.packets: 0 rx-9.bytes: 0 tx-10.packets: 0 tx-10.bytes: 0 rx-10.packets: 0 rx-10.bytes: 0 tx-11.packets: 0 tx-11.bytes: 0 rx-11.packets: 0 rx-11.bytes: 0 tx-12.packets: 0 tx-12.bytes: 0 rx-12.packets: 0 rx-12.bytes: 0 tx-13.packets: 0 tx-13.bytes: 0 rx-13.packets: 0 rx-13.bytes: 0 tx-14.packets: 0 tx-14.bytes: 0 rx-14.packets: 0 rx-14.bytes: 0 tx-15.packets: 0 tx-15.bytes: 0 rx-15.packets: 0 rx-15.bytes: 0 tx-16.packets: 0 tx-16.bytes: 0 rx-16.packets: 0 rx-16.bytes: 0 tx-17.packets: 0 tx-17.bytes: 0 rx-17.packets: 0 rx-17.bytes: 0 tx-18.packets: 0 tx-18.bytes: 0 rx-18.packets: 0 rx-18.bytes: 0 tx-19.packets: 0 tx-19.bytes: 0 rx-19.packets: 0 rx-19.bytes: 0 tx-20.packets: 0 tx-20.bytes: 0 rx-20.packets: 0 rx-20.bytes: 0 tx-21.packets: 0 tx-21.bytes: 0 rx-21.packets: 0 rx-21.bytes: 0 tx-22.packets: 0 tx-22.bytes: 0 rx-22.packets: 0 rx-22.bytes: 0 tx-23.packets: 0 tx-23.bytes: 0 rx-23.packets: 0 rx-23.bytes: 0 tx-24.packets: 0 tx-24.bytes: 0 rx-24.packets: 0 rx-24.bytes: 0 tx-25.packets: 0 tx-25.bytes: 0 rx-25.packets: 0 rx-25.bytes: 0 tx-26.packets: 0 tx-26.bytes: 0 rx-26.packets: 0 rx-26.bytes: 0 tx-27.packets: 0 tx-27.bytes: 0 rx-27.packets: 0 rx-27.bytes: 0 tx-28.packets: 0 tx-28.bytes: 0 rx-28.packets: 0 rx-28.bytes: 0 tx-29.packets: 0 tx-29.bytes: 0 rx-29.packets: 0 rx-29.bytes: 0 tx-30.packets: 0 tx-30.bytes: 0 rx-30.packets: 0 rx-30.bytes: 0 tx-31.packets: 0 tx-31.bytes: 0 rx-31.packets: 0 rx-31.bytes: 0 tx-32.packets: 0 tx-32.bytes: 0 rx-32.packets: 0 rx-32.bytes: 0 tx-33.packets: 0 tx-33.bytes: 0 rx-33.packets: 0 rx-33.bytes: 0 tx-34.packets: 0 tx-34.bytes: 0 rx-34.packets: 0 rx-34.bytes: 0 tx-35.packets: 0 tx-35.bytes: 0 rx-35.packets: 0 rx-35.bytes: 0 tx-36.packets: 0 tx-36.bytes: 0 rx-36.packets: 0 rx-36.bytes: 0 tx-37.packets: 0 tx-37.bytes: 0 rx-37.packets: 0 rx-37.bytes: 0 tx-38.packets: 0 tx-38.bytes: 0 rx-38.packets: 0 rx-38.bytes: 0 tx-39.packets: 0 tx-39.bytes: 0 rx-39.packets: 0 rx-39.bytes: 0 tx-40.packets: 0 tx-40.bytes: 0 rx-40.packets: 0 rx-40.bytes: 0 tx-41.packets: 0 tx-41.bytes: 0 rx-41.packets: 0 rx-41.bytes: 0 tx-42.packets: 0 tx-42.bytes: 0 rx-42.packets: 0 rx-42.bytes: 0 tx-43.packets: 0 tx-43.bytes: 0 rx-43.packets: 0 rx-43.bytes: 0 tx-44.packets: 0 tx-44.bytes: 0 rx-44.packets: 0 rx-44.bytes: 0 tx-45.packets: 0 tx-45.bytes: 0 rx-45.packets: 0 rx-45.bytes: 0 tx-46.packets: 0 tx-46.bytes: 0 rx-46.packets: 0 rx-46.bytes: 0 tx-47.packets: 0 tx-47.bytes: 0 rx-47.packets: 0 rx-47.bytes: 0 tx-48.packets: 0 tx-48.bytes: 0 rx-48.packets: 0 rx-48.bytes: 0 tx-49.packets: 0 tx-49.bytes: 0 rx-49.packets: 0 rx-49.bytes: 0 tx-50.packets: 0 tx-50.bytes: 0 rx-50.packets: 0 rx-50.bytes: 0 tx-51.packets: 0 tx-51.bytes: 0 rx-51.packets: 0 rx-51.bytes: 0 tx-52.packets: 0 tx-52.bytes: 0 rx-52.packets: 0 rx-52.bytes: 0 tx-53.packets: 0 tx-53.bytes: 0 rx-53.packets: 0 rx-53.bytes: 0 tx-54.packets: 0 tx-54.bytes: 0 rx-54.packets: 0 rx-54.bytes: 0 tx-55.packets: 0 tx-55.bytes: 0 rx-55.packets: 0 rx-55.bytes: 0 tx-56.packets: 0 tx-56.bytes: 0 rx-56.packets: 0 rx-56.bytes: 0 tx-57.packets: 0 tx-57.bytes: 0 rx-57.packets: 0 rx-57.bytes: 0 tx-58.packets: 0 tx-58.bytes: 0 rx-58.packets: 0 rx-58.bytes: 0 tx-59.packets: 0 tx-59.bytes: 0 rx-59.packets: 0 rx-59.bytes: 0 tx-60.packets: 0 tx-60.bytes: 0 rx-60.packets: 0 rx-60.bytes: 0 tx-61.packets: 0 tx-61.bytes: 0 rx-61.packets: 0 rx-61.bytes: 0 tx-62.packets: 0 tx-62.bytes: 0 rx-62.packets: 0 rx-62.bytes: 0 tx-63.packets: 0 tx-63.bytes: 0 rx-63.packets: 0 rx-63.bytes: 0 veb.rx_bytes: 0 veb.tx_bytes: 0 veb.rx_unicast: 0 veb.tx_unicast: 0 veb.rx_multicast: 0 veb.tx_multicast: 0 veb.rx_broadcast: 0 veb.tx_broadcast: 0 veb.rx_discards: 0 veb.tx_discards: 0 veb.tx_errors: 0 veb.rx_unknown_protocol: 0 veb.tc_0_tx_packets: 0 veb.tc_0_tx_bytes: 0 veb.tc_0_rx_packets: 0 veb.tc_0_rx_bytes: 0 veb.tc_1_tx_packets: 0 veb.tc_1_tx_bytes: 0 veb.tc_1_rx_packets: 0 veb.tc_1_rx_bytes: 0 veb.tc_2_tx_packets: 0 veb.tc_2_tx_bytes: 0 veb.tc_2_rx_packets: 0 veb.tc_2_rx_bytes: 0 veb.tc_3_tx_packets: 0 veb.tc_3_tx_bytes: 0 veb.tc_3_rx_packets: 0 veb.tc_3_rx_bytes: 0 veb.tc_4_tx_packets: 0 veb.tc_4_tx_bytes: 0 veb.tc_4_rx_packets: 0 veb.tc_4_rx_bytes: 0 veb.tc_5_tx_packets: 0 veb.tc_5_tx_bytes: 0 veb.tc_5_rx_packets: 0 veb.tc_5_rx_bytes: 0 veb.tc_6_tx_packets: 0 veb.tc_6_tx_bytes: 0 veb.tc_6_rx_packets: 0 veb.tc_6_rx_bytes: 0 veb.tc_7_tx_packets: 0 veb.tc_7_tx_bytes: 0 veb.tc_7_rx_packets: 0 veb.tc_7_rx_bytes: 0 port.rx_bytes: 9091348162021 port.tx_bytes: 1600763841553 port.rx_unicast: 7675964222 port.tx_unicast: 2545495925 port.rx_multicast: 3175811 port.tx_multicast: 850 port.rx_broadcast: 10425464 port.tx_broadcast: 112584 port.tx_errors: 0 port.rx_dropped: 0 port.tx_dropped_link_down: 0 port.rx_crc_errors: 10485 port.illegal_bytes: 59 port.mac_local_faults: 0 port.mac_remote_faults: 0 port.tx_timeout: 0 port.rx_csum_bad: 0 port.rx_length_errors: 0 port.link_xon_rx: 0 port.link_xoff_rx: 0 port.link_xon_tx: 0 port.link_xoff_tx: 0 port.rx_size_64: 183436120 port.rx_size_127: 1013173141 port.rx_size_255: 263759971 port.rx_size_511: 147738398 port.rx_size_1023: 163533333 port.rx_size_1522: 5917924553 port.rx_size_big: 0 port.tx_size_64: 326254914 port.tx_size_127: 957329315 port.tx_size_255: 165935084 port.tx_size_511: 82488490 port.tx_size_1023: 77101308 port.tx_size_1522: 936500255 port.tx_size_big: 0 port.rx_undersize: 0 port.rx_fragments: 0 port.rx_oversize: 0 port.rx_jabber: 0 port.VF_admin_queue_requests: 0 port.arq_overflows: 0 port.tx_hwtstamp_timeouts: 0 port.rx_hwtstamp_cleared: 0 port.tx_hwtstamp_skipped: 0 port.fdir_flush_cnt: 2796 port.fdir_atr_match: 895363558 port.fdir_atr_tunnel_match: 0 port.fdir_atr_status: 1 port.fdir_sb_match: 0 port.fdir_sb_status: 1 port.tx_lpi_status: 0 port.rx_lpi_status: 0 port.tx_lpi_count: 0 port.rx_lpi_count: 0 port.tx_priority_0_xon_tx: 0 port.tx_priority_0_xoff_tx: 0 port.rx_priority_0_xon_rx: 0 port.rx_priority_0_xoff_rx: 0 port.rx_priority_0_xon_2_xoff: 0 port.tx_priority_1_xon_tx: 0 port.tx_priority_1_xoff_tx: 0 port.rx_priority_1_xon_rx: 0 port.rx_priority_1_xoff_rx: 0 port.rx_priority_1_xon_2_xoff: 0 port.tx_priority_2_xon_tx: 0 port.tx_priority_2_xoff_tx: 0 port.rx_priority_2_xon_rx: 0 port.rx_priority_2_xoff_rx: 0 port.rx_priority_2_xon_2_xoff: 0 port.tx_priority_3_xon_tx: 0 port.tx_priority_3_xoff_tx: 0 port.rx_priority_3_xon_rx: 0 port.rx_priority_3_xoff_rx: 0 port.rx_priority_3_xon_2_xoff: 0 port.tx_priority_4_xon_tx: 0 port.tx_priority_4_xoff_tx: 0 port.rx_priority_4_xon_rx: 0 port.rx_priority_4_xoff_rx: 0 port.rx_priority_4_xon_2_xoff: 0 port.tx_priority_5_xon_tx: 0 port.tx_priority_5_xoff_tx: 0 port.rx_priority_5_xon_rx: 0 port.rx_priority_5_xoff_rx: 0 port.rx_priority_5_xon_2_xoff: 0 port.tx_priority_6_xon_tx: 0 port.tx_priority_6_xoff_tx: 0 port.rx_priority_6_xon_rx: 0 port.rx_priority_6_xoff_rx: 0 port.rx_priority_6_xon_2_xoff: 0 port.tx_priority_7_xon_tx: 0 port.tx_priority_7_xoff_tx: 0 port.rx_priority_7_xon_rx: 0 port.rx_priority_7_xoff_rx: 0 port.rx_priority_7_xon_2_xoff: 0 # ethtool -S ens6f1 NIC statistics: rx_packets: 58653042 tx_packets: 185659050 rx_bytes: 34437415969 tx_bytes: 210110104653 rx_errors: 24656 tx_errors: 0 rx_dropped: 0 tx_dropped: 0 collisions: 0 rx_length_errors: 0 rx_crc_errors: 24377 rx_unicast: 58565906 tx_unicast: 185357350 rx_multicast: 1294 tx_multicast: 1 rx_broadcast: 1301 tx_broadcast: 40398 rx_unknown_protocol: 0 tx_linearize: 0 tx_force_wb: 0 tx_busy: 0 rx_alloc_fail: 0 rx_pg_alloc_fail: 0 tx-0.packets: 5560877 tx-0.bytes: 6003571748 rx-0.packets: 8158244 rx-0.bytes: 4192892787 tx-1.packets: 7146219 tx-1.bytes: 8665653140 rx-1.packets: 6268243 rx-1.bytes: 2813343050 tx-2.packets: 28293273 tx-2.bytes: 30669083191 rx-2.packets: 6757231 rx-2.bytes: 4295985517 tx-3.packets: 26127906 tx-3.bytes: 30071018207 rx-3.packets: 9618579 rx-3.bytes: 6250591760 tx-4.packets: 26794552 tx-4.bytes: 29930510739 rx-4.packets: 5953709 rx-4.bytes: 3331813955 tx-5.packets: 32041907 tx-5.bytes: 36284193143 rx-5.packets: 6426681 rx-5.bytes: 3475872552 tx-6.packets: 28055944 tx-6.bytes: 32132488554 rx-6.packets: 7112107 rx-6.bytes: 4254006972 tx-7.packets: 31638372 tx-7.bytes: 36353585931 rx-7.packets: 8358248 rx-7.bytes: 5822909376 tx-8.packets: 0 tx-8.bytes: 0 rx-8.packets: 0 rx-8.bytes: 0 tx-9.packets: 0 tx-9.bytes: 0 rx-9.packets: 0 rx-9.bytes: 0 tx-10.packets: 0 tx-10.bytes: 0 rx-10.packets: 0 rx-10.bytes: 0 tx-11.packets: 0 tx-11.bytes: 0 rx-11.packets: 0 rx-11.bytes: 0 tx-12.packets: 0 tx-12.bytes: 0 rx-12.packets: 0 rx-12.bytes: 0 tx-13.packets: 0 tx-13.bytes: 0 rx-13.packets: 0 rx-13.bytes: 0 tx-14.packets: 0 tx-14.bytes: 0 rx-14.packets: 0 rx-14.bytes: 0 tx-15.packets: 0 tx-15.bytes: 0 rx-15.packets: 0 rx-15.bytes: 0 tx-16.packets: 0 tx-16.bytes: 0 rx-16.packets: 0 rx-16.bytes: 0 tx-17.packets: 0 tx-17.bytes: 0 rx-17.packets: 0 rx-17.bytes: 0 tx-18.packets: 0 tx-18.bytes: 0 rx-18.packets: 0 rx-18.bytes: 0 tx-19.packets: 0 tx-19.bytes: 0 rx-19.packets: 0 rx-19.bytes: 0 tx-20.packets: 0 tx-20.bytes: 0 rx-20.packets: 0 rx-20.bytes: 0 tx-21.packets: 0 tx-21.bytes: 0 rx-21.packets: 0 rx-21.bytes: 0 tx-22.packets: 0 tx-22.bytes: 0 rx-22.packets: 0 rx-22.bytes: 0 tx-23.packets: 0 tx-23.bytes: 0 rx-23.packets: 0 rx-23.bytes: 0 tx-24.packets: 0 tx-24.bytes: 0 rx-24.packets: 0 rx-24.bytes: 0 tx-25.packets: 0 tx-25.bytes: 0 rx-25.packets: 0 rx-25.bytes: 0 tx-26.packets: 0 tx-26.bytes: 0 rx-26.packets: 0 rx-26.bytes: 0 tx-27.packets: 0 tx-27.bytes: 0 rx-27.packets: 0 rx-27.bytes: 0 tx-28.packets: 0 tx-28.bytes: 0 rx-28.packets: 0 rx-28.bytes: 0 tx-29.packets: 0 tx-29.bytes: 0 rx-29.packets: 0 rx-29.bytes: 0 tx-30.packets: 0 tx-30.bytes: 0 rx-30.packets: 0 rx-30.bytes: 0 tx-31.packets: 0 tx-31.bytes: 0 rx-31.packets: 0 rx-31.bytes: 0 tx-32.packets: 0 tx-32.bytes: 0 rx-32.packets: 0 rx-32.bytes: 0 tx-33.packets: 0 tx-33.bytes: 0 rx-33.packets: 0 rx-33.bytes: 0 tx-34.packets: 0 tx-34.bytes: 0 rx-34.packets: 0 rx-34.bytes: 0 tx-35.packets: 0 tx-35.bytes: 0 rx-35.packets: 0 rx-35.bytes: 0 tx-36.packets: 0 tx-36.bytes: 0 rx-36.packets: 0 rx-36.bytes: 0 tx-37.packets: 0 tx-37.bytes: 0 rx-37.packets: 0 rx-37.bytes: 0 tx-38.packets: 0 tx-38.bytes: 0 rx-38.packets: 0 rx-38.bytes: 0 tx-39.packets: 0 tx-39.bytes: 0 rx-39.packets: 0 rx-39.bytes: 0 tx-40.packets: 0 tx-40.bytes: 0 rx-40.packets: 0 rx-40.bytes: 0 tx-41.packets: 0 tx-41.bytes: 0 rx-41.packets: 0 rx-41.bytes: 0 tx-42.packets: 0 tx-42.bytes: 0 rx-42.packets: 0 rx-42.bytes: 0 tx-43.packets: 0 tx-43.bytes: 0 rx-43.packets: 0 rx-43.bytes: 0 tx-44.packets: 0 tx-44.bytes: 0 rx-44.packets: 0 rx-44.bytes: 0 tx-45.packets: 0 tx-45.bytes: 0 rx-45.packets: 0 rx-45.bytes: 0 tx-46.packets: 0 tx-46.bytes: 0 rx-46.packets: 0 rx-46.bytes: 0 tx-47.packets: 0 tx-47.bytes: 0 rx-47.packets: 0 rx-47.bytes: 0 tx-48.packets: 0 tx-48.bytes: 0 rx-48.packets: 0 rx-48.bytes: 0 tx-49.packets: 0 tx-49.bytes: 0 rx-49.packets: 0 rx-49.bytes: 0 tx-50.packets: 0 tx-50.bytes: 0 rx-50.packets: 0 rx-50.bytes: 0 tx-51.packets: 0 tx-51.bytes: 0 rx-51.packets: 0 rx-51.bytes: 0 tx-52.packets: 0 tx-52.bytes: 0 rx-52.packets: 0 rx-52.bytes: 0 tx-53.packets: 0 tx-53.bytes: 0 rx-53.packets: 0 rx-53.bytes: 0 tx-54.packets: 0 tx-54.bytes: 0 rx-54.packets: 0 rx-54.bytes: 0 tx-55.packets: 0 tx-55.bytes: 0 rx-55.packets: 0 rx-55.bytes: 0 tx-56.packets: 0 tx-56.bytes: 0 rx-56.packets: 0 rx-56.bytes: 0 tx-57.packets: 0 tx-57.bytes: 0 rx-57.packets: 0 rx-57.bytes: 0 tx-58.packets: 0 tx-58.bytes: 0 rx-58.packets: 0 rx-58.bytes: 0 tx-59.packets: 0 tx-59.bytes: 0 rx-59.packets: 0 rx-59.bytes: 0 tx-60.packets: 0 tx-60.bytes: 0 rx-60.packets: 0 rx-60.bytes: 0 tx-61.packets: 0 tx-61.bytes: 0 rx-61.packets: 0 rx-61.bytes: 0 tx-62.packets: 0 tx-62.bytes: 0 rx-62.packets: 0 rx-62.bytes: 0 tx-63.packets: 0 tx-63.bytes: 0 rx-63.packets: 0 rx-63.bytes: 0 veb.rx_bytes: 0 veb.tx_bytes: 0 veb.rx_unicast: 0 veb.tx_unicast: 0 veb.rx_multicast: 0 veb.tx_multicast: 0 veb.rx_broadcast: 0 veb.tx_broadcast: 0 veb.rx_discards: 0 veb.tx_discards: 0 veb.tx_errors: 0 veb.rx_unknown_protocol: 0 veb.tc_0_tx_packets: 0 veb.tc_0_tx_bytes: 0 veb.tc_0_rx_packets: 0 veb.tc_0_rx_bytes: 0 veb.tc_1_tx_packets: 0 veb.tc_1_tx_bytes: 0 veb.tc_1_rx_packets: 0 veb.tc_1_rx_bytes: 0 veb.tc_2_tx_packets: 0 veb.tc_2_tx_bytes: 0 veb.tc_2_rx_packets: 0 veb.tc_2_rx_bytes: 0 veb.tc_3_tx_packets: 0 veb.tc_3_tx_bytes: 0 veb.tc_3_rx_packets: 0 veb.tc_3_rx_bytes: 0 veb.tc_4_tx_packets: 0 veb.tc_4_tx_bytes: 0 veb.tc_4_rx_packets: 0 veb.tc_4_rx_bytes: 0 veb.tc_5_tx_packets: 0 veb.tc_5_tx_bytes: 0 veb.tc_5_rx_packets: 0 veb.tc_5_rx_bytes: 0 veb.tc_6_tx_packets: 0 veb.tc_6_tx_bytes: 0 veb.tc_6_rx_packets: 0 veb.tc_6_rx_bytes: 0 veb.tc_7_tx_packets: 0 veb.tc_7_tx_bytes: 0 veb.tc_7_rx_packets: 0 veb.tc_7_rx_bytes: 0 port.rx_bytes: 34626039186 port.tx_bytes: 210585446724 port.rx_unicast: 58565897 port.tx_unicast: 185357352 port.rx_multicast: 1314 port.tx_multicast: 21 port.rx_broadcast: 1301 port.tx_broadcast: 40398 port.tx_errors: 0 port.rx_dropped: 0 port.tx_dropped_link_down: 0 port.rx_crc_errors: 24377 port.illegal_bytes: 279 port.mac_local_faults: 0 port.mac_remote_faults: 0 port.tx_timeout: 0 port.rx_csum_bad: 0 port.rx_length_errors: 0 port.link_xon_rx: 0 port.link_xoff_rx: 0 port.link_xon_tx: 0 port.link_xoff_tx: 0 port.rx_size_64: 8309643 port.rx_size_127: 21818411 port.rx_size_255: 4375027 port.rx_size_511: 2232266 port.rx_size_1023: 1971271 port.rx_size_1522: 19861902 port.rx_size_big: 0 port.tx_size_64: 12218804 port.tx_size_127: 21656478 port.tx_size_255: 7094739 port.tx_size_511: 3982561 port.tx_size_1023: 3298736 port.tx_size_1522: 137146451 port.tx_size_big: 0 port.rx_undersize: 0 port.rx_fragments: 0 port.rx_oversize: 0 port.rx_jabber: 0 port.VF_admin_queue_requests: 0 port.arq_overflows: 0 port.tx_hwtstamp_timeouts: 0 port.rx_hwtstamp_cleared: 0 port.tx_hwtstamp_skipped: 0 port.fdir_flush_cnt: 2797 port.fdir_atr_match: 14201767 port.fdir_atr_tunnel_match: 0 port.fdir_atr_status: 0 port.fdir_sb_match: 0 port.fdir_sb_status: 0 port.tx_lpi_status: 0 port.rx_lpi_status: 0 port.tx_lpi_count: 0 port.rx_lpi_count: 0 port.tx_priority_0_xon_tx: 0 port.tx_priority_0_xoff_tx: 0 port.rx_priority_0_xon_rx: 0 port.rx_priority_0_xoff_rx: 0 port.rx_priority_0_xon_2_xoff: 0 port.tx_priority_1_xon_tx: 0 port.tx_priority_1_xoff_tx: 0 port.rx_priority_1_xon_rx: 0 port.rx_priority_1_xoff_rx: 0 port.rx_priority_1_xon_2_xoff: 0 port.tx_priority_2_xon_tx: 0 port.tx_priority_2_xoff_tx: 0 port.rx_priority_2_xon_rx: 0 port.rx_priority_2_xoff_rx: 0 port.rx_priority_2_xon_2_xoff: 0 port.tx_priority_3_xon_tx: 0 port.tx_priority_3_xoff_tx: 0 port.rx_priority_3_xon_rx: 0 port.rx_priority_3_xoff_rx: 0 port.rx_priority_3_xon_2_xoff: 0 port.tx_priority_4_xon_tx: 0 port.tx_priority_4_xoff_tx: 0 port.rx_priority_4_xon_rx: 0 port.rx_priority_4_xoff_rx: 0 port.rx_priority_4_xon_2_xoff: 0 port.tx_priority_5_xon_tx: 0 port.tx_priority_5_xoff_tx: 0 port.rx_priority_5_xon_rx: 0 port.rx_priority_5_xoff_rx: 0 port.rx_priority_5_xon_2_xoff: 0 port.tx_priority_6_xon_tx: 0 port.tx_priority_6_xoff_tx: 0 port.rx_priority_6_xon_rx: 0 port.rx_priority_6_xoff_rx: 0 port.rx_priority_6_xon_2_xoff: 0 port.tx_priority_7_xon_tx: 0 port.tx_priority_7_xoff_tx: 0 port.rx_priority_7_xon_rx: 0 port.rx_priority_7_xoff_rx: 0 port.rx_priority_7_xon_2_xoff: 0 Прерывания. Тут следы нечеловеческих экспериментов, на самом деле сейчас на обоих интерфейсах сделал ./set_irq_affinity 2-9 ens6fX И там красивая лесенка от второго до девятого. Spoiler # cat /proc/interrupts | grep ens6f0 36: 219966382 0 613668370 0 0 1 0 0 0 0 PCI-MSI 1048577-edge i40e-ens6f0-TxRx-0 37: 0 1457174 0 613291617 0 0 1 0 0 0 PCI-MSI 1048578-edge i40e-ens6f0-TxRx-1 38: 0 0 1612085 0 740565330 0 0 1 0 0 PCI-MSI 1048579-edge i40e-ens6f0-TxRx-2 39: 0 0 0 1564072 0 694240716 0 0 1 0 PCI-MSI 1048580-edge i40e-ens6f0-TxRx-3 40: 0 0 0 0 1506159 0 633657099 0 0 1 PCI-MSI 1048581-edge i40e-ens6f0-TxRx-4 41: 1 0 0 0 0 1431223 0 633701012 0 0 PCI-MSI 1048582-edge i40e-ens6f0-TxRx-5 42: 0 1 0 0 0 0 410619 0 688206320 0 PCI-MSI 1048583-edge i40e-ens6f0-TxRx-6 43: 0 0 1 0 0 0 0 401102 0 690443904 PCI-MSI 1048584-edge i40e-ens6f0-TxRx-7 # cat /proc/interrupts | grep ens6f1 67: 69045427 0 1277473080 0 0 1 0 0 0 0 PCI-MSI 1050625-edge i40e-ens6f1-TxRx-0 68: 0 1701136 0 10110270 0 0 1 0 0 0 PCI-MSI 1050626-edge i40e-ens6f1-TxRx-1 69: 0 0 1859483 0 246404029 0 0 1 0 0 PCI-MSI 1050627-edge i40e-ens6f1-TxRx-2 70: 0 0 0 2079585 0 246066683 0 0 1 0 PCI-MSI 1050628-edge i40e-ens6f1-TxRx-3 71: 0 0 0 0 1876008 0 318561072 0 0 1 PCI-MSI 1050629-edge i40e-ens6f1-TxRx-4 72: 1 0 0 0 0 1816547 0 305069365 0 0 PCI-MSI 1050630-edge i40e-ens6f1-TxRx-5 73: 0 1 0 0 0 0 1441007 0 271091806 0 PCI-MSI 1050631-edge i40e-ens6f1-TxRx-6 74: 0 0 1 0 0 0 0 1455472 0 275056283 PCI-MSI 1050632-edge i40e-ens6f1-TxRx-7 Виртуализация выключена само собой. Изменено 22 апреля, 2021 пользователем vsmith80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 22 апреля, 2021 · Жалоба 1 час назад, vsmith80 сказал: Когда появились не могу точно сказать, к сожалению. Замечена в полный рост проблема была недавно, и сразу все прочитал что нашел по этому поводу. Триггер - жалобы клиентов. ethtool -k ens6f0 ethtool -k ens6f1 Показать содержимое # ethtool -k ens6f0 Features for ens6f0: rx-checksumming: off tx-checksumming: off tx-checksum-ipv4: off tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: off tx-checksum-fcoe-crc: off [fixed] tx-checksum-sctp: off scatter-gather: off tx-scatter-gather: off tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: off tx-tcp-segmentation: off tx-tcp-ecn-segmentation: off tx-tcp-mangleid-segmentation: off tx-tcp6-segmentation: off generic-segmentation-offload: off generic-receive-offload: off large-receive-offload: off [fixed] rx-vlan-offload: off tx-vlan-offload: off ntuple-filters: on receive-hashing: off highdma: on rx-vlan-filter: on [fixed] vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: off [fixed] tx-gre-segmentation: on tx-gre-csum-segmentation: on tx-ipxip4-segmentation: on tx-ipxip6-segmentation: on tx-udp_tnl-segmentation: on tx-udp_tnl-csum-segmentation: on tx-gso-partial: on tx-tunnel-remcsum-segmentation: off [fixed] tx-sctp-segmentation: off [fixed] tx-esp-segmentation: off [fixed] tx-udp-segmentation: on tx-gso-list: off [fixed] fcoe-mtu: off [fixed] tx-nocache-copy: off loopback: off [fixed] rx-fcs: off [fixed] rx-all: off [fixed] tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] l2-fwd-offload: off hw-tc-offload: on esp-hw-offload: off [fixed] esp-tx-csum-hw-offload: off [fixed] rx-udp_tunnel-port-offload: on tls-hw-tx-offload: off [fixed] tls-hw-rx-offload: off [fixed] rx-gro-hw: off [fixed] tls-hw-record: off [fixed] rx-gro-list: off macsec-hw-offload: off [fixed] # ethtool -k ens6f1 Features for ens6f1: rx-checksumming: off tx-checksumming: off tx-checksum-ipv4: off tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: off tx-checksum-fcoe-crc: off [fixed] tx-checksum-sctp: off scatter-gather: off tx-scatter-gather: off tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: off tx-tcp-segmentation: off tx-tcp-ecn-segmentation: off tx-tcp-mangleid-segmentation: off tx-tcp6-segmentation: off generic-segmentation-offload: off generic-receive-offload: off large-receive-offload: off [fixed] rx-vlan-offload: off tx-vlan-offload: off ntuple-filters: on receive-hashing: off highdma: on rx-vlan-filter: on [fixed] vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: off [fixed] tx-gre-segmentation: on tx-gre-csum-segmentation: on tx-ipxip4-segmentation: on tx-ipxip6-segmentation: on tx-udp_tnl-segmentation: on tx-udp_tnl-csum-segmentation: on tx-gso-partial: on tx-tunnel-remcsum-segmentation: off [fixed] tx-sctp-segmentation: off [fixed] tx-esp-segmentation: off [fixed] tx-udp-segmentation: on tx-gso-list: off [fixed] fcoe-mtu: off [fixed] tx-nocache-copy: off loopback: off [fixed] rx-fcs: off [fixed] rx-all: off [fixed] tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] l2-fwd-offload: off hw-tc-offload: on esp-hw-offload: off [fixed] esp-tx-csum-hw-offload: off [fixed] rx-udp_tunnel-port-offload: on tls-hw-tx-offload: off [fixed] tls-hw-rx-offload: off [fixed] rx-gro-hw: off [fixed] tls-hw-record: off [fixed] rx-gro-list: off macsec-hw-offload: off [fixed] ethtool -g ens6f0 ethtool -g ens6f1 Показать содержимое # ethtool -g ens6f0 Ring parameters for ens6f0: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 # ethtool -g ens6f1 Ring parameters for ens6f1: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 ethtool -l ens6f0 ethtool -l ens6f1 Показать содержимое # ethtool -l ens6f0 Channel parameters for ens6f0: Pre-set maximums: RX: 0 TX: 0 Other: 1 Combined: 64 Current hardware settings: RX: 0 TX: 0 Other: 1 Combined: 8 # ethtool -l ens6f1 Channel parameters for ens6f1: Pre-set maximums: RX: 0 TX: 0 Other: 1 Combined: 64 Current hardware settings: RX: 0 TX: 0 Other: 1 Combined: 8 ethtool -S ens6f0 ethtool -S ens6f1 Показать содержимое # ethtool -S ens6f0 NIC statistics: rx_packets: 7688052688 tx_packets: 2545625949 rx_bytes: 9060462491339 tx_bytes: 1589932359316 rx_errors: 10544 tx_errors: 0 rx_dropped: 970 tx_dropped: 0 collisions: 0 rx_length_errors: 0 rx_crc_errors: 10485 rx_unicast: 7675954509 tx_unicast: 2545495933 rx_multicast: 1672143 tx_multicast: 0 rx_broadcast: 10425465 tx_broadcast: 112584 rx_unknown_protocol: 0 tx_linearize: 0 tx_force_wb: 0 tx_busy: 0 rx_alloc_fail: 0 rx_pg_alloc_fail: 0 tx-0.packets: 42254867 tx-0.bytes: 33469877807 rx-0.packets: 885524925 rx-0.bytes: 1022983042875 tx-1.packets: 45615267 tx-1.bytes: 35014603616 rx-1.packets: 899732412 rx-1.bytes: 1061899278156 tx-2.packets: 1386175248 tx-2.bytes: 717569057741 rx-2.packets: 1063515811 rx-2.bytes: 1218804664675 tx-3.packets: 248471416 tx-3.bytes: 194171652875 rx-3.packets: 1008175010 rx-3.bytes: 1191141301084 tx-4.packets: 167340946 tx-4.bytes: 121743646291 rx-4.packets: 909497304 rx-4.bytes: 1098757642203 tx-5.packets: 182581807 tx-5.bytes: 126013372934 rx-5.packets: 924177092 rx-5.bytes: 1101322775402 tx-6.packets: 244424997 tx-6.bytes: 185341095941 rx-6.packets: 1000520123 rx-6.bytes: 1187991834302 tx-7.packets: 228761401 tx-7.bytes: 176609052111 rx-7.packets: 996910012 rx-7.bytes: 1177561952708 tx-8.packets: 0 tx-8.bytes: 0 rx-8.packets: 0 rx-8.bytes: 0 tx-9.packets: 0 tx-9.bytes: 0 rx-9.packets: 0 rx-9.bytes: 0 tx-10.packets: 0 tx-10.bytes: 0 rx-10.packets: 0 rx-10.bytes: 0 tx-11.packets: 0 tx-11.bytes: 0 rx-11.packets: 0 rx-11.bytes: 0 tx-12.packets: 0 tx-12.bytes: 0 rx-12.packets: 0 rx-12.bytes: 0 tx-13.packets: 0 tx-13.bytes: 0 rx-13.packets: 0 rx-13.bytes: 0 tx-14.packets: 0 tx-14.bytes: 0 rx-14.packets: 0 rx-14.bytes: 0 tx-15.packets: 0 tx-15.bytes: 0 rx-15.packets: 0 rx-15.bytes: 0 tx-16.packets: 0 tx-16.bytes: 0 rx-16.packets: 0 rx-16.bytes: 0 tx-17.packets: 0 tx-17.bytes: 0 rx-17.packets: 0 rx-17.bytes: 0 tx-18.packets: 0 tx-18.bytes: 0 rx-18.packets: 0 rx-18.bytes: 0 tx-19.packets: 0 tx-19.bytes: 0 rx-19.packets: 0 rx-19.bytes: 0 tx-20.packets: 0 tx-20.bytes: 0 rx-20.packets: 0 rx-20.bytes: 0 tx-21.packets: 0 tx-21.bytes: 0 rx-21.packets: 0 rx-21.bytes: 0 tx-22.packets: 0 tx-22.bytes: 0 rx-22.packets: 0 rx-22.bytes: 0 tx-23.packets: 0 tx-23.bytes: 0 rx-23.packets: 0 rx-23.bytes: 0 tx-24.packets: 0 tx-24.bytes: 0 rx-24.packets: 0 rx-24.bytes: 0 tx-25.packets: 0 tx-25.bytes: 0 rx-25.packets: 0 rx-25.bytes: 0 tx-26.packets: 0 tx-26.bytes: 0 rx-26.packets: 0 rx-26.bytes: 0 tx-27.packets: 0 tx-27.bytes: 0 rx-27.packets: 0 rx-27.bytes: 0 tx-28.packets: 0 tx-28.bytes: 0 rx-28.packets: 0 rx-28.bytes: 0 tx-29.packets: 0 tx-29.bytes: 0 rx-29.packets: 0 rx-29.bytes: 0 tx-30.packets: 0 tx-30.bytes: 0 rx-30.packets: 0 rx-30.bytes: 0 tx-31.packets: 0 tx-31.bytes: 0 rx-31.packets: 0 rx-31.bytes: 0 tx-32.packets: 0 tx-32.bytes: 0 rx-32.packets: 0 rx-32.bytes: 0 tx-33.packets: 0 tx-33.bytes: 0 rx-33.packets: 0 rx-33.bytes: 0 tx-34.packets: 0 tx-34.bytes: 0 rx-34.packets: 0 rx-34.bytes: 0 tx-35.packets: 0 tx-35.bytes: 0 rx-35.packets: 0 rx-35.bytes: 0 tx-36.packets: 0 tx-36.bytes: 0 rx-36.packets: 0 rx-36.bytes: 0 tx-37.packets: 0 tx-37.bytes: 0 rx-37.packets: 0 rx-37.bytes: 0 tx-38.packets: 0 tx-38.bytes: 0 rx-38.packets: 0 rx-38.bytes: 0 tx-39.packets: 0 tx-39.bytes: 0 rx-39.packets: 0 rx-39.bytes: 0 tx-40.packets: 0 tx-40.bytes: 0 rx-40.packets: 0 rx-40.bytes: 0 tx-41.packets: 0 tx-41.bytes: 0 rx-41.packets: 0 rx-41.bytes: 0 tx-42.packets: 0 tx-42.bytes: 0 rx-42.packets: 0 rx-42.bytes: 0 tx-43.packets: 0 tx-43.bytes: 0 rx-43.packets: 0 rx-43.bytes: 0 tx-44.packets: 0 tx-44.bytes: 0 rx-44.packets: 0 rx-44.bytes: 0 tx-45.packets: 0 tx-45.bytes: 0 rx-45.packets: 0 rx-45.bytes: 0 tx-46.packets: 0 tx-46.bytes: 0 rx-46.packets: 0 rx-46.bytes: 0 tx-47.packets: 0 tx-47.bytes: 0 rx-47.packets: 0 rx-47.bytes: 0 tx-48.packets: 0 tx-48.bytes: 0 rx-48.packets: 0 rx-48.bytes: 0 tx-49.packets: 0 tx-49.bytes: 0 rx-49.packets: 0 rx-49.bytes: 0 tx-50.packets: 0 tx-50.bytes: 0 rx-50.packets: 0 rx-50.bytes: 0 tx-51.packets: 0 tx-51.bytes: 0 rx-51.packets: 0 rx-51.bytes: 0 tx-52.packets: 0 tx-52.bytes: 0 rx-52.packets: 0 rx-52.bytes: 0 tx-53.packets: 0 tx-53.bytes: 0 rx-53.packets: 0 rx-53.bytes: 0 tx-54.packets: 0 tx-54.bytes: 0 rx-54.packets: 0 rx-54.bytes: 0 tx-55.packets: 0 tx-55.bytes: 0 rx-55.packets: 0 rx-55.bytes: 0 tx-56.packets: 0 tx-56.bytes: 0 rx-56.packets: 0 rx-56.bytes: 0 tx-57.packets: 0 tx-57.bytes: 0 rx-57.packets: 0 rx-57.bytes: 0 tx-58.packets: 0 tx-58.bytes: 0 rx-58.packets: 0 rx-58.bytes: 0 tx-59.packets: 0 tx-59.bytes: 0 rx-59.packets: 0 rx-59.bytes: 0 tx-60.packets: 0 tx-60.bytes: 0 rx-60.packets: 0 rx-60.bytes: 0 tx-61.packets: 0 tx-61.bytes: 0 rx-61.packets: 0 rx-61.bytes: 0 tx-62.packets: 0 tx-62.bytes: 0 rx-62.packets: 0 rx-62.bytes: 0 tx-63.packets: 0 tx-63.bytes: 0 rx-63.packets: 0 rx-63.bytes: 0 veb.rx_bytes: 0 veb.tx_bytes: 0 veb.rx_unicast: 0 veb.tx_unicast: 0 veb.rx_multicast: 0 veb.tx_multicast: 0 veb.rx_broadcast: 0 veb.tx_broadcast: 0 veb.rx_discards: 0 veb.tx_discards: 0 veb.tx_errors: 0 veb.rx_unknown_protocol: 0 veb.tc_0_tx_packets: 0 veb.tc_0_tx_bytes: 0 veb.tc_0_rx_packets: 0 veb.tc_0_rx_bytes: 0 veb.tc_1_tx_packets: 0 veb.tc_1_tx_bytes: 0 veb.tc_1_rx_packets: 0 veb.tc_1_rx_bytes: 0 veb.tc_2_tx_packets: 0 veb.tc_2_tx_bytes: 0 veb.tc_2_rx_packets: 0 veb.tc_2_rx_bytes: 0 veb.tc_3_tx_packets: 0 veb.tc_3_tx_bytes: 0 veb.tc_3_rx_packets: 0 veb.tc_3_rx_bytes: 0 veb.tc_4_tx_packets: 0 veb.tc_4_tx_bytes: 0 veb.tc_4_rx_packets: 0 veb.tc_4_rx_bytes: 0 veb.tc_5_tx_packets: 0 veb.tc_5_tx_bytes: 0 veb.tc_5_rx_packets: 0 veb.tc_5_rx_bytes: 0 veb.tc_6_tx_packets: 0 veb.tc_6_tx_bytes: 0 veb.tc_6_rx_packets: 0 veb.tc_6_rx_bytes: 0 veb.tc_7_tx_packets: 0 veb.tc_7_tx_bytes: 0 veb.tc_7_rx_packets: 0 veb.tc_7_rx_bytes: 0 port.rx_bytes: 9091348162021 port.tx_bytes: 1600763841553 port.rx_unicast: 7675964222 port.tx_unicast: 2545495925 port.rx_multicast: 3175811 port.tx_multicast: 850 port.rx_broadcast: 10425464 port.tx_broadcast: 112584 port.tx_errors: 0 port.rx_dropped: 0 port.tx_dropped_link_down: 0 port.rx_crc_errors: 10485 port.illegal_bytes: 59 port.mac_local_faults: 0 port.mac_remote_faults: 0 port.tx_timeout: 0 port.rx_csum_bad: 0 port.rx_length_errors: 0 port.link_xon_rx: 0 port.link_xoff_rx: 0 port.link_xon_tx: 0 port.link_xoff_tx: 0 port.rx_size_64: 183436120 port.rx_size_127: 1013173141 port.rx_size_255: 263759971 port.rx_size_511: 147738398 port.rx_size_1023: 163533333 port.rx_size_1522: 5917924553 port.rx_size_big: 0 port.tx_size_64: 326254914 port.tx_size_127: 957329315 port.tx_size_255: 165935084 port.tx_size_511: 82488490 port.tx_size_1023: 77101308 port.tx_size_1522: 936500255 port.tx_size_big: 0 port.rx_undersize: 0 port.rx_fragments: 0 port.rx_oversize: 0 port.rx_jabber: 0 port.VF_admin_queue_requests: 0 port.arq_overflows: 0 port.tx_hwtstamp_timeouts: 0 port.rx_hwtstamp_cleared: 0 port.tx_hwtstamp_skipped: 0 port.fdir_flush_cnt: 2796 port.fdir_atr_match: 895363558 port.fdir_atr_tunnel_match: 0 port.fdir_atr_status: 1 port.fdir_sb_match: 0 port.fdir_sb_status: 1 port.tx_lpi_status: 0 port.rx_lpi_status: 0 port.tx_lpi_count: 0 port.rx_lpi_count: 0 port.tx_priority_0_xon_tx: 0 port.tx_priority_0_xoff_tx: 0 port.rx_priority_0_xon_rx: 0 port.rx_priority_0_xoff_rx: 0 port.rx_priority_0_xon_2_xoff: 0 port.tx_priority_1_xon_tx: 0 port.tx_priority_1_xoff_tx: 0 port.rx_priority_1_xon_rx: 0 port.rx_priority_1_xoff_rx: 0 port.rx_priority_1_xon_2_xoff: 0 port.tx_priority_2_xon_tx: 0 port.tx_priority_2_xoff_tx: 0 port.rx_priority_2_xon_rx: 0 port.rx_priority_2_xoff_rx: 0 port.rx_priority_2_xon_2_xoff: 0 port.tx_priority_3_xon_tx: 0 port.tx_priority_3_xoff_tx: 0 port.rx_priority_3_xon_rx: 0 port.rx_priority_3_xoff_rx: 0 port.rx_priority_3_xon_2_xoff: 0 port.tx_priority_4_xon_tx: 0 port.tx_priority_4_xoff_tx: 0 port.rx_priority_4_xon_rx: 0 port.rx_priority_4_xoff_rx: 0 port.rx_priority_4_xon_2_xoff: 0 port.tx_priority_5_xon_tx: 0 port.tx_priority_5_xoff_tx: 0 port.rx_priority_5_xon_rx: 0 port.rx_priority_5_xoff_rx: 0 port.rx_priority_5_xon_2_xoff: 0 port.tx_priority_6_xon_tx: 0 port.tx_priority_6_xoff_tx: 0 port.rx_priority_6_xon_rx: 0 port.rx_priority_6_xoff_rx: 0 port.rx_priority_6_xon_2_xoff: 0 port.tx_priority_7_xon_tx: 0 port.tx_priority_7_xoff_tx: 0 port.rx_priority_7_xon_rx: 0 port.rx_priority_7_xoff_rx: 0 port.rx_priority_7_xon_2_xoff: 0 # ethtool -S ens6f1 NIC statistics: rx_packets: 58653042 tx_packets: 185659050 rx_bytes: 34437415969 tx_bytes: 210110104653 rx_errors: 24656 tx_errors: 0 rx_dropped: 0 tx_dropped: 0 collisions: 0 rx_length_errors: 0 rx_crc_errors: 24377 rx_unicast: 58565906 tx_unicast: 185357350 rx_multicast: 1294 tx_multicast: 1 rx_broadcast: 1301 tx_broadcast: 40398 rx_unknown_protocol: 0 tx_linearize: 0 tx_force_wb: 0 tx_busy: 0 rx_alloc_fail: 0 rx_pg_alloc_fail: 0 tx-0.packets: 5560877 tx-0.bytes: 6003571748 rx-0.packets: 8158244 rx-0.bytes: 4192892787 tx-1.packets: 7146219 tx-1.bytes: 8665653140 rx-1.packets: 6268243 rx-1.bytes: 2813343050 tx-2.packets: 28293273 tx-2.bytes: 30669083191 rx-2.packets: 6757231 rx-2.bytes: 4295985517 tx-3.packets: 26127906 tx-3.bytes: 30071018207 rx-3.packets: 9618579 rx-3.bytes: 6250591760 tx-4.packets: 26794552 tx-4.bytes: 29930510739 rx-4.packets: 5953709 rx-4.bytes: 3331813955 tx-5.packets: 32041907 tx-5.bytes: 36284193143 rx-5.packets: 6426681 rx-5.bytes: 3475872552 tx-6.packets: 28055944 tx-6.bytes: 32132488554 rx-6.packets: 7112107 rx-6.bytes: 4254006972 tx-7.packets: 31638372 tx-7.bytes: 36353585931 rx-7.packets: 8358248 rx-7.bytes: 5822909376 tx-8.packets: 0 tx-8.bytes: 0 rx-8.packets: 0 rx-8.bytes: 0 tx-9.packets: 0 tx-9.bytes: 0 rx-9.packets: 0 rx-9.bytes: 0 tx-10.packets: 0 tx-10.bytes: 0 rx-10.packets: 0 rx-10.bytes: 0 tx-11.packets: 0 tx-11.bytes: 0 rx-11.packets: 0 rx-11.bytes: 0 tx-12.packets: 0 tx-12.bytes: 0 rx-12.packets: 0 rx-12.bytes: 0 tx-13.packets: 0 tx-13.bytes: 0 rx-13.packets: 0 rx-13.bytes: 0 tx-14.packets: 0 tx-14.bytes: 0 rx-14.packets: 0 rx-14.bytes: 0 tx-15.packets: 0 tx-15.bytes: 0 rx-15.packets: 0 rx-15.bytes: 0 tx-16.packets: 0 tx-16.bytes: 0 rx-16.packets: 0 rx-16.bytes: 0 tx-17.packets: 0 tx-17.bytes: 0 rx-17.packets: 0 rx-17.bytes: 0 tx-18.packets: 0 tx-18.bytes: 0 rx-18.packets: 0 rx-18.bytes: 0 tx-19.packets: 0 tx-19.bytes: 0 rx-19.packets: 0 rx-19.bytes: 0 tx-20.packets: 0 tx-20.bytes: 0 rx-20.packets: 0 rx-20.bytes: 0 tx-21.packets: 0 tx-21.bytes: 0 rx-21.packets: 0 rx-21.bytes: 0 tx-22.packets: 0 tx-22.bytes: 0 rx-22.packets: 0 rx-22.bytes: 0 tx-23.packets: 0 tx-23.bytes: 0 rx-23.packets: 0 rx-23.bytes: 0 tx-24.packets: 0 tx-24.bytes: 0 rx-24.packets: 0 rx-24.bytes: 0 tx-25.packets: 0 tx-25.bytes: 0 rx-25.packets: 0 rx-25.bytes: 0 tx-26.packets: 0 tx-26.bytes: 0 rx-26.packets: 0 rx-26.bytes: 0 tx-27.packets: 0 tx-27.bytes: 0 rx-27.packets: 0 rx-27.bytes: 0 tx-28.packets: 0 tx-28.bytes: 0 rx-28.packets: 0 rx-28.bytes: 0 tx-29.packets: 0 tx-29.bytes: 0 rx-29.packets: 0 rx-29.bytes: 0 tx-30.packets: 0 tx-30.bytes: 0 rx-30.packets: 0 rx-30.bytes: 0 tx-31.packets: 0 tx-31.bytes: 0 rx-31.packets: 0 rx-31.bytes: 0 tx-32.packets: 0 tx-32.bytes: 0 rx-32.packets: 0 rx-32.bytes: 0 tx-33.packets: 0 tx-33.bytes: 0 rx-33.packets: 0 rx-33.bytes: 0 tx-34.packets: 0 tx-34.bytes: 0 rx-34.packets: 0 rx-34.bytes: 0 tx-35.packets: 0 tx-35.bytes: 0 rx-35.packets: 0 rx-35.bytes: 0 tx-36.packets: 0 tx-36.bytes: 0 rx-36.packets: 0 rx-36.bytes: 0 tx-37.packets: 0 tx-37.bytes: 0 rx-37.packets: 0 rx-37.bytes: 0 tx-38.packets: 0 tx-38.bytes: 0 rx-38.packets: 0 rx-38.bytes: 0 tx-39.packets: 0 tx-39.bytes: 0 rx-39.packets: 0 rx-39.bytes: 0 tx-40.packets: 0 tx-40.bytes: 0 rx-40.packets: 0 rx-40.bytes: 0 tx-41.packets: 0 tx-41.bytes: 0 rx-41.packets: 0 rx-41.bytes: 0 tx-42.packets: 0 tx-42.bytes: 0 rx-42.packets: 0 rx-42.bytes: 0 tx-43.packets: 0 tx-43.bytes: 0 rx-43.packets: 0 rx-43.bytes: 0 tx-44.packets: 0 tx-44.bytes: 0 rx-44.packets: 0 rx-44.bytes: 0 tx-45.packets: 0 tx-45.bytes: 0 rx-45.packets: 0 rx-45.bytes: 0 tx-46.packets: 0 tx-46.bytes: 0 rx-46.packets: 0 rx-46.bytes: 0 tx-47.packets: 0 tx-47.bytes: 0 rx-47.packets: 0 rx-47.bytes: 0 tx-48.packets: 0 tx-48.bytes: 0 rx-48.packets: 0 rx-48.bytes: 0 tx-49.packets: 0 tx-49.bytes: 0 rx-49.packets: 0 rx-49.bytes: 0 tx-50.packets: 0 tx-50.bytes: 0 rx-50.packets: 0 rx-50.bytes: 0 tx-51.packets: 0 tx-51.bytes: 0 rx-51.packets: 0 rx-51.bytes: 0 tx-52.packets: 0 tx-52.bytes: 0 rx-52.packets: 0 rx-52.bytes: 0 tx-53.packets: 0 tx-53.bytes: 0 rx-53.packets: 0 rx-53.bytes: 0 tx-54.packets: 0 tx-54.bytes: 0 rx-54.packets: 0 rx-54.bytes: 0 tx-55.packets: 0 tx-55.bytes: 0 rx-55.packets: 0 rx-55.bytes: 0 tx-56.packets: 0 tx-56.bytes: 0 rx-56.packets: 0 rx-56.bytes: 0 tx-57.packets: 0 tx-57.bytes: 0 rx-57.packets: 0 rx-57.bytes: 0 tx-58.packets: 0 tx-58.bytes: 0 rx-58.packets: 0 rx-58.bytes: 0 tx-59.packets: 0 tx-59.bytes: 0 rx-59.packets: 0 rx-59.bytes: 0 tx-60.packets: 0 tx-60.bytes: 0 rx-60.packets: 0 rx-60.bytes: 0 tx-61.packets: 0 tx-61.bytes: 0 rx-61.packets: 0 rx-61.bytes: 0 tx-62.packets: 0 tx-62.bytes: 0 rx-62.packets: 0 rx-62.bytes: 0 tx-63.packets: 0 tx-63.bytes: 0 rx-63.packets: 0 rx-63.bytes: 0 veb.rx_bytes: 0 veb.tx_bytes: 0 veb.rx_unicast: 0 veb.tx_unicast: 0 veb.rx_multicast: 0 veb.tx_multicast: 0 veb.rx_broadcast: 0 veb.tx_broadcast: 0 veb.rx_discards: 0 veb.tx_discards: 0 veb.tx_errors: 0 veb.rx_unknown_protocol: 0 veb.tc_0_tx_packets: 0 veb.tc_0_tx_bytes: 0 veb.tc_0_rx_packets: 0 veb.tc_0_rx_bytes: 0 veb.tc_1_tx_packets: 0 veb.tc_1_tx_bytes: 0 veb.tc_1_rx_packets: 0 veb.tc_1_rx_bytes: 0 veb.tc_2_tx_packets: 0 veb.tc_2_tx_bytes: 0 veb.tc_2_rx_packets: 0 veb.tc_2_rx_bytes: 0 veb.tc_3_tx_packets: 0 veb.tc_3_tx_bytes: 0 veb.tc_3_rx_packets: 0 veb.tc_3_rx_bytes: 0 veb.tc_4_tx_packets: 0 veb.tc_4_tx_bytes: 0 veb.tc_4_rx_packets: 0 veb.tc_4_rx_bytes: 0 veb.tc_5_tx_packets: 0 veb.tc_5_tx_bytes: 0 veb.tc_5_rx_packets: 0 veb.tc_5_rx_bytes: 0 veb.tc_6_tx_packets: 0 veb.tc_6_tx_bytes: 0 veb.tc_6_rx_packets: 0 veb.tc_6_rx_bytes: 0 veb.tc_7_tx_packets: 0 veb.tc_7_tx_bytes: 0 veb.tc_7_rx_packets: 0 veb.tc_7_rx_bytes: 0 port.rx_bytes: 34626039186 port.tx_bytes: 210585446724 port.rx_unicast: 58565897 port.tx_unicast: 185357352 port.rx_multicast: 1314 port.tx_multicast: 21 port.rx_broadcast: 1301 port.tx_broadcast: 40398 port.tx_errors: 0 port.rx_dropped: 0 port.tx_dropped_link_down: 0 port.rx_crc_errors: 24377 port.illegal_bytes: 279 port.mac_local_faults: 0 port.mac_remote_faults: 0 port.tx_timeout: 0 port.rx_csum_bad: 0 port.rx_length_errors: 0 port.link_xon_rx: 0 port.link_xoff_rx: 0 port.link_xon_tx: 0 port.link_xoff_tx: 0 port.rx_size_64: 8309643 port.rx_size_127: 21818411 port.rx_size_255: 4375027 port.rx_size_511: 2232266 port.rx_size_1023: 1971271 port.rx_size_1522: 19861902 port.rx_size_big: 0 port.tx_size_64: 12218804 port.tx_size_127: 21656478 port.tx_size_255: 7094739 port.tx_size_511: 3982561 port.tx_size_1023: 3298736 port.tx_size_1522: 137146451 port.tx_size_big: 0 port.rx_undersize: 0 port.rx_fragments: 0 port.rx_oversize: 0 port.rx_jabber: 0 port.VF_admin_queue_requests: 0 port.arq_overflows: 0 port.tx_hwtstamp_timeouts: 0 port.rx_hwtstamp_cleared: 0 port.tx_hwtstamp_skipped: 0 port.fdir_flush_cnt: 2797 port.fdir_atr_match: 14201767 port.fdir_atr_tunnel_match: 0 port.fdir_atr_status: 0 port.fdir_sb_match: 0 port.fdir_sb_status: 0 port.tx_lpi_status: 0 port.rx_lpi_status: 0 port.tx_lpi_count: 0 port.rx_lpi_count: 0 port.tx_priority_0_xon_tx: 0 port.tx_priority_0_xoff_tx: 0 port.rx_priority_0_xon_rx: 0 port.rx_priority_0_xoff_rx: 0 port.rx_priority_0_xon_2_xoff: 0 port.tx_priority_1_xon_tx: 0 port.tx_priority_1_xoff_tx: 0 port.rx_priority_1_xon_rx: 0 port.rx_priority_1_xoff_rx: 0 port.rx_priority_1_xon_2_xoff: 0 port.tx_priority_2_xon_tx: 0 port.tx_priority_2_xoff_tx: 0 port.rx_priority_2_xon_rx: 0 port.rx_priority_2_xoff_rx: 0 port.rx_priority_2_xon_2_xoff: 0 port.tx_priority_3_xon_tx: 0 port.tx_priority_3_xoff_tx: 0 port.rx_priority_3_xon_rx: 0 port.rx_priority_3_xoff_rx: 0 port.rx_priority_3_xon_2_xoff: 0 port.tx_priority_4_xon_tx: 0 port.tx_priority_4_xoff_tx: 0 port.rx_priority_4_xon_rx: 0 port.rx_priority_4_xoff_rx: 0 port.rx_priority_4_xon_2_xoff: 0 port.tx_priority_5_xon_tx: 0 port.tx_priority_5_xoff_tx: 0 port.rx_priority_5_xon_rx: 0 port.rx_priority_5_xoff_rx: 0 port.rx_priority_5_xon_2_xoff: 0 port.tx_priority_6_xon_tx: 0 port.tx_priority_6_xoff_tx: 0 port.rx_priority_6_xon_rx: 0 port.rx_priority_6_xoff_rx: 0 port.rx_priority_6_xon_2_xoff: 0 port.tx_priority_7_xon_tx: 0 port.tx_priority_7_xoff_tx: 0 port.rx_priority_7_xon_rx: 0 port.rx_priority_7_xoff_rx: 0 port.rx_priority_7_xon_2_xoff: 0 Прерывания. Тут следы нечеловеческих экспериментов, на самом деле сейчас на обоих интерфейсах сделал ./set_irq_affinity 2-9 ens6fX И там красивая лесенка от второго до девятого. Скрыть содержимое # cat /proc/interrupts | grep ens6f0 36: 219966382 0 613668370 0 0 1 0 0 0 0 PCI-MSI 1048577-edge i40e-ens6f0-TxRx-0 37: 0 1457174 0 613291617 0 0 1 0 0 0 PCI-MSI 1048578-edge i40e-ens6f0-TxRx-1 38: 0 0 1612085 0 740565330 0 0 1 0 0 PCI-MSI 1048579-edge i40e-ens6f0-TxRx-2 39: 0 0 0 1564072 0 694240716 0 0 1 0 PCI-MSI 1048580-edge i40e-ens6f0-TxRx-3 40: 0 0 0 0 1506159 0 633657099 0 0 1 PCI-MSI 1048581-edge i40e-ens6f0-TxRx-4 41: 1 0 0 0 0 1431223 0 633701012 0 0 PCI-MSI 1048582-edge i40e-ens6f0-TxRx-5 42: 0 1 0 0 0 0 410619 0 688206320 0 PCI-MSI 1048583-edge i40e-ens6f0-TxRx-6 43: 0 0 1 0 0 0 0 401102 0 690443904 PCI-MSI 1048584-edge i40e-ens6f0-TxRx-7 # cat /proc/interrupts | grep ens6f1 67: 69045427 0 1277473080 0 0 1 0 0 0 0 PCI-MSI 1050625-edge i40e-ens6f1-TxRx-0 68: 0 1701136 0 10110270 0 0 1 0 0 0 PCI-MSI 1050626-edge i40e-ens6f1-TxRx-1 69: 0 0 1859483 0 246404029 0 0 1 0 0 PCI-MSI 1050627-edge i40e-ens6f1-TxRx-2 70: 0 0 0 2079585 0 246066683 0 0 1 0 PCI-MSI 1050628-edge i40e-ens6f1-TxRx-3 71: 0 0 0 0 1876008 0 318561072 0 0 1 PCI-MSI 1050629-edge i40e-ens6f1-TxRx-4 72: 1 0 0 0 0 1816547 0 305069365 0 0 PCI-MSI 1050630-edge i40e-ens6f1-TxRx-5 73: 0 1 0 0 0 0 1441007 0 271091806 0 PCI-MSI 1050631-edge i40e-ens6f1-TxRx-6 74: 0 0 1 0 0 0 0 1455472 0 275056283 PCI-MSI 1050632-edge i40e-ens6f1-TxRx-7 Виртуализация выключена само собой. Как вы определили, что проблема с одним из потоков-очередью? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 22 апреля, 2021 · Жалоба почему никто до сих пор не сказал проверить output discard-ы на свичах? :) очевидно что сервер подключен 40 гбитами, а вот дальше расходится в сеть вероятнее всего десятками и вот тут то свичи и начинают терять пакеты Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vsmith80 Опубликовано 23 апреля, 2021 (изменено) · Жалоба 20 hours ago, John_obn said: Как вы определили, что проблема с одним из потоков-очередью? при помощи iperf3. если тест запускать аплода на один поток - все плохо. Первые четыре секунды растет скорость до 30-40-50мбит, потом падает до 7 мбит, в итоге по тесту длительностью 10 секкунд средняя скорость - 9-10-11 мбит. Мало. Если зарядить десять потоков, то там в целом скорость нормальная. 21 hours ago, sekuzz said: Вот здесь никогда нельзя быть уверенным на все 100. Предлагаю поставить свой iperf в подсеть линковки с вышестоящим провайдером и измерить скорости. Сомневаюсь, что все аплинки одинаково шейпят, даже если шейпят. И - был бы шейпер, оно бы и тест в много потоков ломало. И еще оно бы ломало и трафик роутера. Но с роутера все просто замечательно. 20 hours ago, GrandPr1de said: почему никто до сих пор не сказал проверить output discard-ы на свичах? :) очевидно что сервер подключен 40 гбитами, а вот дальше расходится в сеть вероятнее всего десятками и вот тут то свичи и начинают терять пакеты и теряют почему-то только в случае одного потока, если потоков много -то не теряют? Но посмотрел - ничего такого нет. Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик. Изменено 23 апреля, 2021 пользователем vsmith80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 23 апреля, 2021 · Жалоба 1 час назад, vsmith80 сказал: Но посмотрел - ничего такого нет смотря что за свичи, это может идти отдельным счетчиком, а могут и вовсе не показывать их сморите на кол-во ретрансмитов в одном потоке, если валят ретрансмиты и укладывают tcp окно то это дискарды зачастую Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 23 апреля, 2021 · Жалоба 1 час назад, vsmith80 сказал: при помощи iperf3. если тест запускать аплода на один поток - все плохо. Первые четыре секунды растет скорость до 30-40-50мбит, потом падает до 7 мбит, в итоге по тесту длительностью 10 секкунд средняя скорость - 9-10-11 мбит. Мало. Если зарядить десять потоков, то там в целом скорость нормальная. Сомневаюсь, что все аплинки одинаково шейпят, даже если шейпят. И - был бы шейпер, оно бы и тест в много потоков ломало. И еще оно бы ломало и трафик роутера. Но с роутера все просто замечательно. и теряют почему-то только в случае одного потока, если потоков много -то не теряют? Но посмотрел - ничего такого нет. Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик. Я что то подумал, что речь изначально про поток сетевой карты, а не поток трафика от клиента. Поэтому и спросил, как определили, что проблема с потоком. В таком случае не факт, что проблема вообще в этом PC-маршрутизаторе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
h3ll1 Опубликовано 25 апреля, 2021 (изменено) · Жалоба On 4/22/2021 at 12:36 PM, vsmith80 said: да, проблема только при передаче в интернет транзитного трафика в один поток. Передаете флуда с вашего хостинга. Ничто плохое. (https://github.com/pavel-odintsov/fastnetmon) Изменено 27 апреля, 2021 пользователем h3ll1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 5 мая, 2021 · Жалоба В 05.01.2021 в 00:24, John_obn сказал: Коллеги, изучал кто то , на сколько будет эффективнее как точки зрения цены, так и с точки зрения производительности строить linux softrouter на процессорах AMD Epyc? Интересует в роли border+NAT+ipt_netflow (для natevents). У нас работают 2 бордера в параллель, задумываюсь о третьем, чтобы разгрузить текущие, т.к. потихоньку растут дропы на in, а крутилки уже все выкручены (по крайней мере у меня уже нет идей, кроме как упираемся в максимальную производительность). Кому интересно, графики сейчас такие (ens6 40G - Intel XL710 (аплинки+downlink), ens3 - прямой линк до второго бордера), cpu E5-2690v4 * 2шт: Решил свою проблему, описанную выше. Для начала вынес роль бордера на mx204 в надежде, что, оставив только роль NAT на сервере , чтобы не пришлось бегать по таблице маршрутизации, проблема уйдет. Но нет, проблема осталась. Машину под NAT я сделал, используя nftables + flow offload ( статья на Хабре ), для этого взял Ubuntu 20.04. Изначально я поставил самый свежий драйвер i40e от Intel на sourceforge. И только потом вспомнил, что на этом драйвере дропы выросли многократно. Итоговый вариант: включен HyperThreading, ubuntu 20.04, mitigations=off, драйвер i40e в комплекте с ядром, кол-во очередей равно ядрам+HT, ethtool -C rx tx 50. Трафик на одном интерфейсе разделенный на 2 влана (влан1- наша сеть, влан2 - в сторону бордера/аплинков). Поскольку очереди привязаны к local numa, получается, второй процессор отдыхает совсем. За последние сутки дропов 0 при пике в 26,57 гбит/с и 3,39 мппс в каждую сторону. При этом минимальный idle у задействованных ядер примерно 82% . Напомню , cpu E5-2690v4 Благодарю за ценные советы автора статьи на Хабре. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
[anp/hsw] Опубликовано 6 мая, 2021 · Жалоба В 23.04.2021 в 16:12, vsmith80 сказал: Вообще очень походе на проблему с tcp windows scaling, но не могу придумать, как роутер может в этом плане влиять на транзитный трафик. У меня была похожая проблема - виноват был Ростелеком, притом не местный, а где-то на подходе к Москве. Все, что транзитом бежало через них, было подвержено такой проблеме. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
[anp/hsw] Опубликовано 6 мая, 2021 · Жалоба 3 минуты назад, support_RT сказал: Все проверим и решим. Слово пацана даете? А если нет, то что будет с вами? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
wed Опубликовано 8 августа, 2022 · Жалоба Народ, никак не пойму куда копать. Проблема - периодически через NAT перестают проходить пакеты больше 2000. собрано так: bgp_NAT_shaper - разные машины. с bgp на NAT - в момент проблемы нет пингов пакетами больше 2000. с shaper на NAT аналогично. Зависимостей по нагрузке нет. вемя рандомное - просто на пару часов может пропасть прохождение пакетов. Логи - чистые. Куда копать вообще? может кто сталкивался? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 8 августа, 2022 · Жалоба В 08.08.2022 в 15:29, wed сказал: Народ, никак не пойму куда копать. Проблема - периодически через NAT перестают проходить пакеты больше 2000. собрано так: bgp_NAT_shaper - разные машины. с bgp на NAT - в момент проблемы нет пингов пакетами больше 2000. с shaper на NAT аналогично. Зависимостей по нагрузке нет. вемя рандомное - просто на пару часов может пропасть прохождение пакетов. Логи - чистые. Куда копать вообще? может кто сталкивался? Ищите место, где они теряются. Смотрите дамп трафика на выходе с bgp и shaper в сторону NAT. Смотрите пакетики на входе в NAT. На промежуточных коммутаторах или маршрутизаторах (если таковые имеются). Счетчики ошибок/дропов на портах, и сетевых картах в эти моменты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nixx Опубликовано 10 августа, 2022 · Жалоба скажите, а что на текущий момент самое "модное-актуальное" и беспроблемное? ) имею в виду ядро/драйвера. сетевухи - интел 10, мелланокс 4-й 40. ну то есть можно смело ставить убунту 22 c 5.15, или лучше консервативно посидеть на дебиане с 5.10 ядром? или вообще взять 18-ю убунту с 5.4? или еще что-то постарше? задачи - роутер, нат, раздельно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 10 августа, 2022 · Жалоба В 10.08.2022 в 20:37, nixx сказал: убунту 22 c 5.15 Пока отказать, сыро. Попробуйте освоить Arch Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nixx Опубликовано 10 августа, 2022 · Жалоба В 10.08.2022 в 21:01, jffulcrum сказал: Пока отказать, сыро. Попробуйте освоить Arch дык arch вообще впереди планеты всей с версиями ядра. 5.18 ставить предлагаете? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 11 августа, 2022 · Жалоба Просто на Убунте 22-й уже столкнулся с рядом проблем, включая непонятные ребуты. На рядом стоящих Arch таких проблем нет. Что-то в canonical недожали, а платного саппорта больше нет (для РФ/РБ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...