Пропадания icmp после замены сетевой

[roma33rus]

Всем привет. Имеется сервер DL360 G6. С Centos 6 на борту. На нем крутится bgp и ipt_netflow. До этого времени стояла сетевая X520-DA2. Проблем с пропаданиями не было. Стоило заменить на XL710 (брали в наге SNR-E4P10GS), как тут же появились пропадания icmp у абонентов. При чем не зависит от нагрузки на сервер. Пропадания в любое время. Крутилки оставил те же, что и на старой сетевой. Очереди прибиты к одному процу. Что еще можно лишнего отрубить на этой сетевой? Сейчас в замену заказали Silicom PE310G4SPi9LA-XR. Дропов на сетевой нет. Может checksumming отключить, поможет? Прилагаю инфу:

Скрытый текст

eth5      Link encap:Ethernet  HWaddr 6C:B3:11:51:8F:DE
          inet6 addr: fe80::6eb3:11ff:fe51:8fde/64 Scope:Link
          UP BROADCAST RUNNING  MTU:1500  Metric:1
          RX packets:216814133678 errors:0 dropped:0 overruns:0 frame:0
          TX packets:133352122588 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:10000
          RX bytes:262586555817318 (238.8 TiB)  TX bytes:56611322801381 (51.4 TiB)

eth5.851  Link encap:Ethernet  HWaddr 6C:B3:11:51:8F:DE
          inet addr:100.82.0.2  Bcast:100.82.0.3  Mask:255.255.255.252
          inet6 addr: fe80::6eb3:11ff:fe51:8fde/64 Scope:Link
          UP BROADCAST RUNNING  MTU:1500  Metric:1
          RX packets:137662026333 errors:0 dropped:0 overruns:0 frame:0
          TX packets:131024175065 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:10000
          RX bytes:255880518907614 (232.7 TiB)  TX bytes:56481659614146 (51.3 TiB)

eth6      Link encap:Ethernet  HWaddr 6C:B3:11:51:8F:D8
          inet addr:10.33.33.18  Bcast:10.33.33.19  Mask:255.255.255.252
          inet6 addr: fe80::6eb3:11ff:fe51:8fd8/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5326219147 errors:0 dropped:0 overruns:0 frame:0
          TX packets:9294934992 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:10000
          RX bytes:2239912813118 (2.0 TiB)  TX bytes:11519695794397 (10.4 TiB)

eth7      Link encap:Ethernet  HWaddr 6C:B3:11:51:8F:DA
          inet addr:10.33.33.5  Bcast:10.33.33.7  Mask:255.255.255.252
          inet6 addr: fe80::6eb3:11ff:fe51:8fda/64 Scope:Link
          UP BROADCAST RUNNING  MTU:1500  Metric:1
          RX packets:127766444657 errors:0 dropped:0 overruns:0 frame:0
          TX packets:207735962749 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:10000
          RX bytes:54192973544020 (49.2 TiB)  TX bytes:251376736657734 (228.6 TiB)

 

 

И настройки ethtool:

Скрытый текст

Features for eth5:
rx-checksumming: on
tx-checksumming: on
        tx-checksum-ipv4: on
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: on
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: on
scatter-gather: on
        tx-scatter-gather: on
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp6-segmentation: off
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on
rx-vlan-filter: on
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: on
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
busy-poll: off [fixed]

 

 

[passer]

1 час назад, roma33rus сказал:

Дропов на сетевой нет

Покажите ethtool -S eth5 и с остальных сетевых.

В логах ничего совсем нет?

 

1 час назад, roma33rus сказал:

И настройки ethtool:

Это только offload'ы - шейпер есть?

Еще стоит глянуть ethtool -a eth5 и ethtool -g eth5
 

 

И версия драйвера сетевки лишней не будет.

Edited December 18, 2019 by passer

[roma33rus]

41 минуту назад, passer сказал:

Покажите ethtool -S eth5 и с остальных сетевых.

Это eth5:

Скрытый текст

NIC statistics:
     rx_packets: 218179386572
     tx_packets: 134215955921
     rx_bytes: 264240821493445
     tx_bytes: 56949205103891
     rx_errors: 0
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 0
     rx_unicast: 218179386589
     tx_unicast: 134215955403
     rx_multicast: 0
     tx_multicast: 22
     rx_broadcast: 1
     tx_broadcast: 497
     rx_unknown_protocol: 0
     tx_linearize: 0
     fcoe_bad_fccrc: 0
     rx_fcoe_dropped: 0
     rx_fcoe_packets: 0
     rx_fcoe_dwords: 0
     fcoe_ddp_count: 0
     fcoe_last_error: 0
     tx_fcoe_packets: 0
     tx_fcoe_dwords: 0
     tx-0.tx_packets: 30977350004
     tx-0.tx_bytes: 12738034786524
     rx-0.rx_packets: 18408006297
     rx-0.rx_bytes: 22150588508789
     tx-1.tx_packets: 5910749
     tx-1.tx_bytes: 3376094109
     rx-1.rx_packets: 18232756347
     rx-1.rx_bytes: 22120495344396
     tx-2.tx_packets: 13852814682
     tx-2.tx_bytes: 6261926722533
     rx-2.rx_packets: 18345682454
     rx-2.rx_bytes: 22228415324853
     tx-3.tx_packets: 3862149
     tx-3.tx_bytes: 1228724592
     rx-3.rx_packets: 18095281717
     rx-3.rx_bytes: 21971272424434
     tx-4.tx_packets: 30737999929
     tx-4.tx_bytes: 12599403579714
     rx-4.rx_packets: 18382353673
     rx-4.rx_bytes: 22233723694861
     tx-5.tx_packets: 7246364
     tx-5.tx_bytes: 1782382280
     rx-5.rx_packets: 18215340892
     rx-5.rx_bytes: 22130464285472
     tx-6.tx_packets: 13834015719
     tx-6.tx_bytes: 6261420957975
     rx-6.rx_packets: 18331619950
     rx-6.rx_bytes: 22262926865026
     tx-7.tx_packets: 4927080
     tx-7.tx_bytes: 1909856322
     rx-7.rx_packets: 18543204266
     rx-7.rx_bytes: 22426323161190
     tx-8.tx_packets: 30819052510
     tx-8.tx_bytes: 12485738389183
     rx-8.rx_packets: 18027869616
     rx-8.rx_bytes: 21814552625077
     tx-9.tx_packets: 4493656
     tx-9.tx_bytes: 1747588777
     rx-9.rx_packets: 17937935065
     rx-9.rx_bytes: 21680549099401
     tx-10.tx_packets: 13719762211
     tx-10.tx_bytes: 6223481425120
     rx-10.rx_packets: 17823184574
     rx-10.rx_bytes: 21607716498260
     tx-11.tx_packets: 248520869
     tx-11.tx_bytes: 369154596828
     rx-11.rx_packets: 17836151728
     rx-11.rx_bytes: 21613793670909
     port.rx_bytes: 267176488478313
     port.tx_bytes: 58087039013791
     port.rx_unicast: 219183020331
     port.tx_unicast: 134215955398
     port.rx_multicast: 40222
     port.tx_multicast: 26932
     port.rx_broadcast: 1
     port.tx_broadcast: 497
     port.tx_errors: 0
     port.rx_dropped: 1003632683
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 0
     port.illegal_bytes: 0
     port.mac_local_faults: 0
     port.mac_remote_faults: 104
     port.tx_timeout: 0
     port.rx_csum_bad: 1945809
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 8375564265
     port.rx_size_127: 23841884422
     port.rx_size_255: 4766111733
     port.rx_size_511: 3244095789
     port.rx_size_1023: 3477651612
     port.rx_size_1522: 175477752770
     port.rx_size_big: 0
     port.tx_size_64: 31216120627
     port.tx_size_127: 59925184989
     port.tx_size_255: 4491951338
     port.tx_size_511: 3012373309
     port.tx_size_1023: 3147724422
     port.tx_size_1522: 32422628147
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.rx_hwtstamp_cleared: 0
     port.fdir_flush_cnt: 345
     port.fdir_atr_match: 83912443
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 0
     port.fdir_sb_match: 0
     port.fdir_sb_status: 1
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon: 0
     port.tx_priority_0_xoff: 0
     port.tx_priority_1_xon: 0
     port.tx_priority_1_xoff: 0
     port.tx_priority_2_xon: 0
     port.tx_priority_2_xoff: 0
     port.tx_priority_3_xon: 0
     port.tx_priority_3_xoff: 0
     port.tx_priority_4_xon: 0
     port.tx_priority_4_xoff: 0
     port.tx_priority_5_xon: 0
     port.tx_priority_5_xoff: 0
     port.tx_priority_6_xon: 0
     port.tx_priority_6_xoff: 0
     port.tx_priority_7_xon: 0
     port.tx_priority_7_xoff: 0
     port.rx_priority_0_xon: 0
     port.rx_priority_0_xoff: 0
     port.rx_priority_1_xon: 0
     port.rx_priority_1_xoff: 0
     port.rx_priority_2_xon: 0
     port.rx_priority_2_xoff: 0
     port.rx_priority_3_xon: 0
     port.rx_priority_3_xoff: 0
     port.rx_priority_4_xon: 0
     port.rx_priority_4_xoff: 0
     port.rx_priority_5_xon: 0
     port.rx_priority_5_xoff: 0
     port.rx_priority_6_xon: 0
     port.rx_priority_6_xoff: 0
     port.rx_priority_7_xon: 0
     port.rx_priority_7_xoff: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.rx_priority_7_xon_2_xoff: 0

 

Это eth6:

Скрытый текст

NIC statistics:
     rx_packets: 5359057886
     tx_packets: 9352460582
     rx_bytes: 2249452553228
     tx_bytes: 11592054357577
     rx_errors: 0
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 0
     rx_unicast: 5359057886
     tx_unicast: 9352460572
     rx_multicast: 0
     tx_multicast: 8
     rx_broadcast: 0
     tx_broadcast: 2
     rx_unknown_protocol: 0
     tx_linearize: 0
     fcoe_bad_fccrc: 0
     rx_fcoe_dropped: 0
     rx_fcoe_packets: 0
     rx_fcoe_dwords: 0
     fcoe_ddp_count: 0
     fcoe_last_error: 0
     tx_fcoe_packets: 0
     tx_fcoe_dwords: 0
     tx-0.tx_packets: 1617418266
     tx-0.tx_bytes: 2008895678023
     rx-0.rx_packets: 490280057
     rx-0.rx_bytes: 224644152597
     tx-1.tx_packets: 117
     tx-1.tx_bytes: 5226
     rx-1.rx_packets: 434106091
     rx-1.rx_bytes: 169254809060
     tx-2.tx_packets: 1603805901
     tx-2.tx_bytes: 1998876908981
     rx-2.rx_packets: 490675684
     rx-2.rx_bytes: 214736164759
     tx-3.tx_packets: 138
     tx-3.tx_bytes: 5796
     rx-3.rx_packets: 417929131
     rx-3.rx_bytes: 163687355567
     tx-4.tx_packets: 1541564449
     tx-4.tx_bytes: 1906649346460
     rx-4.rx_packets: 420681208
     rx-4.rx_bytes: 164052021285
     tx-5.tx_packets: 259772
     tx-5.tx_bytes: 345261256
     rx-5.rx_packets: 424673106
     rx-5.rx_bytes: 169069085299
     tx-6.tx_packets: 1510561944
     tx-6.tx_bytes: 1877947437718
     rx-6.rx_packets: 464460446
     rx-6.rx_bytes: 225298851364
     tx-7.tx_packets: 8
     tx-7.tx_bytes: 336
     rx-7.rx_packets: 425380599
     rx-7.rx_bytes: 170425304100
     tx-8.tx_packets: 1476833572
     tx-8.tx_bytes: 1827613161415
     rx-8.rx_packets: 439418819
     rx-8.rx_bytes: 195250129835
     tx-9.tx_packets: 6
     tx-9.tx_bytes: 252
     rx-9.rx_packets: 431311540
     rx-9.rx_bytes: 166593841319
     tx-10.tx_packets: 1602014753
     tx-10.tx_bytes: 1971726482562
     rx-10.rx_packets: 484675231
     rx-10.rx_bytes: 202419989920
     tx-11.tx_packets: 1656
     tx-11.tx_bytes: 69552
     rx-11.rx_packets: 435465974
     rx-11.rx_bytes: 184020848123
     port.rx_bytes: 2270890969240
     port.tx_bytes: 11631415448127
     port.rx_unicast: 5359075262
     port.tx_unicast: 9352460572
     port.rx_multicast: 0
     port.tx_multicast: 26921
     port.rx_broadcast: 0
     port.tx_broadcast: 2
     port.tx_errors: 0
     port.rx_dropped: 17376
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 0
     port.illegal_bytes: 0
     port.mac_local_faults: 0
     port.mac_remote_faults: 1
     port.tx_timeout: 0
     port.rx_csum_bad: 149
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 1395719075
     port.rx_size_127: 2348257838
     port.rx_size_255: 150706025
     port.rx_size_511: 73729630
     port.rx_size_1023: 103929709
     port.rx_size_1522: 1286732985
     port.rx_size_big: 0
     port.tx_size_64: 331942342
     port.tx_size_127: 931423440
     port.tx_size_255: 157038266
     port.tx_size_511: 129805447
     port.tx_size_1023: 128872777
     port.tx_size_1522: 7673405223
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.rx_hwtstamp_cleared: 0
     port.fdir_flush_cnt: 1370
     port.fdir_atr_match: 34364218
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 0
     port.fdir_sb_match: 0
     port.fdir_sb_status: 1
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon: 0
     port.tx_priority_0_xoff: 0
     port.tx_priority_1_xon: 0
     port.tx_priority_1_xoff: 0
     port.tx_priority_2_xon: 0
     port.tx_priority_2_xoff: 0
     port.tx_priority_3_xon: 0
     port.tx_priority_3_xoff: 0
     port.tx_priority_4_xon: 0
     port.tx_priority_4_xoff: 0
     port.tx_priority_5_xon: 0
     port.tx_priority_5_xoff: 0
     port.tx_priority_6_xon: 0
     port.tx_priority_6_xoff: 0
     port.tx_priority_7_xon: 0
     port.tx_priority_7_xoff: 0
     port.rx_priority_0_xon: 0
     port.rx_priority_0_xoff: 0
     port.rx_priority_1_xon: 0
     port.rx_priority_1_xoff: 0
     port.rx_priority_2_xon: 0
     port.rx_priority_2_xoff: 0
     port.rx_priority_3_xon: 0
     port.rx_priority_3_xoff: 0
     port.rx_priority_4_xon: 0
     port.rx_priority_4_xoff: 0
     port.rx_priority_5_xon: 0
     port.rx_priority_5_xoff: 0
     port.rx_priority_6_xon: 0
     port.rx_priority_6_xoff: 0
     port.rx_priority_7_xon: 0
     port.rx_priority_7_xoff: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.rx_priority_7_xon_2_xoff: 0

 

Это eth7:

Скрытый текст

NIC statistics:
     rx_packets: 128619093869
     tx_packets: 209080807553
     rx_bytes: 54529437446037
     tx_bytes: 253003678122665
     rx_errors: 0
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     collisions: 0
     rx_length_errors: 0
     rx_crc_errors: 0
     rx_unicast: 128619090566
     tx_unicast: 209080807558
     rx_multicast: 0
     tx_multicast: 8
     rx_broadcast: 3308
     tx_broadcast: 0
     rx_unknown_protocol: 0
     tx_linearize: 0
     fcoe_bad_fccrc: 0
     rx_fcoe_dropped: 0
     rx_fcoe_packets: 0
     rx_fcoe_dwords: 0
     fcoe_ddp_count: 0
     fcoe_last_error: 0
     tx_fcoe_packets: 0
     tx_fcoe_dwords: 0
     tx-0.tx_packets: 35124421879
     tx-0.tx_bytes: 42402520602695
     rx-0.rx_packets: 15168123443
     rx-0.rx_bytes: 6242164304802
     tx-1.tx_packets: 25151
     tx-1.tx_bytes: 27730110
     rx-1.rx_packets: 6495298115
     rx-1.rx_bytes: 2960766143461
     tx-2.tx_packets: 35173779978
     tx-2.tx_bytes: 42545494774640
     rx-2.rx_packets: 14970602643
     rx-2.rx_bytes: 6085335199865
     tx-3.tx_packets: 74996
     tx-3.tx_bytes: 24889956
     rx-3.rx_packets: 6578914376
     rx-3.rx_bytes: 2995786980475
     tx-4.tx_packets: 34840206816
     tx-4.tx_bytes: 42140240689331
     rx-4.rx_packets: 15095627359
     rx-4.rx_bytes: 6119288807617
     tx-5.tx_packets: 5054418
     tx-5.tx_bytes: 4420909743
     rx-5.rx_packets: 6516047019
     rx-5.rx_bytes: 2991586841105
     tx-6.tx_packets: 34523910415
     tx-6.tx_bytes: 41771226481415
     rx-6.rx_packets: 14864134073
     rx-6.rx_bytes: 6100315934778
     tx-7.tx_packets: 11753
     tx-7.tx_bytes: 911732
     rx-7.rx_packets: 6502953068
     rx-7.rx_bytes: 2979311061761
     tx-8.tx_packets: 34723633933
     tx-8.tx_bytes: 42005651875865
     rx-8.rx_packets: 14839919281
     rx-8.rx_bytes: 6155352789021
     tx-9.tx_packets: 6589
     tx-9.tx_bytes: 504127
     rx-9.rx_packets: 6407095010
     rx-9.rx_bytes: 2950137198634
     tx-10.tx_packets: 34445200336
     tx-10.tx_bytes: 41765883207807
     rx-10.rx_packets: 14831903777
     rx-10.rx_bytes: 6055069859491
     tx-11.tx_packets: 244481290
     tx-11.tx_bytes: 368185546724
     rx-11.rx_packets: 6348475705
     rx-11.rx_bytes: 2894322325027
     port.rx_bytes: 55061027670654
     port.tx_bytes: 253891341569769
     port.rx_unicast: 128669102772
     port.tx_unicast: 209080807540
     port.rx_multicast: 0
     port.tx_multicast: 26921
     port.rx_broadcast: 4308
     port.tx_broadcast: 0
     port.tx_errors: 0
     port.rx_dropped: 50013218
     port.tx_dropped_link_down: 0
     port.rx_crc_errors: 0
     port.illegal_bytes: 0
     port.mac_local_faults: 0
     port.mac_remote_faults: 1
     port.tx_timeout: 0
     port.rx_csum_bad: 100348
     port.rx_length_errors: 0
     port.link_xon_rx: 0
     port.link_xoff_rx: 0
     port.link_xon_tx: 0
     port.link_xoff_tx: 0
     port.rx_size_64: 30092117851
     port.rx_size_127: 57624467706
     port.rx_size_255: 4128428836
     port.rx_size_511: 2891524782
     port.rx_size_1023: 3053534256
     port.rx_size_1522: 30879033659
     port.rx_size_big: 0
     port.tx_size_64: 8416407611
     port.tx_size_127: 22650776937
     port.tx_size_255: 4397756731
     port.tx_size_511: 3052979858
     port.tx_size_1023: 3321143750
     port.tx_size_1522: 167241769581
     port.tx_size_big: 0
     port.rx_undersize: 0
     port.rx_fragments: 0
     port.rx_oversize: 0
     port.rx_jabber: 0
     port.VF_admin_queue_requests: 0
     port.rx_hwtstamp_cleared: 0
     port.fdir_flush_cnt: 74019
     port.fdir_atr_match: 4294967295
     port.fdir_atr_tunnel_match: 0
     port.fdir_atr_status: 1
     port.fdir_sb_match: 0
     port.fdir_sb_status: 1
     port.tx_lpi_status: 0
     port.rx_lpi_status: 0
     port.tx_lpi_count: 0
     port.rx_lpi_count: 0
     port.tx_priority_0_xon: 0
     port.tx_priority_0_xoff: 0
     port.tx_priority_1_xon: 0
     port.tx_priority_1_xoff: 0
     port.tx_priority_2_xon: 0
     port.tx_priority_2_xoff: 0
     port.tx_priority_3_xon: 0
     port.tx_priority_3_xoff: 0
     port.tx_priority_4_xon: 0
     port.tx_priority_4_xoff: 0
     port.tx_priority_5_xon: 0
     port.tx_priority_5_xoff: 0
     port.tx_priority_6_xon: 0
     port.tx_priority_6_xoff: 0
     port.tx_priority_7_xon: 0
     port.tx_priority_7_xoff: 0
     port.rx_priority_0_xon: 0
     port.rx_priority_0_xoff: 0
     port.rx_priority_1_xon: 0
     port.rx_priority_1_xoff: 0
     port.rx_priority_2_xon: 0
     port.rx_priority_2_xoff: 0
     port.rx_priority_3_xon: 0
     port.rx_priority_3_xoff: 0
     port.rx_priority_4_xon: 0
     port.rx_priority_4_xoff: 0
     port.rx_priority_5_xon: 0
     port.rx_priority_5_xoff: 0
     port.rx_priority_6_xon: 0
     port.rx_priority_6_xoff: 0
     port.rx_priority_7_xon: 0
     port.rx_priority_7_xoff: 0
     port.rx_priority_0_xon_2_xoff: 0
     port.rx_priority_1_xon_2_xoff: 0
     port.rx_priority_2_xon_2_xoff: 0
     port.rx_priority_3_xon_2_xoff: 0
     port.rx_priority_4_xon_2_xoff: 0
     port.rx_priority_5_xon_2_xoff: 0
     port.rx_priority_6_xon_2_xoff: 0
     port.rx_priority_7_xon_2_xoff: 0

 

 

41 минуту назад, passer сказал:

В логах ничего совсем нет?

В логах совсем ничего, интерфейсы не падают, никаких сообщений, лог messages пустой.

 

41 минуту назад, passer сказал:

Это только offload'ы - шейпер есть?

 

нет, на этой железке шейпера нет, этим другие тазики занимаются. Только только quagga и netflow. У нас один аплинк с default route. 

На eth5 висит наш аплинк. eth6 смотрит в сторону второго шейпера с нагрузкой ~400 мегабит, eth7 в сторону первого шейпера с нагрузкой ~5.5 гигабит.

 

41 минуту назад, passer сказал:

Еще стоит глянуть ethtool -a eth5 и ethtool -g eth5

 

ethtool -a:

Скрытый текст

[root@border-gh ~]# ethtool -a eth5
Pause parameters for eth5:
Autonegotiate:  off
RX:             off
TX:             off
 

 

[root@border-gh ~]# ethtool -a eth6
Pause parameters for eth6:
Autonegotiate:  off
RX:             off
TX:             off

 

[root@border-gh ~]# ethtool -a eth7
Pause parameters for eth7:
Autonegotiate:  off
RX:             off
TX:             off

 

ethtool -g:

Скрытый текст

Ring parameters for eth5:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
 

 

Ring parameters for eth6:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

Ring parameters for eth7:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

Буферы сразу после установки до максимума выкручивал.

 

Вообще в rc.local у меня прописаны эти параметры, только сейчас точно не вспомню, ethtool вроде ругался на отключение lro и не выключал его:

Скрытый текст

/sbin/ethtool -K eth5 tso off
/sbin/ethtool -K eth7 tso off
/sbin/ethtool -K eth5 lro off
/sbin/ethtool -K eth7 lro off
/sbin/ethtool -G eth5 rx 4096 tx 4096
/sbin/ethtool -G eth7 rx 4096 tx 4096
/sbin/ethtool -K eth6 tso off
/sbin/ethtool -K eth6 lro off
/sbin/ethtool -G eth6 rx 4096 tx 4096

/sbin/ifconfig eth5 txqueuelen 10000
/sbin/ifconfig eth5.851 txqueuelen 10000
/sbin/ifconfig eth7 txqueuelen 10000
/sbin/ifconfig eth6 txqueuelen 10000

 

41 минуту назад, passer сказал:

И версия драйвера сетевки лишней не будет.

 

Драйвер сейчас такой стоит:

Скрытый текст

driver: i40e
version: 1.3.46-k
firmware-version: 6.01 0x80003494 0.0.0
bus-info: 0000:04:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

 

Система кстати Centos 6.10, обновляться рисково, так как в единственном экземпляре, даже холодного резерва нет.

 

Вот график нагрузки проца за сутки:

Edited December 18, 2019 by roma33rus

[GrandPr1de]

11 часов назад, roma33rus сказал:

Система кстати Centos 6.10, обновляться рисково

сидеть на каменной 6.10 и пихать относительно новое железо

так уметь надо

[passer]

Ну драйвер можно установить и не обновляя ядро

[roma33rus]

14 часов назад, GrandPr1de сказал:

сидеть на каменной 6.10 и пихать относительно новое железо

так уметь надо

Да да, понимаю, что старье. Опять же обновляться рисково, не хочется. Если только другую железку подготовить.

 

5 часов назад, passer сказал:

Ну драйвер можно установить и не обновляя ядро

 

Опять же риск. Если что-то пойдет не так, то будет фиаско, поэтому такие работы не хотелось бы проводить

[Ivan_83]

Так или работаем или нет, а то как то у вас странно: вроде да но скорее всего нет.

 

На пинги есть рейтлимиты, по крайней мере во фряшечке.

Ещё есть флоуконтрол, который может ставить порт на паузу.

[vurd]

port.rx_dropped means something is not fast enough in the slot/memory/system.

[roma33rus]

18 часов назад, Ivan_83 сказал:

На пинги есть рейтлимиты, по крайней мере во фряшечке.

 

Вот это интересно. потому что до этой железки стоит фряшный шейпер. Эти рейтлимиты работают  и на форвард трафик и на пакеты относящиеся к самому серверу фри?

 

13 часов назад, vurd сказал:

port.rx_dropped means something is not fast enough in the slot/memory/system.

 

Хм, а счетчик тикает. Что это может значить? Железо недостаточно производительное?

[Ivan_83]

13 часов назад, roma33rus сказал:

Эти рейтлимиты работают  и на форвард трафик и на пакеты относящиеся к самому серверу фри?

Насколько я знаю - только для самого себя. Для остальных - с помощью фаера.

[roma33rus]

В 21.12.2019 в 01:04, Ivan_83 сказал:

Насколько я знаю - только для самого себя. Для остальных - с помощью фаера.

 

Для всех кроме тазика у меня лимитов нет. Только для самого стоит net.inet.icmp.icmplim: 3000

[roma33rus]

Всем привет. Апну тему. Поменяли сетевую на PE310G4SPi9LA-XR. Стала странная нагрузка на проц по прерываниям. Куда копнуть можно? Прерывания сетевой прибивал к одному процу утилитой rss-ladder. Как это вообще исправить?

 

И еще вопрос попутный. Как cisco 4948e в роли бордера? Стоит ее рассматривать? У нас 1 аплинк и он отдает дефолт нам.

Edited January 17, 2020 by roma33rus

[roma33rus]

обнаружил, что на сетевых включены эти опции. На что они влияют? Может в них все дело?

 

ethtool -a eth9
Pause parameters for eth9:
Autonegotiate:  off
RX:             on
TX:             on
 

[passer]

Flow control - выключайте

[roma33rus]

38 минут назад, passer сказал:

Flow control - выключайте

 

ethtool -A eth1 autoneg off rx off tx off

 

это этими опциями получается выключать? Перерыв будет при изменении опций?

[passer]

Этими. Нет, перерыва не должно быть.

[roma33rus]

Не помогли :-( Все такая же волнообразная нагрузка.

На сетевой включены еще опции

generic-segmentation-offload: on
generic-receive-offload: on
 

они на роутинг влияют? Стоит выключать?

 

P.S.: После ethtool -A eth1 autoneg off rx off tx off стало даже хуже. На сетевой дропы пошли.

Edited January 17, 2020 by roma33rus

[passer]

Ну flow control это скорее дань истории. Offload-ы на роутинг не влияют. На шейпер - да.

[roma33rus]

Шейпера точно на этой железке нет. только роутинг.

Тогда вообще не понимаю в чем причина таких прерываний может быть

 

Может количество очередей уменьшить? Сейчас по 12 очередей на карту

Edited January 17, 2020 by roma33rus

[passer]

Процессор один и 12-ти ядерный? Если нет - попробуйте уменьшить до равного количеству ядер.

 

покажите ethtool -S eth5

Edited January 17, 2020 by passer

[roma33rus]

2 минуты назад, passer сказал:

Процессор один и 12-ти ядерный? Если нет - попробуйте уменьшить до равного количества ядер.

 

покажите ethtool -S eth5

 

Не, там два проца стоит 6-ти ядерные.

 

вот ethtool -S на порт смотрящий к аплинку:

Скрытый текст

ethtool -S eth10
NIC statistics:
     rx_packets: 6969380635
     tx_packets: 4327081707
     rx_bytes: 8223028968457
     tx_bytes: 1783779714158
     rx_pkts_nic: 6969182644
     tx_pkts_nic: 4326950893
     rx_bytes_nic: 8282829718268
     tx_bytes_nic: 1820463445268
     lsc_int: 9
     tx_busy: 0
     non_eop_descs: 0
     rx_errors: 0
     tx_errors: 0
     rx_dropped: 0
     tx_dropped: 0
     multicast: 0
     broadcast: 0
     rx_no_buffer_count: 0
     collisions: 0
     rx_over_errors: 0
     rx_crc_errors: 0
     rx_frame_errors: 0
     hw_rsc_aggregated: 0
     hw_rsc_flushed: 0
     fdir_match: 4311347033
     fdir_miss: 2868308413
     fdir_overflow: 12881
     rx_fifo_errors: 0
     rx_missed_errors: 4311299
     tx_aborted_errors: 0
     tx_carrier_errors: 0
     tx_fifo_errors: 0
     tx_heartbeat_errors: 0
     tx_timeout_count: 0
     tx_restart_queue: 651
     rx_long_length_errors: 0
     rx_short_length_errors: 0
     tx_flow_control_xon: 428521
     rx_flow_control_xon: 0
     tx_flow_control_xoff: 712481
     rx_flow_control_xoff: 0
     rx_csum_offload_errors: 34000
     alloc_rx_page_failed: 0
     alloc_rx_buff_failed: 0
     rx_no_dma_resources: 1207
     os2bmc_rx_by_bmc: 0
     os2bmc_tx_by_bmc: 0
     os2bmc_tx_by_host: 0
     os2bmc_rx_by_host: 0
     fcoe_bad_fccrc: 0
     rx_fcoe_dropped: 0
     rx_fcoe_packets: 0
     rx_fcoe_dwords: 0
     fcoe_noddp: 0
     fcoe_noddp_ext_buff: 0
     tx_fcoe_packets: 0
     tx_fcoe_dwords: 0
     tx_queue_0_packets: 12
     tx_queue_0_bytes: 936
     tx_queue_0_bp_napi_yield: 0
     tx_queue_0_bp_misses: 0
     tx_queue_0_bp_cleaned: 0
     tx_queue_1_packets: 663
     tx_queue_1_bytes: 28038
     tx_queue_1_bp_napi_yield: 0
     tx_queue_1_bp_misses: 0
     tx_queue_1_bp_cleaned: 0
     tx_queue_2_packets: 4327079678
     tx_queue_2_bytes: 1783779582599
     tx_queue_2_bp_napi_yield: 0
     tx_queue_2_bp_misses: 0
     tx_queue_2_bp_cleaned: 0
     tx_queue_3_packets: 42
     tx_queue_3_bytes: 3308
     tx_queue_3_bp_napi_yield: 0
     tx_queue_3_bp_misses: 0
     tx_queue_3_bp_cleaned: 0
     tx_queue_4_packets: 18
     tx_queue_4_bytes: 1436
     tx_queue_4_bp_napi_yield: 0
     tx_queue_4_bp_misses: 0
     tx_queue_4_bp_cleaned: 0
     tx_queue_5_packets: 1273
     tx_queue_5_bytes: 96287
     tx_queue_5_bp_napi_yield: 0
     tx_queue_5_bp_misses: 0
     tx_queue_5_bp_cleaned: 0
     tx_queue_6_packets: 6
     tx_queue_6_bytes: 444
     tx_queue_6_bp_napi_yield: 0
     tx_queue_6_bp_misses: 0
     tx_queue_6_bp_cleaned: 0
     tx_queue_7_packets: 3
     tx_queue_7_bytes: 222
     tx_queue_7_bp_napi_yield: 0
     tx_queue_7_bp_misses: 0
     tx_queue_7_bp_cleaned: 0
     tx_queue_8_packets: 3
     tx_queue_8_bytes: 222
     tx_queue_8_bp_napi_yield: 0
     tx_queue_8_bp_misses: 0
     tx_queue_8_bp_cleaned: 0
     tx_queue_9_packets: 3
     tx_queue_9_bytes: 222
     tx_queue_9_bp_napi_yield: 0
     tx_queue_9_bp_misses: 0
     tx_queue_9_bp_cleaned: 0
     tx_queue_10_packets: 3
     tx_queue_10_bytes: 222
     tx_queue_10_bp_napi_yield: 0
     tx_queue_10_bp_misses: 0
     tx_queue_10_bp_cleaned: 0
     tx_queue_11_packets: 3
     tx_queue_11_bytes: 222
     tx_queue_11_bp_napi_yield: 0
     tx_queue_11_bp_misses: 0
     tx_queue_11_bp_cleaned: 0
     tx_queue_12_packets: 0
     tx_queue_12_bytes: 0
     tx_queue_12_bp_napi_yield: 0
     tx_queue_12_bp_misses: 0
     tx_queue_12_bp_cleaned: 0
     tx_queue_13_packets: 0
     tx_queue_13_bytes: 0
     tx_queue_13_bp_napi_yield: 0
     tx_queue_13_bp_misses: 0
     tx_queue_13_bp_cleaned: 0
     tx_queue_14_packets: 0
     tx_queue_14_bytes: 0
     tx_queue_14_bp_napi_yield: 0
     tx_queue_14_bp_misses: 0
     tx_queue_14_bp_cleaned: 0
     tx_queue_15_packets: 0
     tx_queue_15_bytes: 0
     tx_queue_15_bp_napi_yield: 0
     tx_queue_15_bp_misses: 0
     tx_queue_15_bp_cleaned: 0
     tx_queue_16_packets: 0
     tx_queue_16_bytes: 0
     tx_queue_16_bp_napi_yield: 0
     tx_queue_16_bp_misses: 0
     tx_queue_16_bp_cleaned: 0
     tx_queue_17_packets: 0
     tx_queue_17_bytes: 0
     tx_queue_17_bp_napi_yield: 0
     tx_queue_17_bp_misses: 0
     tx_queue_17_bp_cleaned: 0
     tx_queue_18_packets: 0
     tx_queue_18_bytes: 0
     tx_queue_18_bp_napi_yield: 0
     tx_queue_18_bp_misses: 0
     tx_queue_18_bp_cleaned: 0
     tx_queue_19_packets: 0
     tx_queue_19_bytes: 0
     tx_queue_19_bp_napi_yield: 0
     tx_queue_19_bp_misses: 0
     tx_queue_19_bp_cleaned: 0
     tx_queue_20_packets: 0
     tx_queue_20_bytes: 0
     tx_queue_20_bp_napi_yield: 0
     tx_queue_20_bp_misses: 0
     tx_queue_20_bp_cleaned: 0
     tx_queue_21_packets: 0
     tx_queue_21_bytes: 0
     tx_queue_21_bp_napi_yield: 0
     tx_queue_21_bp_misses: 0
     tx_queue_21_bp_cleaned: 0
     tx_queue_22_packets: 0
     tx_queue_22_bytes: 0
     tx_queue_22_bp_napi_yield: 0
     tx_queue_22_bp_misses: 0
     tx_queue_22_bp_cleaned: 0
     tx_queue_23_packets: 0
     tx_queue_23_bytes: 0
     tx_queue_23_bp_napi_yield: 0
     tx_queue_23_bp_misses: 0
     tx_queue_23_bp_cleaned: 0
     tx_queue_24_packets: 0
     tx_queue_24_bytes: 0
     tx_queue_24_bp_napi_yield: 0
     tx_queue_24_bp_misses: 0
     tx_queue_24_bp_cleaned: 0
     tx_queue_25_packets: 0
     tx_queue_25_bytes: 0
     tx_queue_25_bp_napi_yield: 0
     tx_queue_25_bp_misses: 0
     tx_queue_25_bp_cleaned: 0
     tx_queue_26_packets: 0
     tx_queue_26_bytes: 0
     tx_queue_26_bp_napi_yield: 0
     tx_queue_26_bp_misses: 0
     tx_queue_26_bp_cleaned: 0
     tx_queue_27_packets: 0
     tx_queue_27_bytes: 0
     tx_queue_27_bp_napi_yield: 0
     tx_queue_27_bp_misses: 0
     tx_queue_27_bp_cleaned: 0
     tx_queue_28_packets: 0
     tx_queue_28_bytes: 0
     tx_queue_28_bp_napi_yield: 0
     tx_queue_28_bp_misses: 0
     tx_queue_28_bp_cleaned: 0
     tx_queue_29_packets: 0
     tx_queue_29_bytes: 0
     tx_queue_29_bp_napi_yield: 0
     tx_queue_29_bp_misses: 0
     tx_queue_29_bp_cleaned: 0
     tx_queue_30_packets: 0
     tx_queue_30_bytes: 0
     tx_queue_30_bp_napi_yield: 0
     tx_queue_30_bp_misses: 0
     tx_queue_30_bp_cleaned: 0
     tx_queue_31_packets: 0
     tx_queue_31_bytes: 0
     tx_queue_31_bp_napi_yield: 0
     tx_queue_31_bp_misses: 0
     tx_queue_31_bp_cleaned: 0
     tx_queue_32_packets: 0
     tx_queue_32_bytes: 0
     tx_queue_32_bp_napi_yield: 0
     tx_queue_32_bp_misses: 0
     tx_queue_32_bp_cleaned: 0
     tx_queue_33_packets: 0
     tx_queue_33_bytes: 0
     tx_queue_33_bp_napi_yield: 0
     tx_queue_33_bp_misses: 0
     tx_queue_33_bp_cleaned: 0
     tx_queue_34_packets: 0
     tx_queue_34_bytes: 0
     tx_queue_34_bp_napi_yield: 0
     tx_queue_34_bp_misses: 0
     tx_queue_34_bp_cleaned: 0
     tx_queue_35_packets: 0
     tx_queue_35_bytes: 0
     tx_queue_35_bp_napi_yield: 0
     tx_queue_35_bp_misses: 0
     tx_queue_35_bp_cleaned: 0
     tx_queue_36_packets: 0
     tx_queue_36_bytes: 0
     tx_queue_36_bp_napi_yield: 0
     tx_queue_36_bp_misses: 0
     tx_queue_36_bp_cleaned: 0
     tx_queue_37_packets: 0
     tx_queue_37_bytes: 0
     tx_queue_37_bp_napi_yield: 0
     tx_queue_37_bp_misses: 0
     tx_queue_37_bp_cleaned: 0
     tx_queue_38_packets: 0
     tx_queue_38_bytes: 0
     tx_queue_38_bp_napi_yield: 0
     tx_queue_38_bp_misses: 0
     tx_queue_38_bp_cleaned: 0
     tx_queue_39_packets: 0
     tx_queue_39_bytes: 0
     tx_queue_39_bp_napi_yield: 0
     tx_queue_39_bp_misses: 0
     tx_queue_39_bp_cleaned: 0
     tx_queue_40_packets: 0
     tx_queue_40_bytes: 0
     tx_queue_40_bp_napi_yield: 0
     tx_queue_40_bp_misses: 0
     tx_queue_40_bp_cleaned: 0
     tx_queue_41_packets: 0
     tx_queue_41_bytes: 0
     tx_queue_41_bp_napi_yield: 0
     tx_queue_41_bp_misses: 0
     tx_queue_41_bp_cleaned: 0
     tx_queue_42_packets: 0
     tx_queue_42_bytes: 0
     tx_queue_42_bp_napi_yield: 0
     tx_queue_42_bp_misses: 0
     tx_queue_42_bp_cleaned: 0
     tx_queue_43_packets: 0
     tx_queue_43_bytes: 0
     tx_queue_43_bp_napi_yield: 0
     tx_queue_43_bp_misses: 0
     tx_queue_43_bp_cleaned: 0
     tx_queue_44_packets: 0
     tx_queue_44_bytes: 0
     tx_queue_44_bp_napi_yield: 0
     tx_queue_44_bp_misses: 0
     tx_queue_44_bp_cleaned: 0
     tx_queue_45_packets: 0
     tx_queue_45_bytes: 0
     tx_queue_45_bp_napi_yield: 0
     tx_queue_45_bp_misses: 0
     tx_queue_45_bp_cleaned: 0
     tx_queue_46_packets: 0
     tx_queue_46_bytes: 0
     tx_queue_46_bp_napi_yield: 0
     tx_queue_46_bp_misses: 0
     tx_queue_46_bp_cleaned: 0
     tx_queue_47_packets: 0
     tx_queue_47_bytes: 0
     tx_queue_47_bp_napi_yield: 0
     tx_queue_47_bp_misses: 0
     tx_queue_47_bp_cleaned: 0
     tx_queue_48_packets: 0
     tx_queue_48_bytes: 0
     tx_queue_48_bp_napi_yield: 0
     tx_queue_48_bp_misses: 0
     tx_queue_48_bp_cleaned: 0
     tx_queue_49_packets: 0
     tx_queue_49_bytes: 0
     tx_queue_49_bp_napi_yield: 0
     tx_queue_49_bp_misses: 0
     tx_queue_49_bp_cleaned: 0
     tx_queue_50_packets: 0
     tx_queue_50_bytes: 0
     tx_queue_50_bp_napi_yield: 0
     tx_queue_50_bp_misses: 0
     tx_queue_50_bp_cleaned: 0
     tx_queue_51_packets: 0
     tx_queue_51_bytes: 0
     tx_queue_51_bp_napi_yield: 0
     tx_queue_51_bp_misses: 0
     tx_queue_51_bp_cleaned: 0
     tx_queue_52_packets: 0
     tx_queue_52_bytes: 0
     tx_queue_52_bp_napi_yield: 0
     tx_queue_52_bp_misses: 0
     tx_queue_52_bp_cleaned: 0
     tx_queue_53_packets: 0
     tx_queue_53_bytes: 0
     tx_queue_53_bp_napi_yield: 0
     tx_queue_53_bp_misses: 0
     tx_queue_53_bp_cleaned: 0
     tx_queue_54_packets: 0
     tx_queue_54_bytes: 0
     tx_queue_54_bp_napi_yield: 0
     tx_queue_54_bp_misses: 0
     tx_queue_54_bp_cleaned: 0
     tx_queue_55_packets: 0
     tx_queue_55_bytes: 0
     tx_queue_55_bp_napi_yield: 0
     tx_queue_55_bp_misses: 0
     tx_queue_55_bp_cleaned: 0
     tx_queue_56_packets: 0
     tx_queue_56_bytes: 0
     tx_queue_56_bp_napi_yield: 0
     tx_queue_56_bp_misses: 0
     tx_queue_56_bp_cleaned: 0
     tx_queue_57_packets: 0
     tx_queue_57_bytes: 0
     tx_queue_57_bp_napi_yield: 0
     tx_queue_57_bp_misses: 0
     tx_queue_57_bp_cleaned: 0
     tx_queue_58_packets: 0
     tx_queue_58_bytes: 0
     tx_queue_58_bp_napi_yield: 0
     tx_queue_58_bp_misses: 0
     tx_queue_58_bp_cleaned: 0
     tx_queue_59_packets: 0
     tx_queue_59_bytes: 0
     tx_queue_59_bp_napi_yield: 0
     tx_queue_59_bp_misses: 0
     tx_queue_59_bp_cleaned: 0
     tx_queue_60_packets: 0
     tx_queue_60_bytes: 0
     tx_queue_60_bp_napi_yield: 0
     tx_queue_60_bp_misses: 0
     tx_queue_60_bp_cleaned: 0
     tx_queue_61_packets: 0
     tx_queue_61_bytes: 0
     tx_queue_61_bp_napi_yield: 0
     tx_queue_61_bp_misses: 0
     tx_queue_61_bp_cleaned: 0
     tx_queue_62_packets: 0
     tx_queue_62_bytes: 0
     tx_queue_62_bp_napi_yield: 0
     tx_queue_62_bp_misses: 0
     tx_queue_62_bp_cleaned: 0
     tx_queue_63_packets: 0
     tx_queue_63_bytes: 0
     tx_queue_63_bp_napi_yield: 0
     tx_queue_63_bp_misses: 0
     tx_queue_63_bp_cleaned: 0
     rx_queue_0_packets: 224011268
     rx_queue_0_bytes: 213877118770
     rx_queue_0_bp_poll_yield: 0
     rx_queue_0_bp_misses: 0
     rx_queue_0_bp_cleaned: 0
     rx_queue_1_packets: 243187969
     rx_queue_1_bytes: 231531095115
     rx_queue_1_bp_poll_yield: 0
     rx_queue_1_bp_misses: 0
     rx_queue_1_bp_cleaned: 0
     rx_queue_2_packets: 4482453015
     rx_queue_2_bytes: 5826088453156
     rx_queue_2_bp_poll_yield: 0
     rx_queue_2_bp_misses: 0
     rx_queue_2_bp_cleaned: 0
     rx_queue_3_packets: 219346318
     rx_queue_3_bytes: 212097957292
     rx_queue_3_bp_poll_yield: 0
     rx_queue_3_bp_misses: 0
     rx_queue_3_bp_cleaned: 0
     rx_queue_4_packets: 217469909
     rx_queue_4_bytes: 203284563198
     rx_queue_4_bp_poll_yield: 0
     rx_queue_4_bp_misses: 0
     rx_queue_4_bp_cleaned: 0
     rx_queue_5_packets: 229853680
     rx_queue_5_bytes: 226839638272
     rx_queue_5_bp_poll_yield: 0
     rx_queue_5_bp_misses: 0
     rx_queue_5_bp_cleaned: 0
     rx_queue_6_packets: 220743340
     rx_queue_6_bytes: 216268881990
     rx_queue_6_bp_poll_yield: 0
     rx_queue_6_bp_misses: 0
     rx_queue_6_bp_cleaned: 0
     rx_queue_7_packets: 241725651
     rx_queue_7_bytes: 232830417131
     rx_queue_7_bp_poll_yield: 0
     rx_queue_7_bp_misses: 0
     rx_queue_7_bp_cleaned: 0
     rx_queue_8_packets: 207417636
     rx_queue_8_bytes: 200309383890
     rx_queue_8_bp_poll_yield: 0
     rx_queue_8_bp_misses: 0
     rx_queue_8_bp_cleaned: 0
     rx_queue_9_packets: 229603670
     rx_queue_9_bytes: 221732273475
     rx_queue_9_bp_poll_yield: 0
     rx_queue_9_bp_misses: 0
     rx_queue_9_bp_cleaned: 0
     rx_queue_10_packets: 221231328
     rx_queue_10_bytes: 212299113052
     rx_queue_10_bp_poll_yield: 0
     rx_queue_10_bp_misses: 0
     rx_queue_10_bp_cleaned: 0
     rx_queue_11_packets: 232336851
     rx_queue_11_bytes: 225870073116
     rx_queue_11_bp_poll_yield: 0
     rx_queue_11_bp_misses: 0
     rx_queue_11_bp_cleaned: 0
     rx_queue_12_packets: 0
     rx_queue_12_bytes: 0
     rx_queue_12_bp_poll_yield: 0
     rx_queue_12_bp_misses: 0
     rx_queue_12_bp_cleaned: 0
     rx_queue_13_packets: 0
     rx_queue_13_bytes: 0
     rx_queue_13_bp_poll_yield: 0
     rx_queue_13_bp_misses: 0
     rx_queue_13_bp_cleaned: 0
     rx_queue_14_packets: 0
     rx_queue_14_bytes: 0
     rx_queue_14_bp_poll_yield: 0
     rx_queue_14_bp_misses: 0
     rx_queue_14_bp_cleaned: 0
     rx_queue_15_packets: 0
     rx_queue_15_bytes: 0
     rx_queue_15_bp_poll_yield: 0
     rx_queue_15_bp_misses: 0
     rx_queue_15_bp_cleaned: 0
     rx_queue_16_packets: 0
     rx_queue_16_bytes: 0
     rx_queue_16_bp_poll_yield: 0
     rx_queue_16_bp_misses: 0
     rx_queue_16_bp_cleaned: 0
     rx_queue_17_packets: 0
     rx_queue_17_bytes: 0
     rx_queue_17_bp_poll_yield: 0
     rx_queue_17_bp_misses: 0
     rx_queue_17_bp_cleaned: 0
     rx_queue_18_packets: 0
     rx_queue_18_bytes: 0
     rx_queue_18_bp_poll_yield: 0
     rx_queue_18_bp_misses: 0
     rx_queue_18_bp_cleaned: 0
     rx_queue_19_packets: 0
     rx_queue_19_bytes: 0
     rx_queue_19_bp_poll_yield: 0
     rx_queue_19_bp_misses: 0
     rx_queue_19_bp_cleaned: 0
     rx_queue_20_packets: 0
     rx_queue_20_bytes: 0
     rx_queue_20_bp_poll_yield: 0
     rx_queue_20_bp_misses: 0
     rx_queue_20_bp_cleaned: 0
     rx_queue_21_packets: 0
     rx_queue_21_bytes: 0
     rx_queue_21_bp_poll_yield: 0
     rx_queue_21_bp_misses: 0
     rx_queue_21_bp_cleaned: 0
     rx_queue_22_packets: 0
     rx_queue_22_bytes: 0
     rx_queue_22_bp_poll_yield: 0
     rx_queue_22_bp_misses: 0
     rx_queue_22_bp_cleaned: 0
     rx_queue_23_packets: 0
     rx_queue_23_bytes: 0
     rx_queue_23_bp_poll_yield: 0
     rx_queue_23_bp_misses: 0
     rx_queue_23_bp_cleaned: 0
     rx_queue_24_packets: 0
     rx_queue_24_bytes: 0
     rx_queue_24_bp_poll_yield: 0
     rx_queue_24_bp_misses: 0
     rx_queue_24_bp_cleaned: 0
     rx_queue_25_packets: 0
     rx_queue_25_bytes: 0
     rx_queue_25_bp_poll_yield: 0
     rx_queue_25_bp_misses: 0
     rx_queue_25_bp_cleaned: 0
     rx_queue_26_packets: 0
     rx_queue_26_bytes: 0
     rx_queue_26_bp_poll_yield: 0
     rx_queue_26_bp_misses: 0
     rx_queue_26_bp_cleaned: 0
     rx_queue_27_packets: 0
     rx_queue_27_bytes: 0
     rx_queue_27_bp_poll_yield: 0
     rx_queue_27_bp_misses: 0
     rx_queue_27_bp_cleaned: 0
     rx_queue_28_packets: 0
     rx_queue_28_bytes: 0
     rx_queue_28_bp_poll_yield: 0
     rx_queue_28_bp_misses: 0
     rx_queue_28_bp_cleaned: 0
     rx_queue_29_packets: 0
     rx_queue_29_bytes: 0
     rx_queue_29_bp_poll_yield: 0
     rx_queue_29_bp_misses: 0
     rx_queue_29_bp_cleaned: 0
     rx_queue_30_packets: 0
     rx_queue_30_bytes: 0
     rx_queue_30_bp_poll_yield: 0
     rx_queue_30_bp_misses: 0
     rx_queue_30_bp_cleaned: 0
     rx_queue_31_packets: 0
     rx_queue_31_bytes: 0
     rx_queue_31_bp_poll_yield: 0
     rx_queue_31_bp_misses: 0
     rx_queue_31_bp_cleaned: 0
     rx_queue_32_packets: 0
     rx_queue_32_bytes: 0
     rx_queue_32_bp_poll_yield: 0
     rx_queue_32_bp_misses: 0
     rx_queue_32_bp_cleaned: 0
     rx_queue_33_packets: 0
     rx_queue_33_bytes: 0
     rx_queue_33_bp_poll_yield: 0
     rx_queue_33_bp_misses: 0
     rx_queue_33_bp_cleaned: 0
     rx_queue_34_packets: 0
     rx_queue_34_bytes: 0
     rx_queue_34_bp_poll_yield: 0
     rx_queue_34_bp_misses: 0
     rx_queue_34_bp_cleaned: 0
     rx_queue_35_packets: 0
     rx_queue_35_bytes: 0
     rx_queue_35_bp_poll_yield: 0
     rx_queue_35_bp_misses: 0
     rx_queue_35_bp_cleaned: 0
     rx_queue_36_packets: 0
     rx_queue_36_bytes: 0
     rx_queue_36_bp_poll_yield: 0
     rx_queue_36_bp_misses: 0
     rx_queue_36_bp_cleaned: 0
     rx_queue_37_packets: 0
     rx_queue_37_bytes: 0
     rx_queue_37_bp_poll_yield: 0
     rx_queue_37_bp_misses: 0
     rx_queue_37_bp_cleaned: 0
     rx_queue_38_packets: 0
     rx_queue_38_bytes: 0
     rx_queue_38_bp_poll_yield: 0
     rx_queue_38_bp_misses: 0
     rx_queue_38_bp_cleaned: 0
     rx_queue_39_packets: 0
     rx_queue_39_bytes: 0
     rx_queue_39_bp_poll_yield: 0
     rx_queue_39_bp_misses: 0
     rx_queue_39_bp_cleaned: 0
     rx_queue_40_packets: 0
     rx_queue_40_bytes: 0
     rx_queue_40_bp_poll_yield: 0
     rx_queue_40_bp_misses: 0
     rx_queue_40_bp_cleaned: 0
     rx_queue_41_packets: 0
     rx_queue_41_bytes: 0
     rx_queue_41_bp_poll_yield: 0
     rx_queue_41_bp_misses: 0
     rx_queue_41_bp_cleaned: 0
     rx_queue_42_packets: 0
     rx_queue_42_bytes: 0
     rx_queue_42_bp_poll_yield: 0
     rx_queue_42_bp_misses: 0
     rx_queue_42_bp_cleaned: 0
     rx_queue_43_packets: 0
     rx_queue_43_bytes: 0
     rx_queue_43_bp_poll_yield: 0
     rx_queue_43_bp_misses: 0
     rx_queue_43_bp_cleaned: 0
     rx_queue_44_packets: 0
     rx_queue_44_bytes: 0
     rx_queue_44_bp_poll_yield: 0
     rx_queue_44_bp_misses: 0
     rx_queue_44_bp_cleaned: 0
     rx_queue_45_packets: 0
     rx_queue_45_bytes: 0
     rx_queue_45_bp_poll_yield: 0
     rx_queue_45_bp_misses: 0
     rx_queue_45_bp_cleaned: 0
     rx_queue_46_packets: 0
     rx_queue_46_bytes: 0
     rx_queue_46_bp_poll_yield: 0
     rx_queue_46_bp_misses: 0
     rx_queue_46_bp_cleaned: 0
     rx_queue_47_packets: 0
     rx_queue_47_bytes: 0
     rx_queue_47_bp_poll_yield: 0
     rx_queue_47_bp_misses: 0
     rx_queue_47_bp_cleaned: 0
     rx_queue_48_packets: 0
     rx_queue_48_bytes: 0
     rx_queue_48_bp_poll_yield: 0
     rx_queue_48_bp_misses: 0
     rx_queue_48_bp_cleaned: 0
     rx_queue_49_packets: 0
     rx_queue_49_bytes: 0
     rx_queue_49_bp_poll_yield: 0
     rx_queue_49_bp_misses: 0
     rx_queue_49_bp_cleaned: 0
     rx_queue_50_packets: 0
     rx_queue_50_bytes: 0
     rx_queue_50_bp_poll_yield: 0
     rx_queue_50_bp_misses: 0
     rx_queue_50_bp_cleaned: 0
     rx_queue_51_packets: 0
     rx_queue_51_bytes: 0
     rx_queue_51_bp_poll_yield: 0
     rx_queue_51_bp_misses: 0
     rx_queue_51_bp_cleaned: 0
     rx_queue_52_packets: 0
     rx_queue_52_bytes: 0
     rx_queue_52_bp_poll_yield: 0
     rx_queue_52_bp_misses: 0
     rx_queue_52_bp_cleaned: 0
     rx_queue_53_packets: 0
     rx_queue_53_bytes: 0
     rx_queue_53_bp_poll_yield: 0
     rx_queue_53_bp_misses: 0
     rx_queue_53_bp_cleaned: 0
     rx_queue_54_packets: 0
     rx_queue_54_bytes: 0
     rx_queue_54_bp_poll_yield: 0
     rx_queue_54_bp_misses: 0
     rx_queue_54_bp_cleaned: 0
     rx_queue_55_packets: 0
     rx_queue_55_bytes: 0
     rx_queue_55_bp_poll_yield: 0
     rx_queue_55_bp_misses: 0
     rx_queue_55_bp_cleaned: 0
     rx_queue_56_packets: 0
     rx_queue_56_bytes: 0
     rx_queue_56_bp_poll_yield: 0
     rx_queue_56_bp_misses: 0
     rx_queue_56_bp_cleaned: 0
     rx_queue_57_packets: 0
     rx_queue_57_bytes: 0
     rx_queue_57_bp_poll_yield: 0
     rx_queue_57_bp_misses: 0
     rx_queue_57_bp_cleaned: 0
     rx_queue_58_packets: 0
     rx_queue_58_bytes: 0
     rx_queue_58_bp_poll_yield: 0
     rx_queue_58_bp_misses: 0
     rx_queue_58_bp_cleaned: 0
     rx_queue_59_packets: 0
     rx_queue_59_bytes: 0
     rx_queue_59_bp_poll_yield: 0
     rx_queue_59_bp_misses: 0
     rx_queue_59_bp_cleaned: 0
     rx_queue_60_packets: 0
     rx_queue_60_bytes: 0
     rx_queue_60_bp_poll_yield: 0
     rx_queue_60_bp_misses: 0
     rx_queue_60_bp_cleaned: 0
     rx_queue_61_packets: 0
     rx_queue_61_bytes: 0
     rx_queue_61_bp_poll_yield: 0
     rx_queue_61_bp_misses: 0
     rx_queue_61_bp_cleaned: 0
     rx_queue_62_packets: 0
     rx_queue_62_bytes: 0
     rx_queue_62_bp_poll_yield: 0
     rx_queue_62_bp_misses: 0
     rx_queue_62_bp_cleaned: 0
     rx_queue_63_packets: 0
     rx_queue_63_bytes: 0
     rx_queue_63_bp_poll_yield: 0
     rx_queue_63_bp_misses: 0
     rx_queue_63_bp_cleaned: 0
     tx_pb_0_pxon: 0
     tx_pb_0_pxoff: 0
     tx_pb_1_pxon: 0
     tx_pb_1_pxoff: 0
     tx_pb_2_pxon: 0
     tx_pb_2_pxoff: 0
     tx_pb_3_pxon: 0
     tx_pb_3_pxoff: 0
     tx_pb_4_pxon: 0
     tx_pb_4_pxoff: 0
     tx_pb_5_pxon: 0
     tx_pb_5_pxoff: 0
     tx_pb_6_pxon: 0
     tx_pb_6_pxoff: 0
     tx_pb_7_pxon: 0
     tx_pb_7_pxoff: 0
     rx_pb_0_pxon: 0
     rx_pb_0_pxoff: 0
     rx_pb_1_pxon: 0
     rx_pb_1_pxoff: 0
     rx_pb_2_pxon: 0
     rx_pb_2_pxoff: 0
     rx_pb_3_pxon: 0
     rx_pb_3_pxoff: 0
     rx_pb_4_pxon: 0
     rx_pb_4_pxoff: 0
     rx_pb_5_pxon: 0
     rx_pb_5_pxoff: 0
     rx_pb_6_pxon: 0
     rx_pb_6_pxoff: 0
     rx_pb_7_pxon: 0
     rx_pb_7_pxoff: 0

 

[roma33rus]

еще вопрос такой появился. Стал я сейчас менять настройки маршрутизации в зебре. И эти скачки нагрузок стали чаще возникать. Вопрос, может ли зебра влиять на такую нагрузку?

[Antares]

dhcp есть на машине?

[roma33rus]

6 минут назад, Antares сказал:

dhcp есть на машине?

Нет. Ни клиента, ни сервера. Только бгп и статические маршруты внутрь сети

[passer]

У вас  rx_missed_errors: 4311299 - т.е. внимательно раскидать сетевые, чтобы разные интерфейсы не болтались сразу на нескольких процессорах.

 

7 часов назад, roma33rus сказал:

Как cisco 4948e в роли бордера? Стоит ее рассматривать? У нас 1 аплинк и он отдает дефолт нам.

Держать BGP-сессию ? Вполне.

Edited January 17, 2020 by passer