Jump to content
Калькуляторы

Странная нагрузка на роутере (Linux)

Reply to this topic

sirmax   

sirmax
Posted · Report post

Доброго дня!

Внезапно выросла нагрузка на роутере:

perf top
 33.64%  [kernel]                   [k] __netif_receive_skb_core                                                                                                                                                                              
 32.87%  [kernel]                   [k] dev_queue_xmit_nit  


ethtool -i eth4
driver: ixgbe
version: 3.19.1-k
firmware-version: 0x61c10001
bus-info: 0000:05:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no

На сервере около 300 вланов, шейперов и ната практически нет.

По сути почти голый роутинг.

 

 

Помоветуйте в какую сторону копать?

Что проверить?

 

Беглое гугление ничего не дало.

Share this post

Link to post
Share on other sites

nuclearcat   

nuclearcat
Posted · Report post

не волнуйтесь, NSA загрузило свой payload.

 

А если серьезно - может что-то в boot флагах было или версия ядра ранее была другой? Или может ядро апнулось сами, при апдейте пакетов.

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

не волнуйтесь, NSA загрузило свой payload.

 

А если серьезно - может что-то в boot флагах было или версия ядра ранее была другой? Или может ядро апнулось сами, при апдейте пакетов.

В том то и дело что вроде бы ничего не менялось (

Share this post

Link to post
Share on other sites

Dark_Angel   

Dark_Angel
Posted (edited) · Report post

Тут вариантов очень много. Если ничего не менялось в софте, значит изменилось снаружи. Если есть автоматизированные скрипты ( например добавление вланов ) возможно они дали сбой и нагенерили кучу хлама. Вырос трафик? DDoS?

 

По двум приведенным строчкам из перфа не понятно что случилось и тем более что изменилось в неизвестной системе.

Edited by Dark_Angel

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

Dark_Angel

Сформулирую по другому - я не знаю и пока не могу найти что изменилось.

 

Потому буду рад советам что и как подебагать и в какую сторону смотреть.

 

Траффик не вырос, вланов не добавилось - проверил.

Т.е. на первый взгляд ничего не изменилось.

Возможно было что-то натюнено и это что-то ушло с ребутом, потому вопрос - что попробовать потюнить?

Share this post

Link to post
Share on other sites

Dark_Angel   

Dark_Angel
Posted · Report post

Боюсь в ситуации как ваша, надо всё начинать разбирать сначала, т.е. показывать параметры системы, полный перф и другую информацию которая поможет понять как сделать хорошо.

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

Боюсь в ситуации как ваша, надо всё начинать разбирать сначала, т.е. показывать параметры системы, полный перф и другую информацию которая поможет понять как сделать хорошо.

Хм, дык нечего особо показывать-то.

uname -a
Linux 3.16.1-1.el6.elrepo.x86_64 #1 SMP Thu Aug 14 13:46:29 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux

 

 

05:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
Subsystem: Intel Corporation Ethernet Server Adapter X520-2
Flags: bus master, fast devsel, latency 0, IRQ 42
Memory at f9680000 (64-bit, prefetchable) [size=512K]
I/O ports at e020 [size=32]
Memory at f9704000 (64-bit, prefetchable) [size=16K]
Capabilities: [40] Power Management version 3
Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
Capabilities: [a0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 90-e2-ba-ff-ff-4a-d3-3c
Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
Kernel driver in use: ixgbe

05:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
Subsystem: Intel Corporation Ethernet Server Adapter X520-2
Flags: bus master, fast devsel, latency 0, IRQ 45
Memory at f9600000 (64-bit, prefetchable) [size=512K]
I/O ports at e000 [size=32]
Memory at f9700000 (64-bit, prefetchable) [size=16K]
Capabilities: [40] Power Management version 3
Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
Capabilities: [a0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 90-e2-ba-ff-ff-4a-d3-3c
Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
Kernel driver in use: ixgbe

 

conntrack -L | wc -l
4622

 

ethtool  -S eth4 | grep -v ': 0'
NIC statistics:
    rx_packets: 1179723073
    tx_packets: 1175907528
    rx_bytes: 1053135272517
    tx_bytes: 1052413435002
    rx_pkts_nic: 1179293290
    tx_pkts_nic: 1175481690
    rx_bytes_nic: 1062030634750
    tx_bytes_nic: 1061691652606
    lsc_int: 10
    multicast: 395873
    broadcast: 210180
    fdir_match: 38555211
    fdir_miss: 1133799521
    fdir_overflow: 121
    rx_missed_errors: 1600
    tx_restart_queue: 28
    tx_flow_control_xon: 6
    tx_flow_control_xoff: 968
    rx_csum_offload_errors: 1147
    tx_queue_0_packets: 246647978
    tx_queue_0_bytes: 221817614874
    tx_queue_1_packets: 232433061
    tx_queue_1_bytes: 196096651757
    tx_queue_2_packets: 249276095
    tx_queue_2_bytes: 218975206664
    tx_queue_3_packets: 239667684
    tx_queue_3_bytes: 215043927353
    tx_queue_4_packets: 206799120
    tx_queue_4_bytes: 200309475377
    tx_queue_5_packets: 1083590
    tx_queue_5_bytes: 170558977
    rx_queue_0_packets: 212209733
    rx_queue_0_bytes: 190327506664
    rx_queue_1_packets: 189224376
    rx_queue_1_bytes: 158337718243
    rx_queue_2_packets: 199146939
    rx_queue_2_bytes: 170014528632
    rx_queue_3_packets: 191494193
    rx_queue_3_bytes: 171227087645
    rx_queue_4_packets: 208129799
    rx_queue_4_bytes: 200487754886
    rx_queue_5_packets: 179518033
    rx_queue_5_bytes: 162740676447

 

ethtool  -k eth4 
Features for eth4:
rx-checksumming: on
tx-checksumming: on
tx-checksum-ipv4: on
tx-checksum-ip-generic: off [fixed]
tx-checksum-ipv6: on
tx-checksum-fcoe-crc: on [fixed]
tx-checksum-sctp: on
scatter-gather: on
tx-scatter-gather: on
tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
tx-tcp-segmentation: on
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp6-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: off
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: on [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
busy-poll: on [fixed]

 

ifconfig  | grep 'eth4.' | wc -l
315

 

ethtool  -g eth4 
Ring parameters for eth4:
Pre-set maximums:
RX:		4096
RX Mini:	0
RX Jumbo:	0
TX:		4096
Current hardware settings:
RX:		1024
RX Mini:	0
RX Jumbo:	0
TX:		1024

 

 

ethtool  -a eth4 
Pause parameters for eth4:
Autonegotiate:	off
RX:		off
TX:		off

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

tcp-segmentation-offload: on

generic-segmentation-offload: on

generic-receive-offload: on

 

IMHO на роутере это плохо

 

Выключил:

ethtool  -k eth4 | grep offload
tcp-segmentation-offload: off
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
l2-fwd-offload: off

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

mpstat -P ALL 1 10

cat /proc/interrupts

 

mpstat -P ALL 1 10
Linux 3.16.1-1.el6.elrepo.x86_64 11/26/2014 	_x86_64_	(6 CPU)

02:45:20 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:21 PM  all    5.84    0.00   13.37    0.00    0.00   66.29    0.00    0.00   14.50
02:45:21 PM    0    1.11    0.00    0.00    0.00    0.00   80.00    0.00    0.00   18.89
02:45:21 PM    1    0.00    0.00    0.00    0.00    0.00   95.60    0.00    0.00    4.40
02:45:21 PM    2    0.00    0.00    0.00    0.00    0.00   82.93    0.00    0.00   17.07
02:45:21 PM    3    0.00    0.00    0.00    0.00    0.00   90.80    0.00    0.00    9.20
02:45:21 PM    4    0.00    0.00    0.00    0.00    0.00   56.58    0.00    0.00   43.42
02:45:21 PM    5   30.00    0.00   70.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:21 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:22 PM  all    6.15    0.00   13.22    0.00    0.00   65.18    0.00    0.00   15.46
02:45:22 PM    0    0.00    0.00    1.15    0.00    0.00   80.46    0.00    0.00   18.39
02:45:22 PM    1    1.20    0.00    0.00    0.00    0.00   83.13    0.00    0.00   15.66
02:45:22 PM    2    0.00    0.00    0.00    0.00    0.00   86.21    0.00    0.00   13.79
02:45:22 PM    3    0.00    0.00    0.00    0.00    0.00   92.31    0.00    0.00    7.69
02:45:22 PM    4    1.11    0.00    1.11    0.00    0.00   58.89    0.00    0.00   38.89
02:45:22 PM    5   31.31    0.00   68.69    0.00    0.00    0.00    0.00    0.00    0.00

02:45:22 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:23 PM  all    5.80    0.00   14.12    0.00    0.00   62.67    0.00    0.00   17.41
02:45:23 PM    0    0.00    0.00    0.00    0.00    0.00   78.31    0.00    0.00   21.69
02:45:23 PM    1    0.00    0.00    1.20    0.00    0.00   81.93    0.00    0.00   16.87
02:45:23 PM    2    1.23    0.00    0.00    0.00    0.00   69.14    0.00    0.00   29.63
02:45:23 PM    3    0.00    0.00    0.00    0.00    0.00   91.95    0.00    0.00    8.05
02:45:23 PM    4    0.00    0.00    0.00    0.00    0.00   67.47    0.00    0.00   32.53
02:45:23 PM    5   28.00    0.00   72.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:23 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:24 PM  all    6.26    0.00   13.70    0.39    0.00   61.45    0.00    0.00   18.20
02:45:24 PM    0    1.23    0.00    1.23    0.00    0.00   75.31    0.00    0.00   22.22
02:45:24 PM    1    0.00    0.00    0.00    0.00    0.00   78.05    0.00    0.00   21.95
02:45:24 PM    2    0.00    0.00    1.30    2.60    0.00   68.83    0.00    0.00   27.27
02:45:24 PM    3    0.00    0.00    0.00    0.00    0.00   95.60    0.00    0.00    4.40
02:45:24 PM    4    1.20    0.00    0.00    0.00    0.00   60.24    0.00    0.00   38.55
02:45:24 PM    5   31.00    0.00   69.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:24 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:25 PM  all    6.46    0.00   13.70    0.00    0.00   57.93    0.00    0.00   21.92
02:45:25 PM    0    0.00    0.00    0.00    0.00    0.00   88.24    0.00    0.00   11.76
02:45:25 PM    1    0.00    0.00    0.00    0.00    0.00   73.97    0.00    0.00   26.03
02:45:25 PM    2    1.18    0.00    0.00    0.00    0.00   70.59    0.00    0.00   28.24
02:45:25 PM    3    0.00    0.00    0.00    0.00    0.00   82.72    0.00    0.00   17.28
02:45:25 PM    4    0.00    0.00    1.18    0.00    0.00   45.88    0.00    0.00   52.94
02:45:25 PM    5   32.67    0.00   67.33    0.00    0.00    0.00    0.00    0.00    0.00

02:45:25 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:26 PM  all    6.57    0.00   13.94    0.00    0.00   61.75    0.00    0.00   17.73
02:45:26 PM    0    0.00    0.00    0.00    0.00    0.00   82.28    0.00    0.00   17.72
02:45:26 PM    1    0.00    0.00    0.00    0.00    0.00   85.00    0.00    0.00   15.00
02:45:26 PM    2    0.00    0.00    1.28    0.00    0.00   70.51    0.00    0.00   28.21
02:45:26 PM    3    0.00    0.00    1.19    0.00    0.00   86.90    0.00    0.00   11.90
02:45:26 PM    4    1.27    0.00    0.00    0.00    0.00   60.76    0.00    0.00   37.97
02:45:26 PM    5   31.00    0.00   69.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:26 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:27 PM  all    7.13    0.00   13.07    0.00    0.00   62.18    0.00    0.00   17.62
02:45:27 PM    0    0.00    0.00    0.00    0.00    0.00   88.24    0.00    0.00   11.76
02:45:27 PM    1    1.19    0.00    0.00    0.00    0.00   76.19    0.00    0.00   22.62
02:45:27 PM    2    0.00    0.00    0.00    0.00    0.00   72.22    0.00    0.00   27.78
02:45:27 PM    3    0.00    0.00    0.00    0.00    0.00   92.94    0.00    0.00    7.06
02:45:27 PM    4    0.00    0.00    1.23    0.00    0.00   55.56    0.00    0.00   43.21
02:45:27 PM    5   35.35    0.00   64.65    0.00    0.00    0.00    0.00    0.00    0.00

02:45:27 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:28 PM  all   12.52    0.00    6.83    0.00    0.00   67.36    0.00    0.00   13.28
02:45:28 PM    0    0.00    0.00    0.00    0.00    0.00   89.41    0.00    0.00   10.59
02:45:28 PM    1    0.00    0.00    1.19    0.00    0.00   85.71    0.00    0.00   13.10
02:45:28 PM    2    0.00    0.00    1.25    0.00    0.00   76.25    0.00    0.00   22.50
02:45:28 PM    3    0.00    0.00    0.00    0.00    0.00   99.00    0.00    0.00    1.00
02:45:28 PM    4    0.00    0.00    1.25    0.00    0.00   58.75    0.00    0.00   40.00
02:45:28 PM    5   65.00    0.00   35.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:28 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:29 PM  all    6.68    0.00   11.25    0.00    0.00   72.93    0.00    0.00    9.14
02:45:29 PM    0    1.11    0.00    1.11    0.00    0.00   82.22    0.00    0.00   15.56
02:45:29 PM    1    0.00    0.00    0.00    0.00    0.00   98.97    0.00    0.00    1.03
02:45:29 PM    2    0.00    0.00    0.00    0.00    0.00   90.43    0.00    0.00    9.57
02:45:29 PM    3    0.00    0.00    0.00    0.00    0.00   97.96    0.00    0.00    2.04
02:45:29 PM    4    1.11    0.00    0.00    0.00    0.00   71.11    0.00    0.00   27.78
02:45:29 PM    5   37.00    0.00   63.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:29 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:30 PM  all    6.78    0.00   12.64    0.00    0.00   68.13    0.00    0.00   12.45
02:45:30 PM    0    0.00    0.00    1.18    0.00    0.00   80.00    0.00    0.00   18.82
02:45:30 PM    1    0.00    0.00    0.00    0.00    0.00   92.13    0.00    0.00    7.87
02:45:30 PM    2    0.00    0.00    0.00    0.00    0.00   93.33    0.00    0.00    6.67
02:45:30 PM    3    0.00    0.00    0.00    0.00    0.00   91.49    0.00    0.00    8.51
02:45:30 PM    4    1.16    0.00    1.16    0.00    0.00   59.30    0.00    0.00   38.37
02:45:30 PM    5   34.00    0.00   66.00    0.00    0.00    0.00    0.00    0.00    0.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Average:     all    7.02    0.00   12.56    0.04    0.00   64.73    0.00    0.00   15.66
Average:       0    0.35    0.00    0.47    0.00    0.00   82.47    0.00    0.00   16.71
Average:       1    0.24    0.00    0.24    0.00    0.00   85.58    0.00    0.00   13.95
Average:       2    0.24    0.00    0.36    0.24    0.00   78.57    0.00    0.00   20.58
Average:       3    0.00    0.00    0.11    0.00    0.00   92.43    0.00    0.00    7.46
Average:       4    0.60    0.00    0.60    0.00    0.00   59.54    0.00    0.00   39.26
Average:       5   35.54    0.00   64.46    0.00    0.00    0.00    0.00    0.00    0.00

 

То что 2 очереди прибиты к одному процу - "нормально". Т.е. так и задумано.

          CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       
  0:         70          0          0          0          0          0  IR-IO-APIC-edge      timer
  1:          3          0          0          0          0          0  IR-IO-APIC-edge      i8042
  8:          1          0          0          0          0          0  IR-IO-APIC-edge      rtc0
  9:          0          0          0          0          0          0  IR-IO-APIC-fasteoi   acpi
 12:          4          0          0          0          0          0  IR-IO-APIC-edge      i8042
 16:         72          0          0          0          0          0  IR-IO-APIC-fasteoi   ehci_hcd:usb1
 18:          0          0          0          0          0          0  IR-IO-APIC-fasteoi   i801_smbus
 23:         37          0          0          0          0          0  IR-IO-APIC-fasteoi   ehci_hcd:usb2
 64:          0          0          0          0          0          0  DMAR_MSI-edge      dmar0
 65:    2029270          0          0          0          0          0  IR-PCI-MSI-edge      isci-msix
 66:          0          0          0          0          0          0  IR-PCI-MSI-edge      isci-msix
 67:          0          0          0          0          0          0  IR-PCI-MSI-edge      ahci
 96:  174183826          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-0
 97:      54797  155493847          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-1
 98:      46984          0  156660015          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-2
 99:      43920          0          0  156199181          0          0  IR-PCI-MSI-edge      eth4-TxRx-3
100:      46280          0          0          0  170039292          0  IR-PCI-MSI-edge      eth4-TxRx-4
101:  129008220          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-5
102:        131          0          0          0          0          0  IR-PCI-MSI-edge      eth4
110:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
111:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
112:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
113:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
114:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
115:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
116:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
117:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
NMI:     226979     202030     207349     191355     187562     141384   Non-maskable interrupts
LOC:    8666173    8758698    8554010    8763460    8148091   44814877   Local timer interrupts
SPU:          0          0          0          0          0          0   Spurious interrupts
PMI:     226979     202030     207349     191355     187562     141384   Performance monitoring interrupts
IWI:         38         36         40         36         35         41   IRQ work interrupts
RTR:          0          0          0          0          0          0   APIC ICR read retries
RES:    1790296    1626746    1616917    1580606    1670227    1066725   Rescheduling interrupts
CAL:       2278   36302288   38326284   35661750       2398       1752   Function call interrupts
TLB:       2947       3336       3716       3601       3961       4462   TLB shootdowns
TRM:          0          0          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0          0          0   Threshold APIC interrupts
MCE:          0          0          0          0          0          0   Machine check exceptions
MCP:         51         51         51         51         51         51   Machine check polls
THR:          0          0          0          0          0          0   Hypervisor callback interrupts

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

Траффика до 2 гиг.

всмысле 2 на вход 2 на выход.

Входит и выходит :) через один 10-гиг порт со стопкой вланов.

 

 31.46%  [kernel]                   [k] dev_queue_xmit_nit
 31.04%  [kernel]                   [k] __netif_receive_skb_core
  2.78%  [kernel]                   [k] _raw_spin_lock_irqsave
  2.18%  [kernel]                   [k] rb_prev
  1.95%  [kernel]                   [k] ipt_do_table
  0.99%  [kernel]                   [k] clflush_cache_range
  0.75%  [kernel]                   [k] dev_ioctl
  0.75%  [kernel]                   [k] inet_gifconf
  0.74%  [kernel]                   [k] fib_table_lookup
  0.60%  [kernel]                   [k] find_iova
  0.55%  [kernel]                   [k] dma_pte_clear_level
  0.47%  [kernel]                   [k] __alloc_and_insert_iova_range
  0.43%  [kernel]                   [k] __domain_mapping
  0.41%  [kernel]                   [k] memcpy
  0.39%  [kernel]                   [k] _raw_spin_lock
  0.36%  bash                       [.] 0x000000000003c8c5
  0.30%  [kernel]                   [k] kmem_cache_alloc
  0.29%  [kernel]                   [k] copy_user_enhanced_fast_string
  0.29%  [kernel]                   [k] check_leaf
  0.28%  [kernel]                   [k] memset
  0.27%  [kernel]                   [k] ip_finish_output
  0.26%  [kernel]                   [k] _raw_spin_unlock_irqrestore
  0.26%  [kernel]                   [k] ixgbe_fetch_rx_buffer
  0.24%  libnetsnmp.so.20.0.0       [.] netsnmp_compare_netsnmp_index
  0.24%  [kernel]                   [k] nf_iterate
  0.23%  [kernel]                   [k] kmem_cache_free
  0.23%  [kernel]                   [k] __sk_run_filter
  0.21%  libc-2.12.so               [.] _int_malloc
  0.19%  [kernel]                   [k] page_fault
  0.18%  libc-2.12.so               [.] __strcmp_sse42
  0.18%  libperl.so                 [.] Perl_yyparse
  0.17%  libnetsnmp.so.20.0.0       [.] snmp_oid_compare
  0.17%  [kernel]                   [k] ixgbe_tx_map
  0.17%  [kernel]                   [k] vlan_do_receive
  0.17%  [kernel]                   [k] inet6_fill_ifaddr
  0.17%  libperl.so                 [.] Perl_yylex
  0.17%  [kernel]                   [k] ixgbe_clean_rx_irq
  0.16%  libc-2.12.so               [.] memcpy
  0.15%  [kernel]                   [k] __nla_reserve
  0.15%  [kernel]                   [k] flush_unmaps
  0.14%  [kernel]                   [k] strcpy
  0.13%  [kernel]                   [k] __dev_queue_xmit
  0.13%  [kernel]                   [k] pfn_to_dma_pte
  0.13%  [kernel]                   [k] get_counters
  0.12%  [kernel]                   [k] find_first_bit
  0.12%  [kernel]                   [k] iova_get_pad_size
  0.11%  [kernel]                   [k] __local_bh_enable_ip
  0.11%  [kernel]                   [k] ip_rcv_finish
  0.11%  [kernel]                   [k] ixgbe_xmit_frame_ring
  0.11%  [kernel]                   [k] ip_rcv
  0.11%  [kernel]                   [k] inet_dump_ifaddr
  0.11%  [kernel]                   [k] ip_forward
  0.11%  [kernel]                   [k] __switch_to

Ядер всего 6.

 

cat /proc/cpuinfo 
processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model		: 62
model name	: Intel(R) Xeon(R) CPU E5-1650 v2 @ 3.50GHz
stepping	: 4
microcode	: 0x415
cpu MHz		: 3599.941
cache size	: 12288 KB
physical id	: 0
siblings	: 6
core id		: 0
cpu cores	: 6
apicid		: 0
initial apicid	: 0
fpu		: yes
fpu_exception	: yes
cpuid level	: 13
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm ida arat epb xsaveopt pln pts dtherm tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms
bogomips	: 6999.67
clflush size	: 64
cache_alignment	: 64
address sizes	: 46 bits physical, 48 bits virtual
power management:

Share this post

Link to post
Share on other sites

telecom   

telecom
Posted · Report post

Разумно было бы повесить IR-PCI-MSI-edge eth4-TxRx-5 на последнее, 5 (считая с 0) ядро,

однако там у Вас непонятная нагрузка, причем, под 100%:

 

Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle

Average: 5 35.54 0.00 64.46 0.00 0.00 0.00 0.00 0.00 0.00

 

Что к этому ядру прибито???

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

telecom

На последнем ядре tasksetom прибиты юзерские процессы.

потому так и сделано.

То что там 100% - вобщем-то нормально и на роутинг влиять не должно

Share this post

Link to post
Share on other sites

Dark_Angel   

Dark_Angel
Posted · Report post

У меня нет вариантов что это. Выглядит как будто неудачный апдейт ядра. Все процессы в топе перфа, кроме 5-ой позиции - это процессы внутри ядра. Надо смотреть исходники, чтобы понять что это.

 

А сколько правил iptables и что они делают?

 

2Г трафика для такого тазика - это вообще на один зуб. Таким можно и 12-15Г обмолотить.

Share this post

Link to post
Share on other sites

telecom   

telecom
Posted · Report post

telecom

На последнем ядре tasksetom прибиты юзерские процессы.

потому так и сделано.

То что там 100% - вобщем-то нормально и на роутинг влиять не должно

Как по мне, так больше 50% не нормально. Что там за процессы? Можно их остановить на время???

Share this post

Link to post
Share on other sites

telecom   

telecom
Posted · Report post

У меня нет вариантов что это. Выглядит как будто неудачный апдейт ядра. Все процессы в топе перфа, кроме 5-ой позиции - это процессы внутри ядра. Надо смотреть исходники, чтобы понять что это.

 

Так как это центос 6, это легко посмотреть, а именно дату создания файла /boot/initramfs-.....

Если примерно совпадает со временем появления проблем, то да, неудачный апдейт ядра.

 

Вообще, я не верю, что "больше вроде бы никто ничего не менял"....

 

2Г трафика для такого тазика - это вообще на один зуб. Таким можно и 12-15Г обмолотить.

+1

 

В догонку.

Я не очень хорошо отношусь к ядру 3.16

На мой взгляд, если хочется свеженького, так уж 3.17

А так 3.14 вполне стабильное ядро.

Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25

Share this post

Link to post
Share on other sites

pppoetest   

pppoetest
Posted · Report post

Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25

Если не жалко можете дать пощупать конфиг от 3.14.25?

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25

Если не жалко можете дать пощупать конфиг от 3.14.25?

Да мне тоже интересно.

 

 

Я обновил ядро и драйвер сетевки ночью - пока смотрю что получилось.

 

Вообще, я не верю, что "больше вроде бы никто ничего не менял"....

Я тоже не верю в чудеса ) потому - пробую найти что помненялось.

 

Кроме всего прочего - там есть proxy_arp и bgp full view - маршрутов много.

Это не должно вроде ни на что влиять но все же

 

 

кстати ixgbe без шаманства под 3.17 не собирается

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted · Report post

кстати ixgbe без шаманства под 3.17 не собирается

У последнего igb пришлось править Makefile под 3.16. То же самое?

нет

diff ixgbe_ethtool.c.back ixgbe_ethtool.c
2884c2884,2885
< 		hlist_add_after(parent, &input->fdir_node);
---
> 		  hlist_add_behind(&input->fdir_node, parent);

Но решение я нагуглил

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Followers 0
Go to topic listing Программное обеспечение, биллинг и *unix системы