Перейти к содержимому
Калькуляторы

Странная нагрузка на роутере (Linux)

Ответить

sirmax   

sirmax
Опубликовано · Жалоба

Доброго дня!

Внезапно выросла нагрузка на роутере:

perf top
 33.64%  [kernel]                   [k] __netif_receive_skb_core                                                                                                                                                                              
 32.87%  [kernel]                   [k] dev_queue_xmit_nit  


ethtool -i eth4
driver: ixgbe
version: 3.19.1-k
firmware-version: 0x61c10001
bus-info: 0000:05:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no

На сервере около 300 вланов, шейперов и ната практически нет.

По сути почти голый роутинг.

 

 

Помоветуйте в какую сторону копать?

Что проверить?

 

Беглое гугление ничего не дало.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

По одновленным данным - серевер перезагружался. но это и все. больше вроде бы никто ничего не менял

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

nuclearcat   

nuclearcat
Опубликовано · Жалоба

не волнуйтесь, NSA загрузило свой payload.

 

А если серьезно - может что-то в boot флагах было или версия ядра ранее была другой? Или может ядро апнулось сами, при апдейте пакетов.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

не волнуйтесь, NSA загрузило свой payload.

 

А если серьезно - может что-то в boot флагах было или версия ядра ранее была другой? Или может ядро апнулось сами, при апдейте пакетов.

В том то и дело что вроде бы ничего не менялось (

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dark_Angel   

Dark_Angel
Опубликовано (изменено) · Жалоба

Тут вариантов очень много. Если ничего не менялось в софте, значит изменилось снаружи. Если есть автоматизированные скрипты ( например добавление вланов ) возможно они дали сбой и нагенерили кучу хлама. Вырос трафик? DDoS?

 

По двум приведенным строчкам из перфа не понятно что случилось и тем более что изменилось в неизвестной системе.

Изменено пользователем Dark_Angel

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

Dark_Angel

Сформулирую по другому - я не знаю и пока не могу найти что изменилось.

 

Потому буду рад советам что и как подебагать и в какую сторону смотреть.

 

Траффик не вырос, вланов не добавилось - проверил.

Т.е. на первый взгляд ничего не изменилось.

Возможно было что-то натюнено и это что-то ушло с ребутом, потому вопрос - что попробовать потюнить?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dark_Angel   

Dark_Angel
Опубликовано · Жалоба

Боюсь в ситуации как ваша, надо всё начинать разбирать сначала, т.е. показывать параметры системы, полный перф и другую информацию которая поможет понять как сделать хорошо.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dimka88   

Dimka88
Опубликовано · Жалоба

А с прерываниями все нормально? С какими параметрами ixgbe загрузился?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

Боюсь в ситуации как ваша, надо всё начинать разбирать сначала, т.е. показывать параметры системы, полный перф и другую информацию которая поможет понять как сделать хорошо.

Хм, дык нечего особо показывать-то.

uname -a
Linux 3.16.1-1.el6.elrepo.x86_64 #1 SMP Thu Aug 14 13:46:29 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux

 

 

05:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
Subsystem: Intel Corporation Ethernet Server Adapter X520-2
Flags: bus master, fast devsel, latency 0, IRQ 42
Memory at f9680000 (64-bit, prefetchable) [size=512K]
I/O ports at e020 [size=32]
Memory at f9704000 (64-bit, prefetchable) [size=16K]
Capabilities: [40] Power Management version 3
Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
Capabilities: [a0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 90-e2-ba-ff-ff-4a-d3-3c
Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
Kernel driver in use: ixgbe

05:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
Subsystem: Intel Corporation Ethernet Server Adapter X520-2
Flags: bus master, fast devsel, latency 0, IRQ 45
Memory at f9600000 (64-bit, prefetchable) [size=512K]
I/O ports at e000 [size=32]
Memory at f9700000 (64-bit, prefetchable) [size=16K]
Capabilities: [40] Power Management version 3
Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
Capabilities: [a0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 90-e2-ba-ff-ff-4a-d3-3c
Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
Kernel driver in use: ixgbe

 

conntrack -L | wc -l
4622

 

ethtool  -S eth4 | grep -v ': 0'
NIC statistics:
    rx_packets: 1179723073
    tx_packets: 1175907528
    rx_bytes: 1053135272517
    tx_bytes: 1052413435002
    rx_pkts_nic: 1179293290
    tx_pkts_nic: 1175481690
    rx_bytes_nic: 1062030634750
    tx_bytes_nic: 1061691652606
    lsc_int: 10
    multicast: 395873
    broadcast: 210180
    fdir_match: 38555211
    fdir_miss: 1133799521
    fdir_overflow: 121
    rx_missed_errors: 1600
    tx_restart_queue: 28
    tx_flow_control_xon: 6
    tx_flow_control_xoff: 968
    rx_csum_offload_errors: 1147
    tx_queue_0_packets: 246647978
    tx_queue_0_bytes: 221817614874
    tx_queue_1_packets: 232433061
    tx_queue_1_bytes: 196096651757
    tx_queue_2_packets: 249276095
    tx_queue_2_bytes: 218975206664
    tx_queue_3_packets: 239667684
    tx_queue_3_bytes: 215043927353
    tx_queue_4_packets: 206799120
    tx_queue_4_bytes: 200309475377
    tx_queue_5_packets: 1083590
    tx_queue_5_bytes: 170558977
    rx_queue_0_packets: 212209733
    rx_queue_0_bytes: 190327506664
    rx_queue_1_packets: 189224376
    rx_queue_1_bytes: 158337718243
    rx_queue_2_packets: 199146939
    rx_queue_2_bytes: 170014528632
    rx_queue_3_packets: 191494193
    rx_queue_3_bytes: 171227087645
    rx_queue_4_packets: 208129799
    rx_queue_4_bytes: 200487754886
    rx_queue_5_packets: 179518033
    rx_queue_5_bytes: 162740676447

 

ethtool  -k eth4 
Features for eth4:
rx-checksumming: on
tx-checksumming: on
tx-checksum-ipv4: on
tx-checksum-ip-generic: off [fixed]
tx-checksum-ipv6: on
tx-checksum-fcoe-crc: on [fixed]
tx-checksum-sctp: on
scatter-gather: on
tx-scatter-gather: on
tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
tx-tcp-segmentation: on
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp6-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: off
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: on [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off
busy-poll: on [fixed]

 

ifconfig  | grep 'eth4.' | wc -l
315

 

ethtool  -g eth4 
Ring parameters for eth4:
Pre-set maximums:
RX:		4096
RX Mini:	0
RX Jumbo:	0
TX:		4096
Current hardware settings:
RX:		1024
RX Mini:	0
RX Jumbo:	0
TX:		1024

 

 

ethtool  -a eth4 
Pause parameters for eth4:
Autonegotiate:	off
RX:		off
TX:		off

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

nuclearcat   

nuclearcat
Опубликовано · Жалоба

tcp-segmentation-offload: on

generic-segmentation-offload: on

generic-receive-offload: on

 

IMHO на роутере это плохо

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

tcp-segmentation-offload: on

generic-segmentation-offload: on

generic-receive-offload: on

 

IMHO на роутере это плохо

 

Выключил:

ethtool  -k eth4 | grep offload
tcp-segmentation-offload: off
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
l2-fwd-offload: off

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

g3fox   

g3fox
Опубликовано · Жалоба

mpstat -P ALL 1 10

cat /proc/interrupts

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

mpstat -P ALL 1 10

cat /proc/interrupts

 

mpstat -P ALL 1 10
Linux 3.16.1-1.el6.elrepo.x86_64 11/26/2014 	_x86_64_	(6 CPU)

02:45:20 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:21 PM  all    5.84    0.00   13.37    0.00    0.00   66.29    0.00    0.00   14.50
02:45:21 PM    0    1.11    0.00    0.00    0.00    0.00   80.00    0.00    0.00   18.89
02:45:21 PM    1    0.00    0.00    0.00    0.00    0.00   95.60    0.00    0.00    4.40
02:45:21 PM    2    0.00    0.00    0.00    0.00    0.00   82.93    0.00    0.00   17.07
02:45:21 PM    3    0.00    0.00    0.00    0.00    0.00   90.80    0.00    0.00    9.20
02:45:21 PM    4    0.00    0.00    0.00    0.00    0.00   56.58    0.00    0.00   43.42
02:45:21 PM    5   30.00    0.00   70.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:21 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:22 PM  all    6.15    0.00   13.22    0.00    0.00   65.18    0.00    0.00   15.46
02:45:22 PM    0    0.00    0.00    1.15    0.00    0.00   80.46    0.00    0.00   18.39
02:45:22 PM    1    1.20    0.00    0.00    0.00    0.00   83.13    0.00    0.00   15.66
02:45:22 PM    2    0.00    0.00    0.00    0.00    0.00   86.21    0.00    0.00   13.79
02:45:22 PM    3    0.00    0.00    0.00    0.00    0.00   92.31    0.00    0.00    7.69
02:45:22 PM    4    1.11    0.00    1.11    0.00    0.00   58.89    0.00    0.00   38.89
02:45:22 PM    5   31.31    0.00   68.69    0.00    0.00    0.00    0.00    0.00    0.00

02:45:22 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:23 PM  all    5.80    0.00   14.12    0.00    0.00   62.67    0.00    0.00   17.41
02:45:23 PM    0    0.00    0.00    0.00    0.00    0.00   78.31    0.00    0.00   21.69
02:45:23 PM    1    0.00    0.00    1.20    0.00    0.00   81.93    0.00    0.00   16.87
02:45:23 PM    2    1.23    0.00    0.00    0.00    0.00   69.14    0.00    0.00   29.63
02:45:23 PM    3    0.00    0.00    0.00    0.00    0.00   91.95    0.00    0.00    8.05
02:45:23 PM    4    0.00    0.00    0.00    0.00    0.00   67.47    0.00    0.00   32.53
02:45:23 PM    5   28.00    0.00   72.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:23 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:24 PM  all    6.26    0.00   13.70    0.39    0.00   61.45    0.00    0.00   18.20
02:45:24 PM    0    1.23    0.00    1.23    0.00    0.00   75.31    0.00    0.00   22.22
02:45:24 PM    1    0.00    0.00    0.00    0.00    0.00   78.05    0.00    0.00   21.95
02:45:24 PM    2    0.00    0.00    1.30    2.60    0.00   68.83    0.00    0.00   27.27
02:45:24 PM    3    0.00    0.00    0.00    0.00    0.00   95.60    0.00    0.00    4.40
02:45:24 PM    4    1.20    0.00    0.00    0.00    0.00   60.24    0.00    0.00   38.55
02:45:24 PM    5   31.00    0.00   69.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:24 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:25 PM  all    6.46    0.00   13.70    0.00    0.00   57.93    0.00    0.00   21.92
02:45:25 PM    0    0.00    0.00    0.00    0.00    0.00   88.24    0.00    0.00   11.76
02:45:25 PM    1    0.00    0.00    0.00    0.00    0.00   73.97    0.00    0.00   26.03
02:45:25 PM    2    1.18    0.00    0.00    0.00    0.00   70.59    0.00    0.00   28.24
02:45:25 PM    3    0.00    0.00    0.00    0.00    0.00   82.72    0.00    0.00   17.28
02:45:25 PM    4    0.00    0.00    1.18    0.00    0.00   45.88    0.00    0.00   52.94
02:45:25 PM    5   32.67    0.00   67.33    0.00    0.00    0.00    0.00    0.00    0.00

02:45:25 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:26 PM  all    6.57    0.00   13.94    0.00    0.00   61.75    0.00    0.00   17.73
02:45:26 PM    0    0.00    0.00    0.00    0.00    0.00   82.28    0.00    0.00   17.72
02:45:26 PM    1    0.00    0.00    0.00    0.00    0.00   85.00    0.00    0.00   15.00
02:45:26 PM    2    0.00    0.00    1.28    0.00    0.00   70.51    0.00    0.00   28.21
02:45:26 PM    3    0.00    0.00    1.19    0.00    0.00   86.90    0.00    0.00   11.90
02:45:26 PM    4    1.27    0.00    0.00    0.00    0.00   60.76    0.00    0.00   37.97
02:45:26 PM    5   31.00    0.00   69.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:26 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:27 PM  all    7.13    0.00   13.07    0.00    0.00   62.18    0.00    0.00   17.62
02:45:27 PM    0    0.00    0.00    0.00    0.00    0.00   88.24    0.00    0.00   11.76
02:45:27 PM    1    1.19    0.00    0.00    0.00    0.00   76.19    0.00    0.00   22.62
02:45:27 PM    2    0.00    0.00    0.00    0.00    0.00   72.22    0.00    0.00   27.78
02:45:27 PM    3    0.00    0.00    0.00    0.00    0.00   92.94    0.00    0.00    7.06
02:45:27 PM    4    0.00    0.00    1.23    0.00    0.00   55.56    0.00    0.00   43.21
02:45:27 PM    5   35.35    0.00   64.65    0.00    0.00    0.00    0.00    0.00    0.00

02:45:27 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:28 PM  all   12.52    0.00    6.83    0.00    0.00   67.36    0.00    0.00   13.28
02:45:28 PM    0    0.00    0.00    0.00    0.00    0.00   89.41    0.00    0.00   10.59
02:45:28 PM    1    0.00    0.00    1.19    0.00    0.00   85.71    0.00    0.00   13.10
02:45:28 PM    2    0.00    0.00    1.25    0.00    0.00   76.25    0.00    0.00   22.50
02:45:28 PM    3    0.00    0.00    0.00    0.00    0.00   99.00    0.00    0.00    1.00
02:45:28 PM    4    0.00    0.00    1.25    0.00    0.00   58.75    0.00    0.00   40.00
02:45:28 PM    5   65.00    0.00   35.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:28 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:29 PM  all    6.68    0.00   11.25    0.00    0.00   72.93    0.00    0.00    9.14
02:45:29 PM    0    1.11    0.00    1.11    0.00    0.00   82.22    0.00    0.00   15.56
02:45:29 PM    1    0.00    0.00    0.00    0.00    0.00   98.97    0.00    0.00    1.03
02:45:29 PM    2    0.00    0.00    0.00    0.00    0.00   90.43    0.00    0.00    9.57
02:45:29 PM    3    0.00    0.00    0.00    0.00    0.00   97.96    0.00    0.00    2.04
02:45:29 PM    4    1.11    0.00    0.00    0.00    0.00   71.11    0.00    0.00   27.78
02:45:29 PM    5   37.00    0.00   63.00    0.00    0.00    0.00    0.00    0.00    0.00

02:45:29 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:45:30 PM  all    6.78    0.00   12.64    0.00    0.00   68.13    0.00    0.00   12.45
02:45:30 PM    0    0.00    0.00    1.18    0.00    0.00   80.00    0.00    0.00   18.82
02:45:30 PM    1    0.00    0.00    0.00    0.00    0.00   92.13    0.00    0.00    7.87
02:45:30 PM    2    0.00    0.00    0.00    0.00    0.00   93.33    0.00    0.00    6.67
02:45:30 PM    3    0.00    0.00    0.00    0.00    0.00   91.49    0.00    0.00    8.51
02:45:30 PM    4    1.16    0.00    1.16    0.00    0.00   59.30    0.00    0.00   38.37
02:45:30 PM    5   34.00    0.00   66.00    0.00    0.00    0.00    0.00    0.00    0.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Average:     all    7.02    0.00   12.56    0.04    0.00   64.73    0.00    0.00   15.66
Average:       0    0.35    0.00    0.47    0.00    0.00   82.47    0.00    0.00   16.71
Average:       1    0.24    0.00    0.24    0.00    0.00   85.58    0.00    0.00   13.95
Average:       2    0.24    0.00    0.36    0.24    0.00   78.57    0.00    0.00   20.58
Average:       3    0.00    0.00    0.11    0.00    0.00   92.43    0.00    0.00    7.46
Average:       4    0.60    0.00    0.60    0.00    0.00   59.54    0.00    0.00   39.26
Average:       5   35.54    0.00   64.46    0.00    0.00    0.00    0.00    0.00    0.00

 

То что 2 очереди прибиты к одному процу - "нормально". Т.е. так и задумано.

          CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       
  0:         70          0          0          0          0          0  IR-IO-APIC-edge      timer
  1:          3          0          0          0          0          0  IR-IO-APIC-edge      i8042
  8:          1          0          0          0          0          0  IR-IO-APIC-edge      rtc0
  9:          0          0          0          0          0          0  IR-IO-APIC-fasteoi   acpi
 12:          4          0          0          0          0          0  IR-IO-APIC-edge      i8042
 16:         72          0          0          0          0          0  IR-IO-APIC-fasteoi   ehci_hcd:usb1
 18:          0          0          0          0          0          0  IR-IO-APIC-fasteoi   i801_smbus
 23:         37          0          0          0          0          0  IR-IO-APIC-fasteoi   ehci_hcd:usb2
 64:          0          0          0          0          0          0  DMAR_MSI-edge      dmar0
 65:    2029270          0          0          0          0          0  IR-PCI-MSI-edge      isci-msix
 66:          0          0          0          0          0          0  IR-PCI-MSI-edge      isci-msix
 67:          0          0          0          0          0          0  IR-PCI-MSI-edge      ahci
 96:  174183826          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-0
 97:      54797  155493847          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-1
 98:      46984          0  156660015          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-2
 99:      43920          0          0  156199181          0          0  IR-PCI-MSI-edge      eth4-TxRx-3
100:      46280          0          0          0  170039292          0  IR-PCI-MSI-edge      eth4-TxRx-4
101:  129008220          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-5
102:        131          0          0          0          0          0  IR-PCI-MSI-edge      eth4
110:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
111:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
112:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
113:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
114:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
115:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
116:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
117:          2          0          0          0          0          0  IR-PCI-MSI-edge      ioat-msix
NMI:     226979     202030     207349     191355     187562     141384   Non-maskable interrupts
LOC:    8666173    8758698    8554010    8763460    8148091   44814877   Local timer interrupts
SPU:          0          0          0          0          0          0   Spurious interrupts
PMI:     226979     202030     207349     191355     187562     141384   Performance monitoring interrupts
IWI:         38         36         40         36         35         41   IRQ work interrupts
RTR:          0          0          0          0          0          0   APIC ICR read retries
RES:    1790296    1626746    1616917    1580606    1670227    1066725   Rescheduling interrupts
CAL:       2278   36302288   38326284   35661750       2398       1752   Function call interrupts
TLB:       2947       3336       3716       3601       3961       4462   TLB shootdowns
TRM:          0          0          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0          0          0   Threshold APIC interrupts
MCE:          0          0          0          0          0          0   Machine check exceptions
MCP:         51         51         51         51         51         51   Machine check polls
THR:          0          0          0          0          0          0   Hypervisor callback interrupts

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dark_Angel   

Dark_Angel
Опубликовано · Жалоба

А какой трафик и какая машина? Ну и перф топ полностью покажите.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

Траффика до 2 гиг.

всмысле 2 на вход 2 на выход.

Входит и выходит :) через один 10-гиг порт со стопкой вланов.

 

 31.46%  [kernel]                   [k] dev_queue_xmit_nit
 31.04%  [kernel]                   [k] __netif_receive_skb_core
  2.78%  [kernel]                   [k] _raw_spin_lock_irqsave
  2.18%  [kernel]                   [k] rb_prev
  1.95%  [kernel]                   [k] ipt_do_table
  0.99%  [kernel]                   [k] clflush_cache_range
  0.75%  [kernel]                   [k] dev_ioctl
  0.75%  [kernel]                   [k] inet_gifconf
  0.74%  [kernel]                   [k] fib_table_lookup
  0.60%  [kernel]                   [k] find_iova
  0.55%  [kernel]                   [k] dma_pte_clear_level
  0.47%  [kernel]                   [k] __alloc_and_insert_iova_range
  0.43%  [kernel]                   [k] __domain_mapping
  0.41%  [kernel]                   [k] memcpy
  0.39%  [kernel]                   [k] _raw_spin_lock
  0.36%  bash                       [.] 0x000000000003c8c5
  0.30%  [kernel]                   [k] kmem_cache_alloc
  0.29%  [kernel]                   [k] copy_user_enhanced_fast_string
  0.29%  [kernel]                   [k] check_leaf
  0.28%  [kernel]                   [k] memset
  0.27%  [kernel]                   [k] ip_finish_output
  0.26%  [kernel]                   [k] _raw_spin_unlock_irqrestore
  0.26%  [kernel]                   [k] ixgbe_fetch_rx_buffer
  0.24%  libnetsnmp.so.20.0.0       [.] netsnmp_compare_netsnmp_index
  0.24%  [kernel]                   [k] nf_iterate
  0.23%  [kernel]                   [k] kmem_cache_free
  0.23%  [kernel]                   [k] __sk_run_filter
  0.21%  libc-2.12.so               [.] _int_malloc
  0.19%  [kernel]                   [k] page_fault
  0.18%  libc-2.12.so               [.] __strcmp_sse42
  0.18%  libperl.so                 [.] Perl_yyparse
  0.17%  libnetsnmp.so.20.0.0       [.] snmp_oid_compare
  0.17%  [kernel]                   [k] ixgbe_tx_map
  0.17%  [kernel]                   [k] vlan_do_receive
  0.17%  [kernel]                   [k] inet6_fill_ifaddr
  0.17%  libperl.so                 [.] Perl_yylex
  0.17%  [kernel]                   [k] ixgbe_clean_rx_irq
  0.16%  libc-2.12.so               [.] memcpy
  0.15%  [kernel]                   [k] __nla_reserve
  0.15%  [kernel]                   [k] flush_unmaps
  0.14%  [kernel]                   [k] strcpy
  0.13%  [kernel]                   [k] __dev_queue_xmit
  0.13%  [kernel]                   [k] pfn_to_dma_pte
  0.13%  [kernel]                   [k] get_counters
  0.12%  [kernel]                   [k] find_first_bit
  0.12%  [kernel]                   [k] iova_get_pad_size
  0.11%  [kernel]                   [k] __local_bh_enable_ip
  0.11%  [kernel]                   [k] ip_rcv_finish
  0.11%  [kernel]                   [k] ixgbe_xmit_frame_ring
  0.11%  [kernel]                   [k] ip_rcv
  0.11%  [kernel]                   [k] inet_dump_ifaddr
  0.11%  [kernel]                   [k] ip_forward
  0.11%  [kernel]                   [k] __switch_to

Ядер всего 6.

 

cat /proc/cpuinfo 
processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model		: 62
model name	: Intel(R) Xeon(R) CPU E5-1650 v2 @ 3.50GHz
stepping	: 4
microcode	: 0x415
cpu MHz		: 3599.941
cache size	: 12288 KB
physical id	: 0
siblings	: 6
core id		: 0
cpu cores	: 6
apicid		: 0
initial apicid	: 0
fpu		: yes
fpu_exception	: yes
cpuid level	: 13
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm ida arat epb xsaveopt pln pts dtherm tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms
bogomips	: 6999.67
clflush size	: 64
cache_alignment	: 64
address sizes	: 46 bits physical, 48 bits virtual
power management:

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

telecom   

telecom
Опубликовано · Жалоба

Разумно было бы повесить IR-PCI-MSI-edge eth4-TxRx-5 на последнее, 5 (считая с 0) ядро,

однако там у Вас непонятная нагрузка, причем, под 100%:

 

Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle

Average: 5 35.54 0.00 64.46 0.00 0.00 0.00 0.00 0.00 0.00

 

Что к этому ядру прибито???

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

telecom

На последнем ядре tasksetom прибиты юзерские процессы.

потому так и сделано.

То что там 100% - вобщем-то нормально и на роутинг влиять не должно

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dark_Angel   

Dark_Angel
Опубликовано · Жалоба

У меня нет вариантов что это. Выглядит как будто неудачный апдейт ядра. Все процессы в топе перфа, кроме 5-ой позиции - это процессы внутри ядра. Надо смотреть исходники, чтобы понять что это.

 

А сколько правил iptables и что они делают?

 

2Г трафика для такого тазика - это вообще на один зуб. Таким можно и 12-15Г обмолотить.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

telecom   

telecom
Опубликовано · Жалоба

telecom

На последнем ядре tasksetom прибиты юзерские процессы.

потому так и сделано.

То что там 100% - вобщем-то нормально и на роутинг влиять не должно

Как по мне, так больше 50% не нормально. Что там за процессы? Можно их остановить на время???

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

telecom   

telecom
Опубликовано · Жалоба

У меня нет вариантов что это. Выглядит как будто неудачный апдейт ядра. Все процессы в топе перфа, кроме 5-ой позиции - это процессы внутри ядра. Надо смотреть исходники, чтобы понять что это.

 

Так как это центос 6, это легко посмотреть, а именно дату создания файла /boot/initramfs-.....

Если примерно совпадает со временем появления проблем, то да, неудачный апдейт ядра.

 

Вообще, я не верю, что "больше вроде бы никто ничего не менял"....

 

2Г трафика для такого тазика - это вообще на один зуб. Таким можно и 12-15Г обмолотить.

+1

 

В догонку.

Я не очень хорошо отношусь к ядру 3.16

На мой взгляд, если хочется свеженького, так уж 3.17

А так 3.14 вполне стабильное ядро.

Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

pppoetest   

pppoetest
Опубликовано · Жалоба

Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25

Если не жалко можете дать пощупать конфиг от 3.14.25?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

g3fox   

g3fox
Опубликовано · Жалоба

Лишнее ничего не могли прибить на последнее ядро? Откуда там столько sys?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25

Если не жалко можете дать пощупать конфиг от 3.14.25?

Да мне тоже интересно.

 

 

Я обновил ядро и драйвер сетевки ночью - пока смотрю что получилось.

 

Вообще, я не верю, что "больше вроде бы никто ничего не менял"....

Я тоже не верю в чудеса ) потому - пробую найти что помненялось.

 

Кроме всего прочего - там есть proxy_arp и bgp full view - маршрутов много.

Это не должно вроде ни на что влиять но все же

 

 

кстати ixgbe без шаманства под 3.17 не собирается

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Abram   

Abram
Опубликовано · Жалоба

кстати ixgbe без шаманства под 3.17 не собирается

У последнего igb пришлось править Makefile под 3.16. То же самое?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

sirmax   

sirmax
Опубликовано · Жалоба

кстати ixgbe без шаманства под 3.17 не собирается

У последнего igb пришлось править Makefile под 3.16. То же самое?

нет

diff ixgbe_ethtool.c.back ixgbe_ethtool.c
2884c2884,2885
< 		hlist_add_after(parent, &input->fdir_node);
---
> 		  hlist_add_behind(&input->fdir_node, parent);

Но решение я нагуглил

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Подписчики 0
Перейти к списку тем Программное обеспечение, биллинг и *unix системы