Jump to content
Калькуляторы

Linux softrouter, Intel 82576 не пропускает более 800 мбит\с

Доброго времени суток.

Столкнулись с проблемой на софтроутере под linux, не можем прокачать канал оператора выше 800 мбит\с на гигабитном линке.

 

На оператора включена Intel E1G42ETBLK (82576), в сеть к клиентам Intel E1G44ET2 (82576) 4х гигабитным lacp транком.

Два Intel Xeon E5649 (6 ядер, 2.53 ГГц) c 4 ГБ DDR3-1333 на каждом процессоре.

Задачи - маршрутизация (2 BGP сессии с операторами, 2 bgp сессии с шлюзами доступа) и шейпирование (tc htb + ifb для нарезки исходящего трафика, тарифы 10-60 мбит).

 

Симптомы такие: входящая скорость на интерфейсе останавливается на 800-820 мегабит\с, при этом у абонентов начинает проседать скорость. С двух операторов параллельно в ЧНН входящего 1.3-1.5 Гбит\с

Еще смущает тот факт, что проблемы начались со сменой оператора, на предыдущем на той же самой сетевой карте прокачивалось 950 мбит\с.

Провайдер клянется и божится, что у него все прекрасно, но мы в Казахстане, тут все возможно =)

 

Подскажите пожалуйста, что может быть не так в шлюзе?

 

Из оптимизаций раскиданы прерывания по ядрам, тюнинг sysctl, txqueue 10000, хеш-фильтры в шейпере.

Что пробовал делать:

- увеличил Ring RX\TX с 256 до 2048 - ничего не изменилось, но оставил

- отключал tso gro gso - ничего не изменилось, вернул обратно

- ethtool -A ethX rx off tx off - ничего не изменилось, но оставил

- отключил зеркалирование в ifb на шейпере, ничего не изменилось

По советам из других тем добавил в grub

intel_idle.max_cstate=0 processor.max_cstate=1 idle=halt

- ничего не изменилось.

 

eth2, eth3 - к операторам

eth6-eth9 - 4 * 1Gb lacp trunk

 

 

# uptime 
18:07:46 up 4 days, 16:11,  1 user,  load average: 0,62, 0,37, 0,32

# uname -a
Linux fw-border 3.2.0-4-amd64 #1 SMP Debian 3.2.60-1+deb7u3 x86_64 GNU/Linux

# birdc -v
0001 BIRD 1.2.5 ready.

 

dmesg

[    3.595301] igb: Intel(R) Gigabit Ethernet Network Driver - version 5.0.5-k
[    3.595303] igb: Copyright (c) 2007-2013 Intel Corporation.
[    3.595381] igb 0000:08:00.0: setting latency timer to 64
[    3.789075] igb 0000:08:00.0: Intel(R) Gigabit Ethernet Network Connection
[    3.789078] igb 0000:08:00.0: eth0: (PCIe:2.5Gb/s:Width x4) 00:25:90:80:ca:34
[    3.789081] igb 0000:08:00.0: eth0: PBA No: Unknown
[    3.789083] igb 0000:08:00.0: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    3.789127] igb 0000:08:00.1: setting latency timer to 64
[    3.978696] igb 0000:08:00.1: Intel(R) Gigabit Ethernet Network Connection
[    3.978698] igb 0000:08:00.1: eth1: (PCIe:2.5Gb/s:Width x4) 00:25:90:80:ca:35
[    3.978701] igb 0000:08:00.1: eth1: PBA No: Unknown
[    3.978703] igb 0000:08:00.1: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    3.978742] igb 0000:07:00.0: setting latency timer to 64
[    4.170626] igb 0000:07:00.0: Intel(R) Gigabit Ethernet Network Connection
[    4.170629] igb 0000:07:00.0: eth2: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:2b:25:f2
[    4.170632] igb 0000:07:00.0: eth2: PBA No: Unknown
[    4.170634] igb 0000:07:00.0: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    4.170666] igb 0000:07:00.1: setting latency timer to 64
[    4.362558] igb 0000:07:00.1: Intel(R) Gigabit Ethernet Network Connection
[    4.362561] igb 0000:07:00.1: eth3: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:2b:25:f3
[    4.362564] igb 0000:07:00.1: eth3: PBA No: Unknown
[    4.362566] igb 0000:07:00.1: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    4.362600] igb 0000:06:00.0: setting latency timer to 64
[    4.554475] igb 0000:06:00.0: Intel(R) Gigabit Ethernet Network Connection
[    4.554478] igb 0000:06:00.0: eth4: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:2b:28:12
[    4.554481] igb 0000:06:00.0: eth4: PBA No: Unknown
[    4.554483] igb 0000:06:00.0: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    4.554517] igb 0000:06:00.1: setting latency timer to 64
[    4.746387] igb 0000:06:00.1: Intel(R) Gigabit Ethernet Network Connection
[    4.746390] igb 0000:06:00.1: eth5: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:2b:28:13
[    4.746393] igb 0000:06:00.1: eth5: PBA No: Unknown
[    4.746395] igb 0000:06:00.1: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    4.746434] igb 0000:05:00.0: setting latency timer to 64
[    4.970313] igb 0000:05:00.0: Intel(R) Gigabit Ethernet Network Connection
[    4.970315] igb 0000:05:00.0: eth6: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:10:ad:f0
[    4.970319] igb 0000:05:00.0: eth6: PBA No: Unknown
[    4.970321] igb 0000:05:00.0: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    4.970357] igb 0000:05:00.1: setting latency timer to 64
[    5.194279] igb 0000:05:00.1: Intel(R) Gigabit Ethernet Network Connection
[    5.194283] igb 0000:05:00.1: eth7: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:10:ad:f1
[    5.194286] igb 0000:05:00.1: eth7: PBA No: Unknown
[    5.194289] igb 0000:05:00.1: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    5.194342] igb 0000:04:00.0: setting latency timer to 64
[    5.418127] igb 0000:04:00.0: Intel(R) Gigabit Ethernet Network Connection
[    5.418130] igb 0000:04:00.0: eth8: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:10:ad:f2
[    5.418134] igb 0000:04:00.0: eth8: PBA No: Unknown
[    5.418135] igb 0000:04:00.0: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[    5.418173] igb 0000:04:00.1: setting latency timer to 64
[    5.642080] igb 0000:04:00.1: Intel(R) Gigabit Ethernet Network Connection
[    5.642084] igb 0000:04:00.1: eth9: (PCIe:2.5Gb/s:Width x4) 90:e2:ba:10:ad:f3
[    5.642088] igb 0000:04:00.1: eth9: PBA No: Unknown
[    5.642091] igb 0000:04:00.1: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)
[   13.673566] igb: eth2 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
[   14.001390] igb: eth3 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
[   14.117327] igb: eth4 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
[   14.169337] igb: eth6 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   14.373225] igb: eth7 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   14.473173] igb: eth8 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   14.649084] igb: eth9 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   15.548580] igb: eth0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   17.395547] igb: eth6 NIC Link is Down
[   17.395679] igb: eth7 NIC Link is Down
[   17.403857] igb: eth8 NIC Link is Down
[   17.403988] igb: eth9 NIC Link is Down
[   19.570883] igb: eth8 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   19.599057] igb: eth9 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   19.614580] igb: eth7 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   19.702915] igb: eth6 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX

 

interrupts

           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       CPU8       CPU9       CPU10      CPU11      CPU12      CPU13      CPU14      CPU15      CPU16      CPU17      CPU18      CPU19      CPU20      CPU21      CPU22      CPU23      
  0:       1380          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-edge      timer
  1:          9          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-edge      i8042
  8:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-edge      rtc0
  9:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-fasteoi   acpi
 12:        147          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-edge      i8042
 66:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0
 67:      10566          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   35408999          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-0
 68:       4839          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   18851965          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-1
 69:       1410          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   21164917          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-2
 70:       8677          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   27393705          0          0          0          0   PCI-MSI-edge      eth0-TxRx-3
 71:        295          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   36462141          0          0          0   PCI-MSI-edge      eth0-TxRx-4
 72:        340          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   13488366          0          0   PCI-MSI-edge      eth0-TxRx-5
 73:        275          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   14316273          0   PCI-MSI-edge      eth0-TxRx-6
 74:       5310          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   19812604   PCI-MSI-edge      eth0-TxRx-7
 75:    5255610          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ahci
 85:          4          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2
 86: 1569769973          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-0
 87:       4869 1547887069          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-1
 88:     237409          0 2226014414          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-2
 89:        197          0          0 1557838923          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-3
 90:        198          0          0          0 1573733604          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-4
 91:        196          0          0          0          0 1570457581          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-5
 92:        214          0          0          0          0          0 1579729275          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-6
 93:       5073          0          0          0          0          0          0 1571290241          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-7
 94:          6          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3
 95: 1318649548          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-0
 96:        132 1337669638          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-1
 97:        137          0 2493905593          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-2
 98:        128          0          0 1336838314          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-3
 99:        128          0          0          0 1340198113          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-4
100:        128          0          0          0          0 1337395531          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-5
101:        129          0          0          0          0          0 1331452945          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-6
102:        140          0          0          0          0          0          0 1338904688          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-7
112:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4
113:        132          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  205200839          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-0
114:        136          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  181226251          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-1
115:        132          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  391882552          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-2
116:        128          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  181422108          0          0          0          0   PCI-MSI-edge      eth4-TxRx-3
117:        128          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  161823562          0          0          0   PCI-MSI-edge      eth4-TxRx-4
118:        132          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  153156865          0          0   PCI-MSI-edge      eth4-TxRx-5
119:        132          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  180627753          0   PCI-MSI-edge      eth4-TxRx-6
120:        128          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  180011586   PCI-MSI-edge      eth4-TxRx-7
121:         10          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6
122:       8729          0          0          0          0          0          0          0 1249835136          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-0
123:       8629          0          0          0          0          0          0          0          0 1260989370          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-1
124:       8429          0          0          0          0          0          0          0          0          0 1368070010          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-2
125:       8777          0          0          0          0          0          0          0          0          0          0 1265164549          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-3
126:       8854          0          0          0          0          0          0          0          0          0          0          0 1245167830          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-4
127:       9066          0          0          0          0          0          0          0          0          0          0          0          0 1248483817          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-5
128:       9295          0          0          0          0          0          0          0          0          0          0          0          0          0 1230190258          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-6
129:       8926          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1266818882          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-7
130:          8          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7
131:       7782          0          0          0          0          0          0          0 1301567245          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-0
132:       7506          0          0          0          0          0          0          0          0 1292762572          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-1
133:       7174          0          0          0          0          0          0          0          0          0 1388030161          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-2
134:       7338          0          0          0          0          0          0          0          0          0          0 1300001647          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-3
135:       7310          0          0          0          0          0          0          0          0          0          0          0 1281674146          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-4
136:       7549          0          0          0          0          0          0          0          0          0          0          0          0 1282619450          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-5
137:       7826          0          0          0          0          0          0          0          0          0          0          0          0          0 1302043343          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-6
138:       7722          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1295501264          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-7
139:          8          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8
140:       9933          0          0          0          0          0          0          0 1287814277          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-0
141:       9424          0          0          0          0          0          0          0          0 1281947303          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-1
142:       9708          0          0          0          0          0          0          0          0          0 1370711052          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-2
143:       9611          0          0          0          0          0          0          0          0          0          0 1271940130          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-3
144:       9937          0          0          0          0          0          0          0          0          0          0          0 1283434355          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-4
145:       9896          0          0          0          0          0          0          0          0          0          0          0          0 1289800698          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-5
146:       9902          0          0          0          0          0          0          0          0          0          0          0          0          0 1288456066          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-6
147:       9936          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1294029648          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-7
148:          8          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9
149:       8047          0          0          0          0          0          0          0 1232647472          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-0
150:       7449          0          0          0          0          0          0          0          0 1219531233          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-1
151:       7700          0          0          0          0          0          0          0          0          0 1339293869          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-2
152:       7313          0          0          0          0          0          0          0          0          0          0 1242445019          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-3
153:       7305          0          0          0          0          0          0          0          0          0          0          0 1217836903          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-4
154:       7315          0          0          0          0          0          0          0          0          0          0          0          0 1210394916          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-5
155:       7268          0          0          0          0          0          0          0          0          0          0          0          0          0 1224552229          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-6
156:       7506          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1213476140          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-7
157:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
158:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
159:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
160:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
161:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
162:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
163:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
164:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
NMI:      57055      54864      62419      54658      47564      45976      52312      53265      39949      42958      40546      39815      48751      47640      50033      47353       5429       3943       5659      10227       4935       4599       4131       4339   Non-maskable interrupts
LOC: 1957293487 1931101506 1912346187 1937426928 1956967732 1954790850 1937555905 1944368687  515832170  510870004  520737817  513639205  521483716  518594647  527188030  521255540  143113018  129274402  119855136  143056098  119949249  100065330  110988478  118952608   Local timer interrupts
SPU:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Spurious interrupts
PMI:      57055      54864      62419      54658      47564      45976      52312      53265      39949      42958      40546      39815      48751      47640      50033      47353       5429       3943       5659      10227       4935       4599       4131       4339   Performance monitoring interrupts
IWI:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IRQ work interrupts
RES:   12379198   19550051   20622739   84104863   19121194   15102855   10733448   17089390   20075354   75897354   15991735   15560384    1402344    2971557    1546689    1810386    2853646    3321307    2258055   28381847    2413205    4310197    2390487    2557065   Rescheduling interrupts
CAL:        457        675        692        690        692        681     263278        679        688        690        644        689        675        672        682        682        683        680        669        599        671        662        683        664   Function call interrupts
TLB:     160080      89699     201978     182326     201925     150642     144460     145871     208062     184442     197530     157837      38995     783330     169575     108389      90221      88055      78006     745248     218092     178879     118593      87618   TLB shootdowns
TRM:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Threshold APIC interrupts
MCE:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Machine check exceptions
MCP:       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341       1341   Machine check polls
ERR:          0
MIS:          0

 

mpstat

Linux 3.2.0-4-amd64 (fw-border) 	13.10.2015 	_x86_64_	(24 CPU)

18:01:48     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:49     all    0,08    0,08    0,08    0,00    0,00    9,20    0,00    0,00   90,55
18:01:49       0    0,00    0,00    0,00    0,00    0,00   19,00    0,00    0,00   81,00
18:01:49       1    0,00    0,00    0,00    0,00    0,00   19,59    0,00    0,00   80,41
18:01:49       2    0,00    2,00    0,00    0,00    0,00   20,00    0,00    0,00   78,00
18:01:49       3    0,00    0,00    1,03    0,00    0,00   18,56    0,00    0,00   80,41
18:01:49       4    0,00    0,00    0,00    0,00    0,00   10,42    0,00    0,00   89,58
18:01:49       5    1,06    0,00    0,00    0,00    0,00   12,77    0,00    0,00   86,17
18:01:49       6    0,00    0,00    1,00    0,00    0,00   20,00    0,00    0,00   79,00
18:01:49       7    0,00    0,00    0,00    0,00    0,00   19,80    0,00    0,00   80,20
18:01:49       8    0,00    0,00    0,00    0,00    0,00    9,18    0,00    0,00   90,82
18:01:49       9    0,00    0,00    0,00    0,00    0,00    8,25    0,00    0,00   91,75
18:01:49      10    0,00    0,00    0,00    0,00    0,00    7,14    0,00    0,00   92,86
18:01:49      11    0,00    0,00    0,00    0,00    0,00   12,00    0,00    0,00   88,00
18:01:49      12    0,00    0,00    0,00    0,00    0,00   11,11    0,00    0,00   88,89
18:01:49      13    0,00    0,00    0,00    0,00    0,00   10,20    0,00    0,00   89,80
18:01:49      14    0,00    0,00    0,00    0,00    0,00   15,84    0,00    0,00   84,16
18:01:49      15    0,00    0,00    0,00    0,00    0,00    8,25    0,00    0,00   91,75
18:01:49      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:49      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:49      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:49      19    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:49      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:49      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:49      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:49      23    0,99    0,00    0,00    0,00    0,00    0,00    0,00    0,00   99,01

18:01:49     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:50     all    0,00    0,00    0,08    0,00    0,04    9,24    0,00    0,00   90,63
18:01:50       0    0,00    0,00    0,00    0,00    0,00   17,35    0,00    0,00   82,65
18:01:50       1    0,00    0,00    0,00    0,00    0,00   20,41    0,00    0,00   79,59
18:01:50       2    0,00    0,00    0,00    0,00    0,00   15,46    0,00    0,00   84,54
18:01:50       3    0,00    0,00    0,00    0,00    0,00   20,62    0,00    0,00   79,38
18:01:50       4    0,00    0,00    0,00    0,00    0,00   13,40    0,00    0,00   86,60
18:01:50       5    0,00    0,00    0,00    0,00    0,00   16,33    0,00    0,00   83,67
18:01:50       6    0,00    0,00    0,00    0,00    0,00   14,29    0,00    0,00   85,71
18:01:50       7    0,00    0,00    0,00    0,00    0,00   19,00    0,00    0,00   81,00
18:01:50       8    0,00    0,00    0,00    0,00    0,00    9,09    0,00    0,00   90,91
18:01:50       9    0,00    0,00    0,00    0,00    0,00   10,20    0,00    0,00   89,80
18:01:50      10    0,00    0,00    1,00    0,00    0,00   10,00    0,00    0,00   89,00
18:01:50      11    0,00    0,00    0,00    0,00    0,00    9,18    0,00    0,00   90,82
18:01:50      12    0,00    0,00    0,00    0,00    0,00   14,56    0,00    0,00   85,44
18:01:50      13    0,00    0,00    0,00    0,00    0,00   11,11    0,00    0,00   88,89
18:01:50      14    0,00    0,00    0,00    0,00    0,00   11,22    0,00    0,00   88,78
18:01:50      15    0,00    0,00    0,00    0,00    0,00   12,00    0,00    0,00   88,00
18:01:50      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:50      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:50      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:50      19    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:50      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:50      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:50      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:50      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

18:01:50     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:51     all    0,00    0,00    0,04    0,00    0,00    9,26    0,00    0,00   90,69
18:01:51       0    0,00    0,00    0,00    0,00    0,00   14,43    0,00    0,00   85,57
18:01:51       1    0,00    0,00    0,00    0,00    0,00   21,65    0,00    0,00   78,35
18:01:51       2    0,00    0,00    0,00    0,00    0,00   23,53    0,00    0,00   76,47
18:01:51       3    0,00    0,00    0,00    0,00    0,00   16,67    0,00    0,00   83,33
18:01:51       4    0,00    0,00    0,00    0,00    0,00   14,43    0,00    0,00   85,57
18:01:51       5    0,00    0,00    1,01    0,00    0,00   15,15    0,00    0,00   83,84
18:01:51       6    0,00    0,00    1,03    0,00    0,00   16,49    0,00    0,00   82,47
18:01:51       7    0,00    0,00    0,00    0,00    0,00   12,90    0,00    0,00   87,10
18:01:51       8    0,00    0,00    0,00    0,00    0,00    7,07    0,00    0,00   92,93
18:01:51       9    0,00    0,00    0,00    0,00    0,00   13,00    0,00    0,00   87,00
18:01:51      10    0,00    0,00    0,00    0,00    0,00   12,87    0,00    0,00   87,13
18:01:51      11    0,00    0,00    0,00    0,00    0,00    9,18    0,00    0,00   90,82
18:01:51      12    0,00    0,00    0,00    0,00    0,00   10,00    0,00    0,00   90,00
18:01:51      13    0,00    0,00    0,00    0,00    0,00   10,89    0,00    0,00   89,11
18:01:51      14    0,00    0,00    0,00    0,00    0,00   13,13    0,00    0,00   86,87
18:01:51      15    0,00    0,00    0,00    0,00    0,00   12,00    0,00    0,00   88,00
18:01:51      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:51      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:51      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:51      19    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:51      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:51      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:51      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:51      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

18:01:51     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:52     all    0,04    0,00    0,04    0,08    0,00    9,94    0,00    0,00   89,89
18:01:52       0    0,00    0,00    0,00    2,04    0,00   18,37    0,00    0,00   79,59
18:01:52       1    0,00    0,00    0,00    0,00    0,00   20,83    0,00    0,00   79,17
18:01:52       2    0,00    0,00    0,99    0,00    0,00   18,81    0,00    0,00   80,20
18:01:52       3    0,00    0,00    0,00    0,00    0,00   19,39    0,00    0,00   80,61
18:01:52       4    0,00    0,00    0,00    0,00    0,00   16,67    0,00    0,00   83,33
18:01:52       5    0,00    0,00    0,00    0,00    0,00   19,80    0,00    0,00   80,20
18:01:52       6    0,00    0,00    0,00    0,00    0,00   16,84    0,00    0,00   83,16
18:01:52       7    0,00    0,00    0,00    0,00    0,00   15,62    0,00    0,00   84,38
18:01:52       8    0,00    0,00    0,00    0,00    0,00   10,00    0,00    0,00   90,00
18:01:52       9    0,00    0,00    0,00    0,00    0,00    9,38    0,00    0,00   90,62
18:01:52      10    0,00    0,00    0,97    0,00    0,00   12,62    0,00    0,00   86,41
18:01:52      11    0,98    0,00    0,00    0,00    0,00   11,76    0,00    0,00   87,25
18:01:52      12    0,00    0,00    0,00    0,00    0,00   12,12    0,00    0,00   87,88
18:01:52      13    0,00    0,00    0,00    0,00    0,00   12,00    0,00    0,00   88,00
18:01:52      14    0,00    0,00    0,00    0,00    0,00   14,85    0,00    0,00   85,15
18:01:52      15    0,00    0,00    0,00    0,00    0,00    9,28    0,00    0,00   90,72
18:01:52      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:52      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:52      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:52      19    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:52      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:52      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:52      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:52      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

18:01:52     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:53     all    0,08    0,00    0,17    0,00    0,04   11,08    0,00    0,00   88,63
18:01:53       0    0,00    0,00    0,00    0,00    1,03   18,56    0,00    0,00   80,41
18:01:53       1    0,00    0,00    0,00    0,00    0,00   21,65    0,00    0,00   78,35
18:01:53       2    0,00    0,00    1,02    0,00    0,00   20,41    0,00    0,00   78,57
18:01:53       3    0,00    0,00    0,00    0,00    0,00   21,21    0,00    0,00   78,79
18:01:53       4    0,00    0,00    0,00    0,00    0,00   21,00    0,00    0,00   79,00
18:01:53       5    1,02    0,00    0,00    0,00    0,00   18,37    0,00    0,00   80,61
18:01:53       6    0,00    0,00    1,00    0,00    0,00   26,00    0,00    0,00   73,00
18:01:53       7    0,00    0,00    2,02    0,00    0,00   18,18    0,00    0,00   79,80
18:01:53       8    0,00    0,00    0,00    0,00    0,00    9,18    0,00    0,00   90,82
18:01:53       9    0,00    0,00    0,00    0,00    0,00   14,71    0,00    0,00   85,29
18:01:53      10    0,00    0,00    0,00    0,00    0,00   11,88    0,00    0,00   88,12
18:01:53      11    0,99    0,00    0,00    0,00    0,00   10,89    0,00    0,00   88,12
18:01:53      12    0,00    0,00    0,00    0,00    0,00   14,56    0,00    0,00   85,44
18:01:53      13    0,00    0,00    0,00    0,00    0,00   11,34    0,00    0,00   88,66
18:01:53      14    0,00    0,00    0,00    0,00    0,00   16,67    0,00    0,00   83,33
18:01:53      15    0,00    0,00    0,00    0,00    0,00   13,73    0,00    0,00   86,27
18:01:53      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:53      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:53      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:53      19    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:53      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:53      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:53      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:53      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

18:01:53     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:54     all    0,08    0,00    0,17    0,00    0,04    9,74    0,00    0,00   89,97
18:01:54       0    0,00    0,00    0,00    0,00    0,00   20,20    0,00    0,00   79,80
18:01:54       1    0,00    0,00    0,99    0,00    0,00   18,81    0,00    0,00   80,20
18:01:54       2    0,00    0,00    0,00    0,00    1,03   17,53    0,00    0,00   81,44
18:01:54       3    0,00    0,00    0,00    0,00    0,00   22,45    0,00    0,00   77,55
18:01:54       4    0,00    0,00    1,01    0,00    0,00   17,17    0,00    0,00   81,82
18:01:54       5    0,00    0,00    0,00    0,00    0,00   16,16    0,00    0,00   83,84
18:01:54       6    0,00    0,00    1,05    0,00    0,00   18,95    0,00    0,00   80,00
18:01:54       7    0,00    0,00    0,00    0,00    0,00   12,37    0,00    0,00   87,63
18:01:54       8    1,03    0,00    0,00    0,00    0,00    6,19    0,00    0,00   92,78
18:01:54       9    0,00    0,00    0,00    0,00    0,00   12,87    0,00    0,00   87,13
18:01:54      10    0,00    0,00    0,00    0,00    0,00    7,22    0,00    0,00   92,78
18:01:54      11    0,00    0,00    0,00    0,00    0,00   10,00    0,00    0,00   90,00
18:01:54      12    0,00    0,00    0,00    0,00    0,00   11,22    0,00    0,00   88,78
18:01:54      13    0,00    0,00    0,00    0,00    0,00   13,73    0,00    0,00   86,27
18:01:54      14    0,00    0,00    0,00    0,00    0,00   15,31    0,00    0,00   84,69
18:01:54      15    0,00    0,00    0,00    0,00    0,00   11,76    0,00    0,00   88,24
18:01:54      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:54      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:54      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:54      19    1,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00   99,00
18:01:54      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:54      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:54      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:54      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

18:01:54     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:55     all    0,00    0,00    0,08    0,00    0,00   10,04    0,00    0,00   89,87
18:01:55       0    0,00    0,00    0,00    0,00    0,00   20,41    0,00    0,00   79,59
18:01:55       1    0,00    0,00    0,00    0,00    0,00   22,55    0,00    0,00   77,45
18:01:55       2    0,00    0,00    0,00    0,00    0,00   17,39    0,00    0,00   82,61
18:01:55       3    0,00    0,00    0,00    0,00    0,00   23,00    0,00    0,00   77,00
18:01:55       4    0,00    0,00    0,00    0,00    0,00   17,35    0,00    0,00   82,65
18:01:55       5    0,00    0,00    0,00    0,00    0,00   16,49    0,00    0,00   83,51
18:01:55       6    0,00    0,00    0,00    0,00    0,00   22,00    0,00    0,00   78,00
18:01:55       7    0,00    0,00    0,00    0,00    0,00   15,79    0,00    0,00   84,21
18:01:55       8    0,00    0,00    0,00    0,00    0,00    9,90    0,00    0,00   90,10
18:01:55       9    0,00    0,00    0,00    0,00    0,00   10,20    0,00    0,00   89,80
18:01:55      10    0,00    0,00    0,00    0,00    0,00    6,25    0,00    0,00   93,75
18:01:55      11    0,00    0,00    0,00    0,00    0,00   11,88    0,00    0,00   88,12
18:01:55      12    0,00    0,00    0,00    0,00    0,00   13,00    0,00    0,00   87,00
18:01:55      13    0,00    0,00    0,00    0,00    0,00    9,18    0,00    0,00   90,82
18:01:55      14    0,00    0,00    0,00    0,00    0,00   17,00    0,00    0,00   83,00
18:01:55      15    0,00    0,00    0,00    0,00    0,00   10,20    0,00    0,00   89,80
18:01:55      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:55      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:55      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:55      19    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:55      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:55      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:55      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:55      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

18:01:55     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:56     all    0,64    0,00    0,47    0,51    0,00    9,41    0,00    0,00   88,97
18:01:56       0    0,00    0,00    0,00   11,34    0,00   19,59    0,00    0,00   69,07
18:01:56       1    0,00    0,00    0,00    0,00    0,00   16,84    0,00    0,00   83,16
18:01:56       2    0,97    0,00    0,97    0,00    0,00   25,24    0,00    0,00   72,82
18:01:56       3    2,13    0,00    0,00    0,00    0,00   15,96    0,00    0,00   81,91
18:01:56       4    0,00    0,00    1,04    0,00    0,00   13,54    0,00    0,00   85,42
18:01:56       5    0,00    0,00    1,04    0,00    0,00   16,67    0,00    0,00   82,29
18:01:56       6    0,00    0,00    1,03    0,00    0,00   18,56    0,00    0,00   80,41
18:01:56       7    0,00    0,00    0,00    0,00    0,00   18,37    0,00    0,00   81,63
18:01:56       8    1,02    0,00    0,00    0,00    0,00    7,14    0,00    0,00   91,84
18:01:56       9    0,00    0,00    1,01    0,00    0,00   12,12    0,00    0,00   86,87
18:01:56      10    0,00    0,00    0,00    0,00    0,00    7,37    0,00    0,00   92,63
18:01:56      11    0,00    0,00    0,00    0,00    0,00   10,20    0,00    0,00   89,80
18:01:56      12    0,00    0,00    0,00    0,00    0,00   11,22    0,00    0,00   88,78
18:01:56      13    5,10    0,00    1,02    0,00    0,00   10,20    0,00    0,00   83,67
18:01:56      14    2,04    0,00    2,04    0,00    0,00   14,29    0,00    0,00   81,63
18:01:56      15    0,00    0,00    0,00    0,00    0,00   10,31    0,00    0,00   89,69
18:01:56      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:56      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:56      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:56      19    2,02    0,00    3,03    0,00    0,00    0,00    0,00    0,00   94,95
18:01:56      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:56      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:56      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:56      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

18:01:56     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:57     all    0,38    0,00    0,42    0,59    0,00    9,98    0,00    0,00   88,63
18:01:57       0    0,00    0,00    0,00   10,53    0,00   17,89    0,00    0,00   71,58
18:01:57       1    1,05    0,00    1,05    4,21    0,00   16,84    0,00    0,00   76,84
18:01:57       2    0,00    0,00    0,00    0,00    0,00   21,65    0,00    0,00   78,35
18:01:57       3    0,00    0,00    1,02    0,00    0,00   19,39    0,00    0,00   79,59
18:01:57       4    0,00    0,00    0,00    0,00    0,00   21,00    0,00    0,00   79,00
18:01:57       5    0,00    0,00    1,02    0,00    0,00   15,31    0,00    0,00   83,67
18:01:57       6    0,00    0,00    1,00    0,00    0,00   22,00    0,00    0,00   77,00
18:01:57       7    0,00    0,00    0,00    0,00    0,00   14,58    0,00    0,00   85,42
18:01:57       8    0,00    0,00    1,02    0,00    0,00    9,18    0,00    0,00   89,80
18:01:57       9    0,96    0,00    0,00    0,00    0,00   14,42    0,00    0,00   84,62
18:01:57      10    0,00    0,00    0,00    0,00    0,00   10,00    0,00    0,00   90,00
18:01:57      11    0,00    0,00    0,00    0,00    0,00    7,29    0,00    0,00   92,71
18:01:57      12    0,00    0,00    0,00    0,00    0,00   11,11    0,00    0,00   88,89
18:01:57      13    1,01    0,00    1,01    0,00    0,00   10,10    0,00    0,00   87,88
18:01:57      14    0,99    0,00    2,97    0,00    0,00   16,83    0,00    0,00   79,21
18:01:57      15    0,00    0,00    0,98    0,00    0,00   11,76    0,00    0,00   87,25
18:01:57      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:57      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:57      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:57      19    6,00    0,00    2,00    0,00    0,00    0,00    0,00    0,00   92,00
18:01:57      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:57      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:57      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:57      23    0,00    0,00    0,99    0,00    0,00    0,00    0,00    0,00   99,01

18:01:57     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
18:01:58     all    0,08    0,00    0,13    0,00    0,04    9,67    0,00    0,00   90,08
18:01:58       0    0,00    0,00    0,00    0,00    0,00   19,39    0,00    0,00   80,61
18:01:58       1    0,00    0,00    0,00    0,00    1,02   18,37    0,00    0,00   80,61
18:01:58       2    0,00    0,00    1,04    0,00    0,00   18,75    0,00    0,00   80,21
18:01:58       3    0,00    0,00    0,97    0,00    0,00   23,30    0,00    0,00   75,73
18:01:58       4    1,03    0,00    0,00    0,00    0,00   14,43    0,00    0,00   84,54
18:01:58       5    0,00    0,00    0,00    0,00    0,00   20,41    0,00    0,00   79,59
18:01:58       6    0,00    0,00    1,03    0,00    0,00   18,56    0,00    0,00   80,41
18:01:58       7    0,00    0,00    0,00    0,00    0,00   13,68    0,00    0,00   86,32
18:01:58       8    1,02    0,00    0,00    0,00    0,00    8,16    0,00    0,00   90,82
18:01:58       9    0,00    0,00    0,00    0,00    0,00    8,33    0,00    0,00   91,67
18:01:58      10    0,00    0,00    0,00    0,00    0,00    8,33    0,00    0,00   91,67
18:01:58      11    0,00    0,00    0,00    0,00    0,00   10,10    0,00    0,00   89,90
18:01:58      12    0,00    0,00    0,00    0,00    0,00   12,87    0,00    0,00   87,13
18:01:58      13    0,00    0,00    0,00    0,00    0,00   12,24    0,00    0,00   87,76
18:01:58      14    0,00    0,00    0,00    0,00    0,00   16,83    0,00    0,00   83,17
18:01:58      15    0,00    0,00    0,00    0,00    0,00   10,10    0,00    0,00   89,90
18:01:58      16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:58      17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:58      18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:58      19    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:58      20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:58      21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:58      22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
18:01:58      23    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00

Среднее:  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Среднее:  all    0,14    0,01    0,17    0,12    0,02    9,76    0,00    0,00   89,79
Среднее:    0    0,00    0,00    0,00    2,35    0,10   18,53    0,00    0,00   79,02
Среднее:    1    0,10    0,00    0,20    0,41    0,10   19,77    0,00    0,00   79,41
Среднее:    2    0,10    0,20    0,41    0,00    0,10   19,94    0,00    0,00   79,25
Среднее:    3    0,20    0,00    0,31    0,00    0,00   20,10    0,00    0,00   79,39
Среднее:    4    0,10    0,00    0,20    0,00    0,00   15,98    0,00    0,00   83,71
Среднее:    5    0,20    0,00    0,31    0,00    0,00   16,77    0,00    0,00   82,72
Среднее:    6    0,00    0,00    0,72    0,00    0,00   19,44    0,00    0,00   79,84
Среднее:    7    0,00    0,00    0,21    0,00    0,00   16,08    0,00    0,00   83,71
Среднее:    8    0,30    0,00    0,10    0,00    0,00    8,52    0,00    0,00   91,08
Среднее:    9    0,10    0,00    0,10    0,00    0,00   11,40    0,00    0,00   88,40
Среднее:   10    0,00    0,00    0,20    0,00    0,00    9,42    0,00    0,00   90,37
Среднее:   11    0,20    0,00    0,00    0,00    0,00   10,27    0,00    0,00   89,53
Среднее:   12    0,00    0,00    0,00    0,00    0,00   12,20    0,00    0,00   87,80
Среднее:   13    0,61    0,00    0,20    0,00    0,00   11,11    0,00    0,00   88,08
Среднее:   14    0,30    0,00    0,50    0,00    0,00   15,22    0,00    0,00   83,98
Среднее:   15    0,00    0,00    0,10    0,00    0,00   10,97    0,00    0,00   88,93
Среднее:   16    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
Среднее:   17    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
Среднее:   18    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
Среднее:   19    0,91    0,00    0,51    0,00    0,00    0,00    0,00    0,00   98,59
Среднее:   20    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
Среднее:   21    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
Среднее:   22    0,00    0,00    0,00    0,00    0,00    0,00    0,00    0,00  100,00
Среднее:   23    0,10    0,00    0,10    0,00    0,00    0,00    0,00    0,00   99,80

 

 

cpuinfo

processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model		: 44
model name	: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz
stepping	: 2
microcode	: 0x15
cpu MHz		: 1600.000
cache size	: 12288 KB
physical id	: 0
siblings	: 12
core id		: 0
cpu cores	: 6
apicid		: 0
initial apicid	: 0
fpu		: yes
fpu_exception	: yes
cpuid level	: 11
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt lahf_lm ida arat epb dtherm tpr_shadow vnmi flexpriority ept vpid
bogomips	: 5066.25
clflush size	: 64
cache_alignment	: 64
address sizes	: 40 bits physical, 48 bits virtual
power management:

processor	: 1
vendor_id	: GenuineIntel
cpu family	: 6
model		: 44
model name	: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz
stepping	: 2
microcode	: 0x15
cpu MHz		: 1600.000
cache size	: 12288 KB
physical id	: 0
siblings	: 12
core id		: 1
cpu cores	: 6
apicid		: 2
initial apicid	: 2
fpu		: yes
fpu_exception	: yes
cpuid level	: 11
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt lahf_lm ida arat epb dtherm tpr_shadow vnmi flexpriority ept vpid
bogomips	: 5066.51
clflush size	: 64
cache_alignment	: 64
address sizes	: 40 bits physical, 48 bits virtual
power management:
....
....
....
processor	: 22
vendor_id	: GenuineIntel
cpu family	: 6
model		: 44
model name	: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz
stepping	: 2
microcode	: 0x15
cpu MHz		: 1600.000
cache size	: 12288 KB
physical id	: 1
siblings	: 12
core id		: 9
cpu cores	: 6
apicid		: 51
initial apicid	: 51
fpu		: yes
fpu_exception	: yes
cpuid level	: 11
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt lahf_lm ida arat epb dtherm tpr_shadow vnmi flexpriority ept vpid
bogomips	: 5066.55
clflush size	: 64
cache_alignment	: 64
address sizes	: 40 bits physical, 48 bits virtual
power management:

processor	: 23
vendor_id	: GenuineIntel
cpu family	: 6
model		: 44
model name	: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz
stepping	: 2
microcode	: 0x15
cpu MHz		: 1600.000
cache size	: 12288 KB
physical id	: 1
siblings	: 12
core id		: 10
cpu cores	: 6
apicid		: 53
initial apicid	: 53
fpu		: yes
fpu_exception	: yes
cpuid level	: 11
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt lahf_lm ida arat epb dtherm tpr_shadow vnmi flexpriority ept vpid
bogomips	: 5066.55
clflush size	: 64
cache_alignment	: 64
address sizes	: 40 bits physical, 48 bits virtual
power management:

 

meminfo

MemTotal:        8189032 kB
MemFree:         5969776 kB
Buffers:          168208 kB
Cached:           727996 kB
SwapCached:            0 kB
Active:           803976 kB
Inactive:         413096 kB
Active(anon):     321132 kB
Inactive(anon):     1472 kB
Active(file):     482844 kB
Inactive(file):   411624 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:       2097148 kB
SwapFree:        2097148 kB
Dirty:                48 kB
Writeback:             0 kB
AnonPages:        320896 kB
Mapped:            15344 kB
Shmem:              1716 kB
Slab:             513352 kB
SReclaimable:      91836 kB
SUnreclaim:       421516 kB
KernelStack:        2552 kB
PageTables:         3432 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     6191664 kB
Committed_AS:     601920 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      309320 kB
VmallocChunk:   34355230132 kB
HardwareCorrupted:     0 kB
AnonHugePages:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:      105728 kB
DirectMap2M:     4079616 kB
DirectMap1G:     4194304 kB

Share this post


Link to post
Share on other sites

- отключал tso gro gso - ничего не изменилось, вернул обратно

- ethtool -A ethX rx off tx off - ничего не изменилось, но оставил

 

1. У вас слишком много ядер. Серьёзно. Это числогрыз а вам нуже число-пересыл.

Современного i3 вполне бы хватило.

 

2. tso, lro, gso - опции которые просто необходимы серверам которые раздают свой контент, например файлы по хттп.

Роутерам оно вредно, потому что они должны перекладывать только пакеты, а тут сетевуха навязывает доп обработку.

 

3. rxcsum/txcsum - это проверка контрольных сумм IP заголовков, это в любом случае нужно, и если сетевуха этого не делает то будет делать ОС.

 

4. Вроде этих опций было чуть больше.

Ещё можно посмотреть на флоу контрол и ошибки на портах коммутатора и сетевух.

Share this post


Link to post
Share on other sites

- отключал tso gro gso - ничего не изменилось, вернул обратно

- ethtool -A ethX rx off tx off - ничего не изменилось, но оставил

 

1. У вас слишком много ядер. Серьёзно. Это числогрыз а вам нуже число-пересыл.

Современного i3 вполне бы хватило.

 

2. tso, lro, gso - опции которые просто необходимы серверам которые раздают свой контент, например файлы по хттп.

Роутерам оно вредно, потому что они должны перекладывать только пакеты, а тут сетевуха навязывает доп обработку.

 

3. rxcsum/txcsum - это проверка контрольных сумм IP заголовков, это в любом случае нужно, и если сетевуха этого не делает то будет делать ОС.

 

4. Вроде этих опций было чуть больше.

Ещё можно посмотреть на флоу контрол и ошибки на портах коммутатора и сетевух.

 

1. Конфигурацию считал c учетом "а вдруг будет нужно добавить 10G порт, а он не прожует". Можно по идее отключить hyperthreading, будет 12 реальных ядер.

Роутеру станет легче?

 

2. т.е. лучше выключить насовсем на всех интерфейсах?

 

3. я так понял, ethtool -A управляет flowcontrol на интерфейсе

Изначально работало вот так:

Oct 12 13:09:52 fw-border kernel: [299459.962995] igb 0000:07:00.1: eth3: Reset adapter
Oct 12 13:09:56 fw-border kernel: [299463.337794] igb: eth3 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
Oct 12 18:29:46 fw-border kernel: [318644.175096] igb 0000:07:00.0: eth2: Reset adapter
Oct 12 18:29:48 fw-border kernel: [318647.094219] igb: eth2 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX

После ethtool -A

Oct 12 18:41:00 fw-border kernel: [319318.493112] igb: eth3 NIC Link is Down
Oct 12 18:41:00 fw-border kernel: [319318.636118] igb 0000:07:00.1: eth3: Reset adapter
Oct 12 18:41:03 fw-border kernel: [319321.288153] igb: eth3 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None

 

4. netstat -i

Iface   MTU Met   RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
bond0      1500 0  26550293651      3  62690 4043   33098994849      0      0      0 BMmRU
eth0       1500 0  135495197      0      0 0      177106285      0      0      0 BMRU
eth2       1500 0  20848773856      0      0 1703   9687403718      0      0      0 BMRU
eth3       1500 0  9995341834     20      0 23     14258545589      0      0      0 BMRU
eth4       1500 0  1095208130      0      0 0      1126482923      0      0      0 BMRU
eth6       1500 0  6346259032      1      8 1768   8316293549      0      0      0 BMsRU
eth7       1500 0  7265399252      0     10 1565   8223102216      0      0      0 BMsRU
eth8       1500 0  6924741375      0      8 331    8282323510      0      0      0 BMsRU
eth9       1500 0  6013893936      2     11 379    8277275510      0      0      0 BMsRU
ifb0       1500 0  8021337064      0      0 0      8021337064      0      0      0 BORU
ifb5       1500 0   5821436      0      0 0       5821436      0      0      0 BORU
lo        16436 0  740686884      0      0 0      740686884      0      0      0 LRU

 

 

Частоту cpu поднимите на максимум

Меня вот тоже смущает вывод cpuinfo

vendor_id       : GenuineIntel
cpu family      : 6
model           : 44
model name      : Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz
stepping        : 2
microcode       : 0x15
cpu MHz         : 1600.000

В груб добавлены параметры для ядра

intel_idle.max_cstate=0 processor.max_cstate=1 idle=halt

Как принудительно заставить процессоры работать на номинальной частоте?

Share this post


Link to post
Share on other sites

к такому дорогому серверу купите 1 карту 10G intel X520

Share this post


Link to post
Share on other sites
1. Конфигурацию считал c учетом "а вдруг будет нужно добавить 10G порт, а он не прожует". Можно по идее отключить hyperthreading, будет 12 реальных ядер. Роутеру станет легче?

Может и легче.

Но это всё равно числогрыз. Гонять данные между двумя процами - дорогое удовольствие. А при роутинге на процах данные практически не жуются а только пересылаются. Вот если бы ты собирался шифровать чем то отличным от AES или сжимать то было бы ок, потому что обработки нужно много и она бы выходила сильно дороже пересылки.

Для 10G хватило бы и i5, главное частота по выше.

 

2. т.е. лучше выключить насовсем на всех интерфейсах?

Если ваш тазик не раздаёт файлы а только роутит, то лучше выключить.

Эти фишки нужны чтобы разгружать tcp, типа сразу собрать готовый блок данных и отдать ядру, или ядро просто говорит: вот тебе 64кб их надо заслать на этот ip+mac и всё, дальше сетевуха сама.

Когда у тебя роутинг тебе tcp нахрен не сдался разгребать, ядро туда даже не смотрит, а если оно включено то будет лишний разбор-сбор пакетов.

 

3. я так понял, ethtool -A управляет flowcontrol на интерфейсе

Видимо да, я больше по BSD :)

Share this post


Link to post
Share on other sites

echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

и так на все ядра

проще так сразу на все ядра echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor >/dev/null

Share this post


Link to post
Share on other sites

echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

и так на все ядра

проще так сразу на все ядра echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor >/dev/null

 

processor       : 23
vendor_id       : GenuineIntel
cpu family      : 6
model           : 44
model name      : Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz
stepping        : 2
microcode       : 0x15
cpu MHz         : 2534.000
cache size      : 12288 KB

Заработало на номинале

 

У дебиана даже нашлась утилита для этой задачи: https://wiki.debian.org/HowTo/CpuFrequencyScaling

Edited by Mallorn

Share this post


Link to post
Share on other sites

echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

и так на все ядра

проще так сразу на все ядра echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor >/dev/null

 

processor       : 23
vendor_id       : GenuineIntel
cpu family      : 6
model           : 44
model name      : Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz
stepping        : 2
microcode       : 0x15
cpu MHz         : 2534.000
cache size      : 12288 KB

Заработало на номинале

 

У дебиана даже нашлась утилита для этой задачи: https://wiki.debian.org/HowTo/CpuFrequencyScaling

проблема-то решилась?

Share this post


Link to post
Share on other sites

На оператора включена Intel E1G42ETBLK (82576), в сеть к клиентам Intel E1G44ET2 (82576) 4х гигабитным lacp транком.

Два Intel Xeon E5649 (6 ядер, 2.53 ГГц) c 4 ГБ DDR3-1333 на каждом процессоре.

Задачи - маршрутизация (2 BGP сессии с операторами, 2 bgp сессии с шлюзами доступа) и шейпирование (tc htb + ifb для нарезки исходящего трафика, тарифы 10-60 мбит).

 

Симптомы такие: входящая скорость на интерфейсе останавливается на 800-820 мегабит\с, при этом у абонентов начинает проседать скорость. С двух операторов параллельно в ЧНН входящего 1.3-1.5 Гбит\с

Еще смущает тот факт, что проблемы начались со сменой оператора, на предыдущем на той же самой сетевой карте прокачивалось 950 мбит\с.

 

На графиках пакетной скорости (pps) суммарно или отдельно по сетевым картам видна ли полка?

 

Аплинк на проблемного оператора можно для проверки заменить на свой писюк (заведомо проверив, что он отдает 1G).

Share this post


Link to post
Share on other sites

проблема-то решилась?

Нет, без изменений

 

На оператора включена Intel E1G42ETBLK (82576), в сеть к клиентам Intel E1G44ET2 (82576) 4х гигабитным lacp транком.

Два Intel Xeon E5649 (6 ядер, 2.53 ГГц) c 4 ГБ DDR3-1333 на каждом процессоре.

Задачи - маршрутизация (2 BGP сессии с операторами, 2 bgp сессии с шлюзами доступа) и шейпирование (tc htb + ifb для нарезки исходящего трафика, тарифы 10-60 мбит).

 

Симптомы такие: входящая скорость на интерфейсе останавливается на 800-820 мегабит\с, при этом у абонентов начинает проседать скорость. С двух операторов параллельно в ЧНН входящего 1.3-1.5 Гбит\с

Еще смущает тот факт, что проблемы начались со сменой оператора, на предыдущем на той же самой сетевой карте прокачивалось 950 мбит\с.

 

На графиках пакетной скорости (pps) суммарно или отдельно по сетевым картам видна ли полка?

 

Аплинк на проблемного оператора можно для проверки заменить на свой писюк (заведомо проверив, что он отдает 1G).

Отключали аплинк от нагрузки, пробовали iperf узла оператора с моего шлюза, потом с отдельного ноутбука. Видели 950 мбит\с и 920-930 мбит\с в случае с ноутбуками на виндовс.

 

Графики по пакетной нагрузки, субботний час пик. eth2 - проблемный аплинк, eth3 - второй аплинк, bond0 - к абонентам.

 

7261362b1af3972be85054aa5535d06e.png

 

a3cdb77f41d6b49afea9020d81b62ee9.png

 

9516e1967c5939cfbe7d987130d85000.png

 

Решили попробовать линк на 10GE транспорте, есть подозрение на пограничный свитч оператора, Eltex MES3124f. Коллеги соседнего оператора в городе говорят, что прогружают 1.8 Гбит\с с этого же аплинка на 10G порту.

Share this post


Link to post
Share on other sites

Может просто на свитче буферной памяти мало вот и дропаются пакеты. Тестирование скорости с одного компьютера может дать другие результаты - так как другой характер трафика.

Share this post


Link to post
Share on other sites

Кстати, на втором аплинке (eth3) явно полочка по пакетам.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this