Перейти к содержимому
Калькуляторы

Неоправданно большая нагрузка по system interrupts на мощный софт роутер Буду благодарен за помощь

HT не влияет на такие задачи. Все же рекомендую попробовать 32бит-ядро.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

32bit это потери на блокировках для обеспечения atomic операций на 64-битных счетчиках

Не говоря о том, что это надо весь userspace переустанавливать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

HT не влияет на такие задачи.

48 очередей на 6 реальных ядер тож поди никак не влияют?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так отключать HT или нет? :) Я видел ровно 50 на 50 - кто-то рекомендует вырубить, кто-то наоборот - включить. У кого-то есть опыт с тестами?

 

Но я все же грешу на 3 full view, ведь это по логике вещей реально очень тяжелая операция без TCAM....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

HT не влияет на такие задачи.

48 очередей на 6 реальных ядер тож поди никак не влияют?

на каждый интерфейс столько очередей сколько ядер. на каждое ядро столько очередей приходится сколько интерфейсов. это нормально.

 

root@sh1:~# cat /proc/interrupts 
           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       CPU8       CPU9       CPU10      CPU11      CPU12      CPU13      CPU14      CPU15      CPU16      CPU17      CPU18      CPU19      CPU20      CPU21      CPU22      CPU23      CPU24      CPU25      CPU26      CPU27      CPU28      CPU29      CPU30      CPU31                                           
  0:         16          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-edge      timer                  
  8:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-edge      rtc0                   
  9:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-fasteoi   acpi                                               
 16:         74          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-fasteoi   ehci_hcd:usb1                                      
 18:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-fasteoi   i801_smbus                                         
 23:         37          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   IO-APIC-fasteoi   ehci_hcd:usb2                                      
 88:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                           
 89:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                           
 90:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                           
 91:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                           
 92:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                                                                  
 93:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                                                                  
 94:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                                                                  
 95:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                                                                  
 96:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      PCIe PME                                                                                  
 97:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0                                                                                      
 98:    2460565          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-0                                                                               
 99:    1950977          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-1                                                                               
100:    8781452          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-2
101:    1970386          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-3
102:    1903128          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-4
103:    2197432          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-5
104:    1925699          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-6
105:    1956323          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth0-TxRx-7
106:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      isci-msix
107:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      isci-msix
108:    6432543          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ahci
109:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1
110:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-0
111:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-1
112:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-2
113:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-3
114:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-4
115:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-5
116:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-6
117:     259550          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth1-TxRx-7
118: 3428144757          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-0
119:          1 3326008783          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-1
120:          1          0 3231710026          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-2
121:          1          0          0 3245561062          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-3
122:          1          0          0          0 3373857658          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-4
123:          1          0          0          0          0 3299020171          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-5
124:          1          0          0          0          0          0 3276079392          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-6
125:          1          0          0          0          0          0          0 3236267040          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-7
126:          1          0          0          0          0          0          0          0 3193641723          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-8
127:          1          0          0          0          0          0          0          0          0 3285270358          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-9
128:          1          0          0          0          0          0          0          0          0          0 3277278251          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-10
129:          1          0          0          0          0          0          0          0          0          0          0 3183322982          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-11
130:          1          0          0          0          0          0          0          0          0          0          0          0 3359527681          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-12
131:          1          0          0          0          0          0          0          0          0          0          0          0          0 3281507160          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-13
132:          1          0          0          0          0          0          0          0          0          0          0          0          0          0 3186276780          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-14
133:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0 3243803484          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-15
134:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1893135          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-16
135:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1896825          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-17
136:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1933289          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-18
137:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1924680          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-19
138:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1904429          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-20
139:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1923845          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-21
140:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1927542          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-22
141:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1898269          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-23
142:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1887778          0          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-24
143:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1892015          0          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-25
144:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1886144          0          0          0          0          0   PCI-MSI-edge      eth8-TxRx-26
145:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1888334          0          0          0          0   PCI-MSI-edge      eth8-TxRx-27
146:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1886943          0          0          0   PCI-MSI-edge      eth8-TxRx-28
147:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1884373          0          0   PCI-MSI-edge      eth8-TxRx-29
148:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1883666          0   PCI-MSI-edge      eth8-TxRx-30
149:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1883005   PCI-MSI-edge      eth8-TxRx-31
150:    1625149          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth8
151: 2103896675          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-0
152:          1 2101593151          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-1
153:          1          0 2189267784          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-2
154:          1          0          0 2109567328          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-3
155:          1          0          0          0 2087421561          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-4
156:          1          0          0          0          0 2133196137          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-5
157:          1          0          0          0          0          0 2117975371          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-6
158:          1          0          0          0          0          0          0 2079268062          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-7
159:          1          0          0          0          0          0          0          0 2002227814          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-8
160:          1          0          0          0          0          0          0          0          0 1918519798          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-9
161:          1          0          0          0          0          0          0          0          0          0 2023709969          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-10
162:          1          0          0          0          0          0          0          0          0          0          0 2028221440          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-11
163:          1          0          0          0          0          0          0          0          0          0          0          0 1975977309          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-12
164:          1          0          0          0          0          0          0          0          0          0          0          0          0 1958955246          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-13
165:          1          0          0          0          0          0          0          0          0          0          0          0          0          0 2057262420          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-14
166:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2064946626          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-15
167:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1038580          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-16
168:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1041871          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-17
169:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1079456          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-18
170:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1071103          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-19
171:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1049687          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-20
172:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1070269          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-21
173:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1075740          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-22
174:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1044302          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-23
175:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1032521          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-24
176:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1036990          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-25
177:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1031010          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-26
178:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1033599          0          0          0          0   PCI-MSI-edge      eth3-TxRx-27
179:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1032099          0          0          0   PCI-MSI-edge      eth3-TxRx-28
180:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1029508          0          0   PCI-MSI-edge      eth3-TxRx-29
181:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1028530          0   PCI-MSI-edge      eth3-TxRx-30
182:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1028203   PCI-MSI-edge      eth3-TxRx-31
183:     767293          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3
184:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1890188047          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-0
185:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1890194577          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-1
186:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1838777520          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-2
187:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1852157028          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-3
188:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1848815675          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-4
189:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1842684062          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-5
190:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1890013089          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-6
191:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1868005374          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-7
192:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1800970698          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-8
193:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1889508912          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-9
194:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1814896673          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-10
195:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1896649540          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-11
196:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1856545607          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-12
197:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1871360714          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-13
198:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1916465735          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-14
199:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 1824636114          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-15
200:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2186862921          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-16
201:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2263094888          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-17
202:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2236984058          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-18
203:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2220958393          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-19
204:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2174422354          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-20
205:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2178608500          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-21
206:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2282124884          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-22
207:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2164074807          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-23
208:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1030690          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-24
209:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1035337          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-25
210:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1029287          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-26
211:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1031421          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-27
212:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1030235          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-28
213:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1027835          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-29
214:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1026975          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-30
215:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1026620          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-31
216:     765719          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6
217:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2743986595          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-0
218:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2634124427          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-1
219:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2498551645          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-2
220:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2560049757          0          0          0          0   PCI-MSI-edge      eth7-TxRx-3
221:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2595890204          0          0          0   PCI-MSI-edge      eth7-TxRx-4
222:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2469988061          0          0   PCI-MSI-edge      eth7-TxRx-5
223:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2585511763          0   PCI-MSI-edge      eth7-TxRx-6
224:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2626841860   PCI-MSI-edge      eth7-TxRx-7
225:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2770054943          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-8
226:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2758401988          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-9
227:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2806857349          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-10
228:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2764479123          0          0          0          0   PCI-MSI-edge      eth7-TxRx-11
229:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2807895958          0          0          0   PCI-MSI-edge      eth7-TxRx-12
230:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2759658131          0          0   PCI-MSI-edge      eth7-TxRx-13
231:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2690971524          0   PCI-MSI-edge      eth7-TxRx-14
232:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2789602565   PCI-MSI-edge      eth7-TxRx-15
233:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1432370          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-16
234:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1433937          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-17
235:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1472803          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-18
236:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1463574          0          0          0          0   PCI-MSI-edge      eth7-TxRx-19
237:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1443098          0          0          0   PCI-MSI-edge      eth7-TxRx-20
238:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1464432          0          0   PCI-MSI-edge      eth7-TxRx-21
239:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1468801          0   PCI-MSI-edge      eth7-TxRx-22
240:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1438248   PCI-MSI-edge      eth7-TxRx-23
241:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2119776120          0          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-24
242:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2057629464          0          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-25
243:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2092834851          0          0          0          0          0   PCI-MSI-edge      eth7-TxRx-26
244:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2136957925          0          0          0          0   PCI-MSI-edge      eth7-TxRx-27
245:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2149142973          0          0          0   PCI-MSI-edge      eth7-TxRx-28
246:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2136473031          0          0   PCI-MSI-edge      eth7-TxRx-29
247:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2096478038          0   PCI-MSI-edge      eth7-TxRx-30
248:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2093589697   PCI-MSI-edge      eth7-TxRx-31
249:    1166313          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth7
250: 3176261402          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-0
251:          1 3189796545          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-1
252:          1          0 3127451240          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-2
253:          1          0          0 3158577570          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-3
254:          1          0          0          0 3115519133          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-4
255:          1          0          0          0          0 3121280721          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-5
256:          1          0          0          0          0          0 3111069983          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-6
257:          1          0          0          0          0          0          0 3156031700          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-7
258:          1          0          0          0          0          0          0          0 3089334317          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-8
259:          1          0          0          0          0          0          0          0          0 3105651778          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-9
260:          1          0          0          0          0          0          0          0          0          0 3063389305          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-10
261:          1          0          0          0          0          0          0          0          0          0          0 3028237110          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-11
262:          1          0          0          0          0          0          0          0          0          0          0          0 2999367298          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-12
263:          1          0          0          0          0          0          0          0          0          0          0          0          0 3015016360          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-13
264:          1          0          0          0          0          0          0          0          0          0          0          0          0          0 2953841481          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-14
265:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0 3025126372          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-15
266:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1802597          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-16
267:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1806150          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-17
268:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1848238          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-18
269:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1845692          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-19
270:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1816655          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-20
271:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1841838          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-21
272:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1838367          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-22
273:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1816731          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-23
274:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1976645          0          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-24
275:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1967917          0          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-25
276:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1960670          0          0          0          0          0   PCI-MSI-edge      eth10-TxRx-26
277:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1921674          0          0          0          0   PCI-MSI-edge      eth10-TxRx-27
278:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1969624          0          0          0   PCI-MSI-edge      eth10-TxRx-28
279:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    2001830          0          0   PCI-MSI-edge      eth10-TxRx-29
280:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1936036          0   PCI-MSI-edge      eth10-TxRx-30
281:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1977004   PCI-MSI-edge      eth10-TxRx-31
282:    1526084          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth10
283: 2148392351          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-0
284:          1 2107018909          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-1
285:          1          0 2106344816          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-2
286:          1          0          0 2132706389          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-3
287:          1          0          0          0 2037565291          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-4
288:          1          0          0          0          0 2127783828          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-5
289:          1          0          0          0          0          0 2115943890          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-6
290:          1          0          0          0          0          0          0 2126412780          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-7
291:          1          0          0          0          0          0          0          0 2046601593          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-8
292:          1          0          0          0          0          0          0          0          0 2104836327          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-9
293:          1          0          0          0          0          0          0          0          0          0 2111621015          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-10
294:          1          0          0          0          0          0          0          0          0          0          0 2101060815          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-11
295:          1          0          0          0          0          0          0          0          0          0          0          0 2070393411          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-12
296:          1          0          0          0          0          0          0          0          0          0          0          0          0 1969111296          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-13
297:          1          0          0          0          0          0          0          0          0          0          0          0          0          0 2016184011          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-14
298:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0 2009390611          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-15
299:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1011784          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-16
300:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1014879          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-17
301:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1053230          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-18
302:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1045001          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-19
303:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1023343          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-20
304:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1043839          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-21
305:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1049396          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-22
306:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1017505          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-23
307:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1006307          0          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-24
308:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1010722          0          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-25
309:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1004659          0          0          0          0          0   PCI-MSI-edge      eth9-TxRx-26
310:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1006670          0          0          0          0   PCI-MSI-edge      eth9-TxRx-27
311:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1005190          0          0          0   PCI-MSI-edge      eth9-TxRx-28
312:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1002756          0          0   PCI-MSI-edge      eth9-TxRx-29
313:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1002180          0   PCI-MSI-edge      eth9-TxRx-30
314:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0    1001343   PCI-MSI-edge      eth9-TxRx-31
315:     740489          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth9
316:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
317:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
318:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
319:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
320:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
321:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
322:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
323:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
324:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
325:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
326:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
327:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
328:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
329:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
330:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
331:          0     246722          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      ioat-msix
NMI:     431942     430773     431217     432651     430803     428455     430226     430290     444737     446168     444515     444941     444719     440997     443340     443330     250996     272192     250487     268467     251763     251453     252943     250724     285382     288150     285964     288134     284377     284455     285004     284858   Non-maskable interrupts
LOC:  222345212  224830090  224066367  250925338  228946813  228355338  226868016  252113671  274432700  274638554  275961941  274389205  251395547  248177835  249413684  274038080  260650909  226431298  268871708  229136997  262348474  263053246  263660056  261479140  178405700  151655106  171367887  141982618  178924519  173604862  169304552  178864883   Local timer interrupts
SPU:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Spurious interrupts
PMI:     431942     430773     431217     432651     430803     428455     430226     430290     444737     446168     444515     444941     444719     440997     443340     443330     250996     272192     250487     268467     251763     251453     252943     250724     285382     288150     285964     288134     284377     284455     285004     284858   Performance monitoring interrupts
IWI:     163370      85208      59553      20614      12529       9600       8341       6866       6430       5261      26027      30654      18434      10562       7580       6235      33643     102018      29802      13948      11863       9516       7188       8010       8678      46352      33971      17648      17713      11774       8484       7068   IRQ work interrupts
RTR:         31          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   APIC ICR read retries
RES:     561500    1263892    1938952    1672485    1314007    1104741     968751     792313     191445     181321     268919     586876     310060     272325     224111     188069     174502     692592     390079     287560     295408     196710     194720     205831     125762     651560     404779     269635     239109     138448     284305     230640   Rescheduling interrupts
CAL:       1926       2063       2081       2056       2043       2075       2079       2065      61135      60708      71242      73858      73526      65937      63001      56893       2048       1841       1950       2034       2037       2025       2050       2056      29281     123228      16275      20442      16426      17264      22240      23919   Function call interrupts
TLB:       7118       5944      16343       7754       6235       6164       4879       3517       1988       1434      16682       9855       6359       6232       6274       4520      17425     167181      38948      34100      38752      39214      32942      24907      11244     212057      44282      37124      35402      33848      25460      18032   TLB shootdowns
TRM:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Threshold APIC interrupts
MCE:          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   Machine check exceptions
MCP:       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732       1732   Machine check polls
ERR:          0
MIS:          0


.......

processor       : 31
vendor_id       : GenuineIntel
cpu family      : 6
model           : 45
model name      : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
stepping        : 7
microcode       : 0x70b
cpu MHz         : 2990.000
cache size      : 20480 KB
physical id     : 1
siblings        : 16
core id         : 7
cpu cores       : 8
apicid          : 47
initial apicid  : 47
fdiv_bug        : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx lahf_lm ida arat epb xsaveopt pln pts dtherm tpr_shadow vnmi flexpriority ept vpid
bogomips        : 5188.06
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И чего в этом нормального?

От того что вы 6 ядер обозвали 12-ю и наплодили очередей, ядер больше не стало, зато стало больше накладных расходов на обслуживание всего этого счастья.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну больше расходов - возможно, но 30% si - это ад кромешный :(((( Хотя стоить заметить, что даже при всплесках до 1-2 Mpps роутер переживал без пакетлосса. Такое ощущение, что зависимость от неагрузки вовсе не линейная, что радует. Но не понимание откуда вообще эта нагрузка - вовсе не радует.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А всяческое IOMMU и прочие VT-D в биосе отключены?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И чего в этом нормального?

От того что вы 6 ядер обозвали 12-ю и наплодили очередей, ядер больше не стало, зато стало больше накладных расходов на обслуживание всего этого счастья.

реальный эксперимент, который мы делали 2 года с вами не согласится. разницы почти нет и даже без HT казалось немного больше нагрузка по прерываниям была - точных цифр не скажу.

http://forum.nag.ru/forum/index.php?showtopic=81814&st=0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы же сами там писали - "ht отключен". А если нет разницы - зачем его включать? :)

Единственное упоминание в той теме про включенный HT - в посте про необъяснимый рост нагрузки при ~1M записей в контреке....

 

И да...почитал, вспомнил о чём речь. Вы стандартную систему с FASTROUTE-то не сравнивайте...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А всяческое IOMMU и прочие VT-D в биосе отключены?

 

Угу, точно.

post-103613-034344700 1417010218_thumb.jpeg post-103613-076791200 1417010227_thumb.jpg post-103613-072052400 1417010232_thumb.jpg post-103613-053362100 1417010237_thumb.jpg

Изменено пользователем pavel.odintsov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А что там ещё есть в "Processor settings" ниже?

Попробуем посмотреть, но не думаю, что что-то полезное, мы все конфиги прошерстили.

 

Эх, блин, плохая идея была брать Dell под софт-роутер, с Супермикро не было бы этой навязчивкой мании все настраивать хрен знает где.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поставил perf от 3.17го ядра, он выводит число irq в секунду, оно довольно мелкое - 40 000:

 

  PerfTop:   44063 irqs/sec  kernel:99.4%  exact:  0.0% [4000Hz cycles],  (all, 12 CPUs)
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------             

    8.01%  [kernel]       [k] ixgbe_poll                      
    5.77%  [kernel]       [k] irq_entries_start               
    5.17%  [kernel]       [k] ipt_do_table                    
    2.69%  [kernel]       [k] do_raw_spin_lock                
    2.33%  [kernel]       [k] add_interrupt_randomness        
    2.16%  [kernel]       [k] ixgbe_xmit_frame_ring           
    1.79%  [kernel]       [k] nf_iterate                      
    1.73%  [kernel]       [k] ip_route_input_common           
    1.64%  [kernel]       [k] skb_copy_bits                   
    1.51%  [kernel]       [k] native_read_tsc                 
    1.47%  [kernel]       [k] dev_queue_xmit                  
    1.31%  [kernel]       [k] pskb_expand_head                
    1.15%  [kernel]       [k] __copy_skb_header               
    1.14%  [kernel]       [k] __netif_receive_skb             
    1.11%  [kernel]       [k] delay_tsc                       
    1.06%  [kernel]       [k] bond_handle_frame               
    0.97%  [kernel]       [k] dev_hard_start_xmit             
    0.94%  [kernel]       [k] sk_run_filter                   
    0.90%  [kernel]       [k] skb_release_data                
    0.90%  [kernel]       [k] vlan_do_receive                 
    0.82%  [kernel]       [k] net_rx_action                   
    0.81%  [kernel]       [k] __kc_netdev_pick_tx             
    0.77%  [kernel]       [k] __alloc_skb                     
    0.77%  [kernel]       [k] __cache_free.isra.41            
    0.72%  [kernel]       [k] bond_3ad_xmit_xor               
    0.72%  [kernel]       [k] atomic_add_return               
    0.71%  [kernel]       [k] ixgbe_read_reg                  
    0.70%  [kernel]       [k] ____cache_alloc                 
    0.69%  [kernel]       [k] arch_read_lock                  
    0.68%  [kernel]       [k] tick_nohz_stop_sched_tick       
    0.67%  [kernel]       [k] atomic_dec_and_test             
    0.66%  [kernel]       [k] vlan_dev_hard_start_xmit        
    0.64%  [kernel]       [k] ixgbe_msix_clean_rings          
    0.64%  [kernel]       [k] __do_softirq                    
    0.64%  [kernel]       [k] rcu_needs_cpu                   
    0.62%  [kernel]       [k] notrack_tg                      
    0.61%  [kernel]       [k] virt_to_head_page               
    0.61%  [kernel]       [k] dev_gro_receive                 
    0.61%  [kernel]       [k] ip_rcv                          
    0.60%  [kernel]       [k] fib_table_lookup                
    0.60%  [kernel]       [k] ip_finish_output2               
    0.60%  [kernel]       [k] arch_local_irq_restore          
    0.59%  [kernel]       [k] radix_tree_lookup_element       
    0.57%  [kernel]       [k] do_IRQ                          
    0.56%  [kernel]       [k] ip_forward                      


  PerfTop:   44753 irqs/sec  kernel:99.4%  exact:  0.0% [4000Hz cycles],  (all, 12 CPUs)
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------             

    8.02%  [kernel]       [k] ixgbe_poll                      
    5.81%  [kernel]       [k] irq_entries_start               
    5.16%  [kernel]       [k] ipt_do_table                    
    2.70%  [kernel]       [k] do_raw_spin_lock                
    2.35%  [kernel]       [k] add_interrupt_randomness        
    2.15%  [kernel]       [k] ixgbe_xmit_frame_ring           
    1.79%  [kernel]       [k] nf_iterate                      
    1.72%  [kernel]       [k] ip_route_input_common           
    1.65%  [kernel]       [k] skb_copy_bits                   
    1.52%  [kernel]       [k] native_read_tsc                 
    1.45%  [kernel]       [k] dev_queue_xmit                  
    1.30%  [kernel]       [k] pskb_expand_head                
    1.14%  [kernel]       [k] __copy_skb_header               
    1.14%  [kernel]       [k] __netif_receive_skb             
    1.13%  [kernel]       [k] delay_tsc                       
    1.07%  [kernel]       [k] bond_handle_frame               
    0.96%  [kernel]       [k] dev_hard_start_xmit             
    0.94%  [kernel]       [k] sk_run_filter                   
    0.90%  [kernel]       [k] skb_release_data                
    0.90%  [kernel]       [k] vlan_do_receive                 
    0.82%  [kernel]       [k] __kc_netdev_pick_tx             
    0.81%  [kernel]       [k] net_rx_action                   
    0.77%  [kernel]       [k] __alloc_skb                     
    0.76%  [kernel]       [k] __cache_free.isra.41            
    0.72%  [kernel]       [k] atomic_add_return               
    0.72%  [kernel]       [k] bond_3ad_xmit_xor               
    0.70%  [kernel]       [k] ixgbe_read_reg                  
    0.70%  [kernel]       [k] arch_read_lock                  
    0.69%  [kernel]       [k] ____cache_alloc                 
    0.69%  [kernel]       [k] tick_nohz_stop_sched_tick       
    0.68%  [kernel]       [k] atomic_dec_and_test             
    0.66%  [kernel]       [k] vlan_dev_hard_start_xmit        
    0.65%  [kernel]       [k] ixgbe_msix_clean_rings          
    0.65%  [kernel]       [k] rcu_needs_cpu                   
    0.64%  [kernel]       [k] __do_softirq                    
    0.63%  [kernel]       [k] notrack_tg                      
    0.61%  [kernel]       [k] dev_gro_receive                 
    0.61%  [kernel]       [k] virt_to_head_page               
    0.61%  [kernel]       [k] ip_rcv                          
    0.60%  [kernel]       [k] ip_finish_output2               
    0.59%  [kernel]       [k] arch_local_irq_restore          
    0.59%  [kernel]       [k] radix_tree_lookup_element       
    0.59%  [kernel]       [k] fib_table_lookup                
    0.57%  [kernel]       [k] do_IRQ                          
    0.56%  [kernel]       [k] ip_forward                      

 

Так что вариант, что irq забивают проц отметается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А попробуйте hwloc-nox поставить и hwloc-ls посмотреть...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

С другой стороны, всё равно не может оно так сильно влиять...

К примеру:

 

hwloc-ls
Machine (16GB)
 NUMANode L#0 (P#0 7959MB)
   Socket L#0 + L3 L#0 (10MB)
     L2 L#0 (256KB) + L1 L#0 (32KB) + Core L#0 + PU L#0 (P#0)
     L2 L#1 (256KB) + L1 L#1 (32KB) + Core L#1 + PU L#1 (P#1)
     L2 L#2 (256KB) + L1 L#2 (32KB) + Core L#2 + PU L#2 (P#2)
     L2 L#3 (256KB) + L1 L#3 (32KB) + Core L#3 + PU L#3 (P#3)
   HostBridge L#0
     PCIBridge
       PCI 8086:1521
         Net L#0 "eth3"
       PCI 8086:1521
         Net L#1 "eth2"
       PCI 8086:1521
         Net L#2 "eth1"
       PCI 8086:1521
         Net L#3 "eth0"
     PCIBridge
       PCI 8086:1d6b
         Block L#4 "sda"
     PCIBridge
       PCI 102b:0522
     PCI 8086:1d02
 NUMANode L#1 (P#1 8072MB)
   Socket L#1 + L3 L#1 (10MB)
     L2 L#4 (256KB) + L1 L#4 (32KB) + Core L#4 + PU L#4 (P#4)
     L2 L#5 (256KB) + L1 L#5 (32KB) + Core L#5 + PU L#5 (P#5)
     L2 L#6 (256KB) + L1 L#6 (32KB) + Core L#6 + PU L#6 (P#6)
     L2 L#7 (256KB) + L1 L#7 (32KB) + Core L#7 + PU L#7 (P#7)
   HostBridge L#4
     PCIBridge
       PCI 8086:10fb
         Net L#5 "eth4"
       PCI 8086:10fb
         Net L#6 "eth5"

eth0-3 - bond на 4Г,

eth4 - 10G аплинк

eth5 - выключена

 

 

Если прерывания от eth0-3 висят на CPU0-3, а eth4 на CPU4-7 получаю:

1.13%  [ixgbe]                     [k] ixgbe_poll

Если поменять местами т.е. eth0-3 -> CPU4-7, eth4 -> CPU0-3:

1.33%  [ixgbe]                     [k] ixgbe_poll

В целом разница смешная...

 

irqstat (https://github.com/lanceshelton/irqstat) при этом показывает что-то типа

IRQs / 5 second(s)
IRQ#  TOTAL  NODE0   NODE1  NAME
120  49952  49952       0  IR-PCI-MSI-edge eth2-TxRx-5
138  49911  49911       0  IR-PCI-MSI-edge eth1-TxRx-5
147  49877  49877       0  IR-PCI-MSI-edge eth0-TxRx-5
108  49132  49132       0  IR-PCI-MSI-edge eth3-TxRx-5
126  47449      0   47449  IR-PCI-MSI-edge eth4-TxRx-3
124  47006      0   47006  IR-PCI-MSI-edge eth4-TxRx-1
125  46903      0   46903  IR-PCI-MSI-edge eth4-TxRx-2
123  45492      0   45492  IR-PCI-MSI-edge eth4-TxRx-0
127  42352      0   42352  IR-PCI-MSI-edge eth4-TxRx-4
129  41565      0   41565  IR-PCI-MSI-edge eth4-TxRx-6

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

pavel.odintsov

вы мой вариант с intel_idle проверили?

 

Ага, выключили полностью:

 intel_idle.max_cstate=0 processor.max_cstate=1

 

Не помогло :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Igor Diakonov, у нас проц один, так что одна NUMA.

 

 

python irqstat 
interactive commands -- t: view totals, 0-9: view node, any other key: quit

IRQs / 5 second(s)
IRQ#      TOTAL      NODE0  NAME
 45 2959981622 2959981622  IR-PCI-MSI-edge eth0-tx-0
 56 1572482429 1572482429  IR-PCI-MSI-edge eth1-rx-0
 57 1493651721 1493651721  IR-PCI-MSI-edge eth1-tx-0
 16 1283840593 1283840593  IR-IO-APIC-fasteoi ehci_hcd:usb1, aacraid
 44  487526283  487526283  IR-PCI-MSI-edge eth0-rx-0
  0      75455      75455  IR-IO-APIC-edge timer
  1       2089       2089  IR-IO-APIC-edge i8042
 23         63         63  IR-IO-APIC-fasteoi ehci_hcd:usb4
 46          3          3  IR-PCI-MSI-edge eth0
 58          2          2  IR-PCI-MSI-edge eth1

IRQs / 5 second(s)
IRQ#  TOTAL  NODE0  NAME
 56   3267   3267  IR-PCI-MSI-edge eth1-rx-0
 57   3175   3175  IR-PCI-MSI-edge eth1-tx-0
 16   1593   1593  IR-IO-APIC-fasteoi ehci_hcd:usb1, aacraid
 44   1182   1182  IR-PCI-MSI-edge eth0-rx-0
 45    913    913  IR-PCI-MSI-edge eth0-tx-0
 48      0      0  IR-PCI-MSI-edge xhci_hcd
 23      0      0  IR-IO-APIC-fasteoi ehci_hcd:usb4
 46      0      0  IR-PCI-MSI-edge eth0
 47      0      0  IR-PCI-MSI-edge xhci_hcd
 40      0      0  DMAR_MSI-edge dmar0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Логично.

Под вечер чёт из головы вылетел этот момент :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Боюсь с nat+netflow+кучей ipset, bonging'ом, вланами и т.п. не показательно будет, да и железка неоптимизирована. А других софтовых "бордеров" у меня нет, к счастью. Только "наты" с парой маршрутов в таблице.

 

2хE5-2603 по 1.80GHz

2,5Gbps in + 0,7Gbps out ~ 500kpps in+out ~ 45% CPU.

 

 7.21%  [ip_tables]               [k] ipt_do_table
 5.69%  [kernel]                  [k] _raw_spin_lock
 5.25%  [kernel]                  [k] fib_table_lookup
 4.13%  [ipt_NETFLOW]             [k] 0x0000000000003864
 4.01%  [igb]                     [k] igb_poll
 3.02%  [kernel]                  [k] _raw_read_lock
 2.97%  [nf_conntrack]            [k] ____nf_conntrack_find
 2.15%  [ixgbe]                   [k] ixgbe_clean_rx_irq
 2.01%  [igb]                     [k] igb_xmit_frame_ring
 1.70%  [kernel]                  [k] skb_release_head_state
 1.57%  [kernel]                  [k] memcpy
 1.50%  [kernel]                  [k] consume_skb
 1.44%  [kernel]                  [k] nf_iterate
 1.38%  [kernel]                  [k] irq_entries_start
 1.32%  [kernel]                  [k] check_leaf.isra.7
 1.27%  [kernel]                  [k] _raw_spin_lock_bh
 1.18%  [kernel]                  [k] __netif_receive_skb_core
 1.16%  [kernel]                  [k] kmem_cache_free
 1.15%  [kernel]                  [k] put_page
 1.07%  [kernel]                  [k] dev_queue_xmit
 1.05%  [kernel]                  [k] ip_route_input_noref
 1.00%  [ixgbe]                   [k] ixgbe_xmit_frame_ring
 0.98%  [ixgbe]                   [k] ixgbe_poll
 0.98%  [nf_conntrack]            [k] tcp_packet
 0.97%  [kernel]                  [k] dma_issue_pending_all
 0.90%  [kernel]                  [k] add_interrupt_randomness
 0.88%  [bonding]                 [k] bond_handle_frame
 0.87%  bgpd                      [.] 0x000000000006156f
 0.84%  [kernel]                  [k] vlan_do_receive
 0.82%  [kernel]                  [k] kmem_cache_alloc
 0.81%  [nf_conntrack]            [k] nf_conntrack_in
 0.75%  [kernel]                  [k] skb_add_rx_frag
 0.74%  [kernel]                  [k] dev_hard_start_xmit
 0.70%  [kernel]                  [k] local_bh_enable
 0.66%  [kernel]                  [k] ip_finish_output
 0.66%  [kernel]                  [k] memcmp
 0.65%  libc-2.13.so              [.] 0x0000000000078564
 0.62%  [kernel]                  [k] csum_partial
 0.60%  [nf_conntrack]            [k] __nf_conntrack_find_get
 0.60%  [kernel]                  [k] build_skb
 0.58%  [kernel]                  [k] menu_select
 0.58%  [bonding]                 [k] bond_start_xmit
 0.51%  [8021q]                   [k] vlan_dev_hard_start_xmit

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я тут нашел интересную цифру тут, что full view lookup дает максимум несколько процентов оверхеда и его можно списать со счетов. Мы когда делали синтетические тесты, в принципе так и получалось, что разница очень мала full view vs десяток правил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо nuclear cat за идею с отладкой cache miss. Нагрузку снизил вдвое, с 22% до 10%. Починило вот это - полное отключение route кэша:

sysctl -w net.ipv4.rt_cache_rebuild_count=-1

 

Так что те, кто рекомендовал ядра 3.6+ были правы, там выпилен route cache глобально и такой проблемы бы не возникло.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас