[Pedalik]

Всех приветствую!

 

Имеется машинка с установленной FreeBSD 9.1.

Есть два встроенных Гигабита и интеловская плата с 4 Гигабитами.

Подключено 2 lacp линка по 3 гигабита. В один приходит интернет, из другого выходит к абонентам.

Настроен BGP, получает 2 Full-view. От одного провайдера приходит 1 гигабит, от второго - 1,5 гигабита

 

Проблема в том, что по достижении 2 гигабит появляется полка, и далее трафик не растет.

Скорость у абонентов падает, пинг растет.

 

Подскажите, откуда начинать копать? Какие команды помогут понять где в системе происходит затык?

[911]

Подскажите, откуда начинать копать?

начать с того, какой проц, какие сетевухи, что используется (BGP, NAT, shaper, PPPoE)

[vlad11]

LACP с нечетным кол-вом портов - куча проблем. Как на коммутаторах, так и на маршрутизаторе.

[pppoetest]

Не скажите, 3x1GE в ласпе, с одной стороны длинк, с другой циска, полгига мультикаста +/- равномерно размазываются по трём портам, глюков не замечено.

[SyJet]

Не скажите, 3x1GE в ласпе, с одной стороны длинк, с другой циска, полгига мультикаста +/- равномерно размазываются по трём портам, глюков не замечено.

Настройки обоих сторон можно? ))

[Ivan_83]

systat -ifstat 1

в момент когда полка, вывод сюда.

Подозреваю что LACP на балансит ничего, и всё упирается в полку на двух адаптерах.

[pppoetest]

Настройки обоих сторон можно? ))

Обманул, на длинке 4 порта, но шланга в нём нет

dlink

DGS-3620-28TC#show link_aggregation
Command: show link_aggregation

Link Aggregation Algorithm = IP-Source-Dest

Group ID      : 3
Type          : LACP
Master Port   : 21
Member Port   : 21-24
Active Port   : 21-23
Status        : Enabled
Flooding Port : 21
Trap          : Disabled

Total Entries : 1

============================

show lacp_port  21-24
Command: show lacp_port 21-24


Port     Activity   LACP Timeout

-----    --------  -----------
21       Passive     Short
22       Passive     Short
23       Passive     Short
24       Passive     Short

циска

interface GigabitEthernet1/45
switchport trunk encapsulation dot1q
switchport trunk allowed vlan XXXX
switchport mode trunk
channel-protocol lacp
channel-group 12 mode active
!
interface GigabitEthernet1/46
switchport trunk encapsulation dot1q
switchport trunk allowed vlan XXXX
switchport mode trunk
channel-protocol lacp
channel-group 12 mode active
!
interface GigabitEthernet1/47
switchport trunk encapsulation dot1q
switchport trunk allowed vlan XXXX
switchport mode trunk
channel-protocol lacp
channel-group 12 mode active
!

=====================================

ws-c4948-10ge-s#sh etherchannel 12 port-channel
               Port-channels in the group:
               ---------------------------

Port-channel: Po12    (Primary Aggregator)

------------

Age of the Port-channel   = 37d:23h:26m:58s
Logical slot/port   = 11/12          Number of ports = 3
Port state          = Port-channel Ag-Inuse
Protocol            =   LACP
Port security       = Disabled

Ports in the Port-channel:

Index   Load   Port     EC state        No of bits
------+------+------+------------------+-----------
 1     00     Gi1/45   Active             0
 0     00     Gi1/46   Active             0
 2     00     Gi1/47   Active             0

Time since last port bundled:    37d:23h:23m:37s    Gi1/47

===================

ws-c4948-10ge-s#sh int po12
Port-channel12 is up, line protocol is up (connected)
 Hardware is EtherChannel, address is ...
 MTU 1500 bytes, BW 3000000 Kbit, DLY 10 usec,
    reliability 255/255, txload 1/255, rxload 46/255
 Encapsulation ARPA, loopback not set
 Keepalive set (10 sec)
 Full-duplex, 1000Mb/s, media type is N/A
 input flow-control is off, output flow-control is unsupported
 Members in this channel: Gi1/45 Gi1/46 Gi1/47
 ARP type: ARPA, ARP Timeout 04:00:00
 Last input never, output never, output hang never
 Last clearing of "show interface" counters never
 Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 5 minute input rate 549678000 bits/sec, 50447 packets/sec
 5 minute output rate 4538000 bits/sec, 373 packets/sec
    156954580612 packets input, 213859658806111 bytes, 0 no buffer
    Received 156601815946 broadcasts (1982991518 multicasts)
    0 runts, 0 giants, 0 throttles
    0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
    0 input packets with dribble condition detected
    1138490743 packets output, 1692920731822 bytes, 0 underruns
    0 output errors, 0 collisions, 0 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier
    0 output buffer failures, 0 output buffers swapped out

[Pedalik]

Процессор Intel® Xeon® CPU E3-1230 V2 @ 3.30GHz

 

Сетевухи:

ibg0-3 - 82576 Gigabit Network Connection

em1 - 82579LM Gigabit Network Connection

em0 - 82574L Gigabit Network Connection

 

На сервере используется BGB, минимальный ipfw. vpn клиентам на других железках поднимается.

 

Балансируется нормально, графики загрузки портов ведутся на коммутаторах. Около 650 Мбит на всех 3 портах

[Megas]

Карточки авно, у вас одна из карт не имеет очередей.

Какой PPS? на каждом линке, top при пике можете?

[Pedalik]

top -nCHSIzs1
last pid: 30477;  load averages: 13.57, 13.26, 13.30  up 3+02:35:16    14:45:58
193 processes: 22 running, 112 sleeping, 4 stopped, 55 waiting

Mem: 168M Active, 530M Inact, 962M Wired, 415M Buf, 2245M Free
Swap: 4096M Total, 4096M Free


 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  12 root     -92    -     0K  1056K CPU0    5  45.0H 80.96% intr{irq301: em1:rx 0}
   0 root     -92    0     0K   736K CPU6    3  35.5H 67.29% kernel{em0 que}
  12 root     -92    -     0K  1056K WAIT    4 310:08 12.35% intr{irq268: igb0:que}
  12 root     -92    -     0K  1056K RUN     0 392:19 12.26% intr{irq282: igb2:que}
  12 root     -92    -     0K  1056K CPU1    1 287:09 11.38% intr{irq265: igb0:que}
  12 root     -92    -     0K  1056K WAIT    2 377:28 10.89% intr{irq284: igb2:que}
  12 root     -92    -     0K  1056K WAIT    6 291:27 10.89% intr{irq279: igb1:que}
  12 root     -92    -     0K  1056K WAIT    2 294:44 10.79% intr{irq275: igb1:que}
  12 root     -92    -     0K  1056K WAIT    7 375:21 10.69% intr{irq289: igb2:que}
  12 root     -92    -     0K  1056K WAIT    1 365:57 10.60% intr{irq283: igb2:que}
  12 root     -92    -     0K  1056K WAIT    5 365:17 10.60% intr{irq287: igb2:que}
  12 root     -92    -     0K  1056K RUN     5 266:02 10.35% intr{irq296: igb3:que}
  12 root     -92    -     0K  1056K WAIT    4 307:40 10.25% intr{irq277: igb1:que}
  12 root     -92    -     0K  1056K WAIT    7 312:34 10.06% intr{irq271: igb0:que}
  12 root     -92    -     0K  1056K WAIT    4 381:53  9.67% intr{irq286: igb2:que}
  12 root     -92    -     0K  1056K WAIT    3 260:07  9.47% intr{irq294: igb3:que}
  12 root     -92    -     0K  1056K RUN  z   0 289:31  9.38% intr{irq264: igb0:que}
  12 root     -92    -     0K  1056K RUN     6 377:53  9.28% intr{irq288: igb2:que}

 

em1:rx 0 во время полки занимает 100% ядра

 

Я правильно понимаю, что входящая очередь интерфейса em1 занимает 100% прерываний ядра, что и является причиной проблем?

 

Загрузка 70-100 тыс пакетов/сек, при среднем пакете 1кбайт

Edited March 13, 2016 by Pedalik

[uxcr]

Про em1 вам уже сказали

"- Two Queues (Tx & Rx) "

[uxcr]

em0 по спекам тоже какой-то отстой

[GrandPr1de]

ну карточки которые работают на em драйвере никогда не отличались чем-то сверх

igb - наше всё :)

так что начать с того, что бы добавить нормальных сетевух, а то перекос по ядрам и как следствие полка, о чем уже выше сказали

[Ivan_83]

net.isr.dispatch=deferred # direct / hybrid / deffered // Interrupt handling via multiple CPU, but with context switch.

спасёт отца русской демократии!

 

Может ещё

net.inet.ip.fastforwarding=0

поможет.

Применяется на лету, ребут не нужен.

[Pedalik]

Поставили на замену другую машинку.

Процессор Intel® Xeon® CPU E3-1220 V2 @ 3.30GHz

Две четырех портовые сетевухи Intel® Ethernet Server Adapter I350-T4

Получилось два Транка по 4 гигабита.

 

Получилась такая картина:

 

last pid: 52204;  load averages: 24.95, 24.24, 24.04                                                          up 1+15:09:44  21:16:11
213 processes: 31 running, 134 sleeping, 48 waiting
CPU 0:  0.0% user,  0.0% nice,  7.3% system, 92.3% interrupt,  0.4% idle
CPU 1:  0.4% user,  0.0% nice,  2.7% system, 96.9% interrupt,  0.0% idle
CPU 2:  0.4% user,  0.0% nice,  4.2% system, 95.4% interrupt,  0.0% idle
CPU 3:  0.0% user,  0.0% nice,  2.3% system, 97.7% interrupt,  0.0% idle
Mem: 278M Active, 254M Inact, 741M Wired, 40K Cache, 418M Buf, 2611M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
  12 root       -92    -     0K  1152K RUN     3 209:15  16.06% intr{irq277: igb2:que}
  12 root       -92    -     0K  1152K RUN     0  39:24  14.45% intr{irq284: igb4:que}
  12 root       -92    -     0K  1152K RUN     3 263:07  13.96% intr{irq292: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 270:43  13.48% intr{irq301: igb7:que}
  12 root       -92    -     0K  1152K CPU1    1  35:29  13.18% intr{irq285: igb4:que}
  12 root       -92    -     0K  1152K WAIT    0 277:52  12.99% intr{irq299: igb7:que}
  12 root       -92    -     0K  1152K WAIT    0 189:09  12.99% intr{irq294: igb6:que}
  12 root       -92    -     0K  1152K RUN     1 225:10  12.79% intr{irq275: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 194:36  12.79% intr{irq295: igb6:que}
  12 root       -92    -     0K  1152K WAIT    2 213:03  12.70% intr{irq276: igb2:que}
  12 root       -92    -     0K  1152K WAIT    2  37:55  12.70% intr{irq286: igb4:que}
  12 root       -92    -     0K  1152K RUN     3  37:20  12.50% intr{irq287: igb4:que}
  12 root       -92    -     0K  1152K RUN     0 263:59  12.35% intr{irq289: igb5:que}
  12 root       -92    -     0K  1152K RUN     1 213:06  12.35% intr{irq280: igb3:que}
  12 root       -92    -     0K  1152K RUN     1 267:42  12.26% intr{irq300: igb7:que}
  12 root       -92    -     0K  1152K RUN     3  40:04  12.16% intr{irq267: igb0:que}
  12 root       -92    -     0K  1152K WAIT    2 265:11  12.06% intr{irq291: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 197:38  11.96% intr{irq296: igb6:que}
  12 root       -92    -     0K  1152K RUN     3 213:09  11.87% intr{irq282: igb3:que}
  12 root       -92    -     0K  1152K CPU3    3 190:58  11.47% intr{irq297: igb6:que}
  12 root       -92    -     0K  1152K RUN     0 212:26  11.28% intr{irq274: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 264:40  11.18% intr{irq290: igb5:que}
  12 root       -92    -     0K  1152K RUN     3 208:51  11.08% intr{irq272: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2  37:37  10.89% intr{irq266: igb0:que}
  12 root       -92    -     0K  1152K RUN     3 286:04  10.79% intr{irq302: igb7:que}
  12 root       -92    -     0K  1152K WAIT    2 202:12  10.69% intr{irq281: igb3:que}
  12 root       -92    -     0K  1152K WAIT    0  38:49  10.69% intr{irq264: igb0:que}
  12 root       -92    -     0K  1152K RUN     1  39:41  10.50% intr{irq265: igb0:que}
  12 root       -92    -     0K  1152K RUN     1 203:14  10.35% intr{irq270: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2 207:18  10.06% intr{irq271: igb1:que}
  12 root       -92    -     0K  1152K RUN     0 207:50   9.86% intr{irq279: igb3:que}
  12 root       -92    -     0K  1152K RUN     0 206:11   9.86% intr{irq269: igb1:que}
   0 root       -92    0     0K   800K -       0 527:53   8.89% kernel{dummynet}
  12 root       -60    -     0K  1152K RUN     0  46:44   1.66% intr{swi4: clock}
45550 root        52    0 46160K 11200K RUN     2   0:04   0.49% perl
1393 root        20    0   221M   203M select  1   4:47   0.00% bgpd
2284 root        20    0 63288K  9684K select  3   3:32   0.00% snmpd
  14 root       -16    -     0K    16K -       1   2:49   0.00% yarrow
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue0}
2304 root       -16    -     0K    64K RUN     0   1:50   0.00% ng_queue{ng_queue1}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue2}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue3}

 

Прерывания убивают проц.

 

Как в наши дни борятся с подобными явлениями?

[roysbike]

Поставили на замену другую машинку.

Процессор Intel® Xeon® CPU E3-1220 V2 @ 3.30GHz

Две четырех портовые сетевухи Intel® Ethernet Server Adapter I350-T4

Получилось два Транка по 4 гигабита.

 

Получилась такая картина:

 

last pid: 52204;  load averages: 24.95, 24.24, 24.04                                                          up 1+15:09:44  21:16:11
213 processes: 31 running, 134 sleeping, 48 waiting
CPU 0:  0.0% user,  0.0% nice,  7.3% system, 92.3% interrupt,  0.4% idle
CPU 1:  0.4% user,  0.0% nice,  2.7% system, 96.9% interrupt,  0.0% idle
CPU 2:  0.4% user,  0.0% nice,  4.2% system, 95.4% interrupt,  0.0% idle
CPU 3:  0.0% user,  0.0% nice,  2.3% system, 97.7% interrupt,  0.0% idle
Mem: 278M Active, 254M Inact, 741M Wired, 40K Cache, 418M Buf, 2611M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
  12 root       -92    -     0K  1152K RUN     3 209:15  16.06% intr{irq277: igb2:que}
  12 root       -92    -     0K  1152K RUN     0  39:24  14.45% intr{irq284: igb4:que}
  12 root       -92    -     0K  1152K RUN     3 263:07  13.96% intr{irq292: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 270:43  13.48% intr{irq301: igb7:que}
  12 root       -92    -     0K  1152K CPU1    1  35:29  13.18% intr{irq285: igb4:que}
  12 root       -92    -     0K  1152K WAIT    0 277:52  12.99% intr{irq299: igb7:que}
  12 root       -92    -     0K  1152K WAIT    0 189:09  12.99% intr{irq294: igb6:que}
  12 root       -92    -     0K  1152K RUN     1 225:10  12.79% intr{irq275: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 194:36  12.79% intr{irq295: igb6:que}
  12 root       -92    -     0K  1152K WAIT    2 213:03  12.70% intr{irq276: igb2:que}
  12 root       -92    -     0K  1152K WAIT    2  37:55  12.70% intr{irq286: igb4:que}
  12 root       -92    -     0K  1152K RUN     3  37:20  12.50% intr{irq287: igb4:que}
  12 root       -92    -     0K  1152K RUN     0 263:59  12.35% intr{irq289: igb5:que}
  12 root       -92    -     0K  1152K RUN     1 213:06  12.35% intr{irq280: igb3:que}
  12 root       -92    -     0K  1152K RUN     1 267:42  12.26% intr{irq300: igb7:que}
  12 root       -92    -     0K  1152K RUN     3  40:04  12.16% intr{irq267: igb0:que}
  12 root       -92    -     0K  1152K WAIT    2 265:11  12.06% intr{irq291: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 197:38  11.96% intr{irq296: igb6:que}
  12 root       -92    -     0K  1152K RUN     3 213:09  11.87% intr{irq282: igb3:que}
  12 root       -92    -     0K  1152K CPU3    3 190:58  11.47% intr{irq297: igb6:que}
  12 root       -92    -     0K  1152K RUN     0 212:26  11.28% intr{irq274: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 264:40  11.18% intr{irq290: igb5:que}
  12 root       -92    -     0K  1152K RUN     3 208:51  11.08% intr{irq272: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2  37:37  10.89% intr{irq266: igb0:que}
  12 root       -92    -     0K  1152K RUN     3 286:04  10.79% intr{irq302: igb7:que}
  12 root       -92    -     0K  1152K WAIT    2 202:12  10.69% intr{irq281: igb3:que}
  12 root       -92    -     0K  1152K WAIT    0  38:49  10.69% intr{irq264: igb0:que}
  12 root       -92    -     0K  1152K RUN     1  39:41  10.50% intr{irq265: igb0:que}
  12 root       -92    -     0K  1152K RUN     1 203:14  10.35% intr{irq270: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2 207:18  10.06% intr{irq271: igb1:que}
  12 root       -92    -     0K  1152K RUN     0 207:50   9.86% intr{irq279: igb3:que}
  12 root       -92    -     0K  1152K RUN     0 206:11   9.86% intr{irq269: igb1:que}
   0 root       -92    0     0K   800K -       0 527:53   8.89% kernel{dummynet}
  12 root       -60    -     0K  1152K RUN     0  46:44   1.66% intr{swi4: clock}
45550 root        52    0 46160K 11200K RUN     2   0:04   0.49% perl
1393 root        20    0   221M   203M select  1   4:47   0.00% bgpd
2284 root        20    0 63288K  9684K select  3   3:32   0.00% snmpd
  14 root       -16    -     0K    16K -       1   2:49   0.00% yarrow
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue0}
2304 root       -16    -     0K    64K RUN     0   1:50   0.00% ng_queue{ng_queue1}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue2}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue3}

 

Прерывания убивают проц.

 

Как в наши дни борятся с подобными явлениями?

Пусть хоть и кричат, что надо тюнить freebsd и тп и когда я перепргынул за 10 гбит, я перешел на linux. И забыл о проблемах. Там тоже конечно пришлось потюнить, но зато небо и земля.

[uxcr]

Прерывания убивают проц.

 

loader.conf

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.num_queues=8
net.link.ifqmaxlen=10240
net.isr.maxthreads=4

[Ivan_83]

У вас там ипфв+димминет, нетграф.

То что в топе прерывания - это потому что ипфв обрабатывается в их контексте, видимо стоит сисцтл isr=direct или гибрид. Оптимизируйте правила или вообще его не загружайте и станет легче прерываниям.

[vlad11]

Пусть хоть и кричат, что надо тюнить freebsd и тп и когда я перепргынул за 10 гбит, я перешел на linux. И забыл о проблемах. Там тоже конечно пришлось потюнить, но зато небо и земля.

 

Темы с проблемами и оптимизациями Линукса в соседних ветках. :)

[polmax]

Может ещё

net.inet.ip.fastforwarding=0

поможет.

Применяется на лету, ребут не нужен.

В связи с выходом FreeBSD 11 (релиза), возник вопрос, почему из 11 убрали этот параметр?

[Ivan_83]

Сделали включённым по дефолту всегда.

[Pedalik73]

Подниму изначальную тему. После того как осознали что проц был слабоват, поставили двухпроцессорный сервер на Core i 5 с двумя 10G ix и 8 igb.

По стечению обстоятельств запустили его с конфигурацией:

 

HT=on

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.num_queues=2

 

Всё завелось на половине потоков, работало всё нормально, прокачивало около 3 гиг, пока не решили начать тыкать в него 10Г..

В итоге стало в нем 10г на вход и 10г на выход.

Результат был плачевный. в какой-то момент проц сваливался в 100% загрузку, часть заружено прерываниями, часть kernel процессами тех же очередей карт.

После долгих мучений было решено вернуться на изначальный конфиг, и какого же наше удивление было, когда мы увидели ту же самую картину!

Спойлер

last pid:  6247;  load averages: 17.62, 16.99, 16.53                                                                                        up 0+03:35:25  20:28:47
72 processes:  1 running, 65 sleeping, 5 stopped, 1 zombie
CPU 0:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 2:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 5:   0.0% user,  0.0% nice,  0.4% system,  3.1% interrupt, 96.5% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 7:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 8:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 9:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 10:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 11:  0.0% user,  0.0% nice,  0.0% system,  0.9% interrupt, 99.1% idle
CPU 12:  0.0% user,  0.0% nice,  0.0% system, 68.6% interrupt, 31.4% idle
CPU 13:  0.0% user,  0.0% nice,  0.0% system, 42.0% interrupt, 58.0% idle
CPU 14:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 15:  0.0% user,  0.0% nice,  0.0% system,  1.3% interrupt, 98.7% idle
CPU 16:  0.0% user,  0.0% nice, 43.2% system,  0.8% interrupt, 56.0% idle
CPU 17:  0.0% user,  0.0% nice,  2.0% system,  0.8% interrupt, 97.3% idle
CPU 18:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 19:  0.0% user,  0.0% nice, 99.6% system,  0.4% interrupt,  0.0% idle
CPU 20:  0.4% user,  0.0% nice, 18.6% system,  0.4% interrupt, 80.6% idle
CPU 21:  0.0% user,  0.0% nice,  7.0% system,  0.4% interrupt, 92.6% idle
CPU 22:  0.0% user,  0.0% nice, 11.8% system,  0.0% interrupt, 88.2% idle
CPU 23:  0.0% user,  0.0% nice,  2.0% system,  0.0% interrupt, 98.0% idle
CPU 24:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 25:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 26:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 27:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 28:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 29:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 30:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 31:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
Mem: 129M Active, 276M Inact, 711M Wired, 4K Cache, 6675M Free
ARC: 60M Total, 12M MFU, 45M MRU, 16K Anon, 449K Header, 2251K Other
Swap: 2048M Total, 2048M Free

 

Спойлер

# vmstat -i
interrupt                          total       rate
irq9: acpi0                            3          0
irq18: ehci0 ehci1                 26384          2
cpu0:timer                      13637474       1054
irq282: igb0:que 0              20855531       1612
irq283: igb0:que 1              19306344       1492
irq284: igb0:link                      4          0
irq285: igb1:que 0              24009270       1856
irq286: igb1:que 1              24408903       1887
irq287: igb1:link                      4          0
irq288: igb2:que 0              34691220       2681
irq289: igb2:que 1              35442275       2740
irq290: igb2:link                      4          0
irq291: igb3:que 0              26977873       2085
irq292: igb3:que 1              25720837       1988
irq293: igb3:link                      3          0
irq294: ahci0                      45520          3
irq295: xhci0                      17223          1
irq297: igb4:que 0              20878108       1614
irq298: igb4:que 1              19599112       1515
irq299: igb4:link                      2          0
irq300: igb5:que 0              21648562       1673
irq301: igb5:que 1              18034388       1394
irq302: igb5:link                      3          0
irq303: igb6:que 0              18795197       1453
irq304: igb6:que 1              16539014       1278
irq305: igb6:link                      3          0
irq306: igb7:que 0              22178336       1714
irq307: igb7:que 1              23015704       1779
irq308: igb7:link                      3          0
cpu1:timer                       6931555        535
cpu6:timer                       8012195        619
cpu31:timer                      5712747        441
cpu3:timer                       7586581        586
cpu20:timer                      5456197        421
cpu13:timer                      6948018        537
cpu22:timer                      6493600        502
cpu12:timer                      6767008        523
cpu23:timer                      5364073        414
cpu2:timer                       7298584        564
cpu24:timer                      7966941        615
cpu5:timer                       9103456        703
cpu27:timer                      5563677        430
cpu4:timer                       8398063        649
cpu25:timer                      4385838        339
cpu17:timer                      5862911        453
cpu9:timer                       5874000        454
cpu29:timer                      7252325        560
cpu8:timer                       7598747        587
cpu30:timer                      6480246        500
cpu7:timer                       7411968        573
cpu26:timer                      6460008        499
cpu10:timer                      6845384        529
cpu21:timer                      6194089        478
cpu11:timer                      6131754        474
cpu28:timer                      5687565        439
cpu16:timer                      5796371        448
cpu14:timer                      6425816        496
cpu15:timer                      6487966        501
cpu19:timer                      6103632        471
cpu18:timer                      5569719        430
Total                          589998338      45612

 

 

Если кто подскажет в какую вообще сторону копать - будем благодарны

Edited November 3, 2017 by Pedalik73

[Ivan_83]

Многопроцовые конфиги это для случаев когда у вас вычислений много, ну там видео/биткойны/архивация/СУБД и прочая муйня.

У вас конфиг в котором дохренища прерываний, а вычислений около нуля.

Ну вот оно и начинает гонять 100500 прерываний/сек между процами, а там узко.

[GrandPr1de]

Угу, давно известный факт что с NUMA обычно больше проблем, чем пользы.

У меня два х5550 прокачивали меньше чем один х5550 (речь о xeon). Сетевки были x520. Но у него маленькая тактовая. Нужно что-то явно больше.

Вам нужен проц не с большим кол-вом ядер, а с большой тактовой.

Так что один топовый i7 и вперед. Ну и втопку HT. На моих тестах особенно с NUMA было больше вреда, чем пользы (вымывание кеша процессоров из-за обмена данными между ними).

 

Ну и судя по картинке вашего top - у вас половина тредов простаивает, в то время, как некоторые ядра на 100% нагружены.

Так что i7 на 4-8 ядер, выключенный HT и по-больше тактовой.

[Ivan_83]

Можно и райзены попробовать, но там нюансов много при выборе :)