Перейти к содержимому
Калькуляторы

Производительность роутена на FreeBSD

Всех приветствую!

 

Имеется машинка с установленной FreeBSD 9.1.

Есть два встроенных Гигабита и интеловская плата с 4 Гигабитами.

Подключено 2 lacp линка по 3 гигабита. В один приходит интернет, из другого выходит к абонентам.

Настроен BGP, получает 2 Full-view. От одного провайдера приходит 1 гигабит, от второго - 1,5 гигабита

 

Проблема в том, что по достижении 2 гигабит появляется полка, и далее трафик не растет.

Скорость у абонентов падает, пинг растет.

 

Подскажите, откуда начинать копать? Какие команды помогут понять где в системе происходит затык?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, откуда начинать копать?

начать с того, какой проц, какие сетевухи, что используется (BGP, NAT, shaper, PPPoE)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

LACP с нечетным кол-вом портов - куча проблем. Как на коммутаторах, так и на маршрутизаторе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не скажите, 3x1GE в ласпе, с одной стороны длинк, с другой циска, полгига мультикаста +/- равномерно размазываются по трём портам, глюков не замечено.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не скажите, 3x1GE в ласпе, с одной стороны длинк, с другой циска, полгига мультикаста +/- равномерно размазываются по трём портам, глюков не замечено.

Настройки обоих сторон можно? ))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

systat -ifstat 1

в момент когда полка, вывод сюда.

Подозреваю что LACP на балансит ничего, и всё упирается в полку на двух адаптерах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Настройки обоих сторон можно? ))

Обманул, на длинке 4 порта, но шланга в нём нет

dlink

DGS-3620-28TC#show link_aggregation
Command: show link_aggregation

Link Aggregation Algorithm = IP-Source-Dest

Group ID      : 3
Type          : LACP
Master Port   : 21
Member Port   : 21-24
Active Port   : 21-23
Status        : Enabled
Flooding Port : 21
Trap          : Disabled

Total Entries : 1

============================

show lacp_port  21-24
Command: show lacp_port 21-24


Port     Activity   LACP Timeout

-----    --------  -----------
21       Passive     Short
22       Passive     Short
23       Passive     Short
24       Passive     Short

циска

interface GigabitEthernet1/45
switchport trunk encapsulation dot1q
switchport trunk allowed vlan XXXX
switchport mode trunk
channel-protocol lacp
channel-group 12 mode active
!
interface GigabitEthernet1/46
switchport trunk encapsulation dot1q
switchport trunk allowed vlan XXXX
switchport mode trunk
channel-protocol lacp
channel-group 12 mode active
!
interface GigabitEthernet1/47
switchport trunk encapsulation dot1q
switchport trunk allowed vlan XXXX
switchport mode trunk
channel-protocol lacp
channel-group 12 mode active
!

=====================================

ws-c4948-10ge-s#sh etherchannel 12 port-channel
               Port-channels in the group:
               ---------------------------

Port-channel: Po12    (Primary Aggregator)

------------

Age of the Port-channel   = 37d:23h:26m:58s
Logical slot/port   = 11/12          Number of ports = 3
Port state          = Port-channel Ag-Inuse
Protocol            =   LACP
Port security       = Disabled

Ports in the Port-channel:

Index   Load   Port     EC state        No of bits
------+------+------+------------------+-----------
 1     00     Gi1/45   Active             0
 0     00     Gi1/46   Active             0
 2     00     Gi1/47   Active             0

Time since last port bundled:    37d:23h:23m:37s    Gi1/47

===================

ws-c4948-10ge-s#sh int po12
Port-channel12 is up, line protocol is up (connected)
 Hardware is EtherChannel, address is ...
 MTU 1500 bytes, BW 3000000 Kbit, DLY 10 usec,
    reliability 255/255, txload 1/255, rxload 46/255
 Encapsulation ARPA, loopback not set
 Keepalive set (10 sec)
 Full-duplex, 1000Mb/s, media type is N/A
 input flow-control is off, output flow-control is unsupported
 Members in this channel: Gi1/45 Gi1/46 Gi1/47
 ARP type: ARPA, ARP Timeout 04:00:00
 Last input never, output never, output hang never
 Last clearing of "show interface" counters never
 Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 5 minute input rate 549678000 bits/sec, 50447 packets/sec
 5 minute output rate 4538000 bits/sec, 373 packets/sec
    156954580612 packets input, 213859658806111 bytes, 0 no buffer
    Received 156601815946 broadcasts (1982991518 multicasts)
    0 runts, 0 giants, 0 throttles
    0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
    0 input packets with dribble condition detected
    1138490743 packets output, 1692920731822 bytes, 0 underruns
    0 output errors, 0 collisions, 0 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier
    0 output buffer failures, 0 output buffers swapped out

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Процессор Intel® Xeon® CPU E3-1230 V2 @ 3.30GHz

 

Сетевухи:

ibg0-3 - 82576 Gigabit Network Connection

em1 - 82579LM Gigabit Network Connection

em0 - 82574L Gigabit Network Connection

 

На сервере используется BGB, минимальный ipfw. vpn клиентам на других железках поднимается.

 

Балансируется нормально, графики загрузки портов ведутся на коммутаторах. Около 650 Мбит на всех 3 портах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Карточки авно, у вас одна из карт не имеет очередей.

Какой PPS? на каждом линке, top при пике можете?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

top -nCHSIzs1
last pid: 30477;  load averages: 13.57, 13.26, 13.30  up 3+02:35:16    14:45:58
193 processes: 22 running, 112 sleeping, 4 stopped, 55 waiting

Mem: 168M Active, 530M Inact, 962M Wired, 415M Buf, 2245M Free
Swap: 4096M Total, 4096M Free


 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  12 root     -92    -     0K  1056K CPU0    5  45.0H 80.96% intr{irq301: em1:rx 0}
   0 root     -92    0     0K   736K CPU6    3  35.5H 67.29% kernel{em0 que}
  12 root     -92    -     0K  1056K WAIT    4 310:08 12.35% intr{irq268: igb0:que}
  12 root     -92    -     0K  1056K RUN     0 392:19 12.26% intr{irq282: igb2:que}
  12 root     -92    -     0K  1056K CPU1    1 287:09 11.38% intr{irq265: igb0:que}
  12 root     -92    -     0K  1056K WAIT    2 377:28 10.89% intr{irq284: igb2:que}
  12 root     -92    -     0K  1056K WAIT    6 291:27 10.89% intr{irq279: igb1:que}
  12 root     -92    -     0K  1056K WAIT    2 294:44 10.79% intr{irq275: igb1:que}
  12 root     -92    -     0K  1056K WAIT    7 375:21 10.69% intr{irq289: igb2:que}
  12 root     -92    -     0K  1056K WAIT    1 365:57 10.60% intr{irq283: igb2:que}
  12 root     -92    -     0K  1056K WAIT    5 365:17 10.60% intr{irq287: igb2:que}
  12 root     -92    -     0K  1056K RUN     5 266:02 10.35% intr{irq296: igb3:que}
  12 root     -92    -     0K  1056K WAIT    4 307:40 10.25% intr{irq277: igb1:que}
  12 root     -92    -     0K  1056K WAIT    7 312:34 10.06% intr{irq271: igb0:que}
  12 root     -92    -     0K  1056K WAIT    4 381:53  9.67% intr{irq286: igb2:que}
  12 root     -92    -     0K  1056K WAIT    3 260:07  9.47% intr{irq294: igb3:que}
  12 root     -92    -     0K  1056K RUN  z   0 289:31  9.38% intr{irq264: igb0:que}
  12 root     -92    -     0K  1056K RUN     6 377:53  9.28% intr{irq288: igb2:que}

 

em1:rx 0 во время полки занимает 100% ядра

 

Я правильно понимаю, что входящая очередь интерфейса em1 занимает 100% прерываний ядра, что и является причиной проблем?

 

Загрузка 70-100 тыс пакетов/сек, при среднем пакете 1кбайт

Изменено пользователем Pedalik

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Про em1 вам уже сказали

"- Two Queues (Tx & Rx) "

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

em0 по спекам тоже какой-то отстой

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну карточки которые работают на em драйвере никогда не отличались чем-то сверх

igb - наше всё :)

так что начать с того, что бы добавить нормальных сетевух, а то перекос по ядрам и как следствие полка, о чем уже выше сказали

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

net.isr.dispatch=deferred # direct / hybrid / deffered // Interrupt handling via multiple CPU, but with context switch.

спасёт отца русской демократии!

 

Может ещё

net.inet.ip.fastforwarding=0

поможет.

Применяется на лету, ребут не нужен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поставили на замену другую машинку.

Процессор Intel® Xeon® CPU E3-1220 V2 @ 3.30GHz

Две четырех портовые сетевухи Intel® Ethernet Server Adapter I350-T4

Получилось два Транка по 4 гигабита.

 

Получилась такая картина:

 

last pid: 52204;  load averages: 24.95, 24.24, 24.04                                                          up 1+15:09:44  21:16:11
213 processes: 31 running, 134 sleeping, 48 waiting
CPU 0:  0.0% user,  0.0% nice,  7.3% system, 92.3% interrupt,  0.4% idle
CPU 1:  0.4% user,  0.0% nice,  2.7% system, 96.9% interrupt,  0.0% idle
CPU 2:  0.4% user,  0.0% nice,  4.2% system, 95.4% interrupt,  0.0% idle
CPU 3:  0.0% user,  0.0% nice,  2.3% system, 97.7% interrupt,  0.0% idle
Mem: 278M Active, 254M Inact, 741M Wired, 40K Cache, 418M Buf, 2611M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
  12 root       -92    -     0K  1152K RUN     3 209:15  16.06% intr{irq277: igb2:que}
  12 root       -92    -     0K  1152K RUN     0  39:24  14.45% intr{irq284: igb4:que}
  12 root       -92    -     0K  1152K RUN     3 263:07  13.96% intr{irq292: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 270:43  13.48% intr{irq301: igb7:que}
  12 root       -92    -     0K  1152K CPU1    1  35:29  13.18% intr{irq285: igb4:que}
  12 root       -92    -     0K  1152K WAIT    0 277:52  12.99% intr{irq299: igb7:que}
  12 root       -92    -     0K  1152K WAIT    0 189:09  12.99% intr{irq294: igb6:que}
  12 root       -92    -     0K  1152K RUN     1 225:10  12.79% intr{irq275: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 194:36  12.79% intr{irq295: igb6:que}
  12 root       -92    -     0K  1152K WAIT    2 213:03  12.70% intr{irq276: igb2:que}
  12 root       -92    -     0K  1152K WAIT    2  37:55  12.70% intr{irq286: igb4:que}
  12 root       -92    -     0K  1152K RUN     3  37:20  12.50% intr{irq287: igb4:que}
  12 root       -92    -     0K  1152K RUN     0 263:59  12.35% intr{irq289: igb5:que}
  12 root       -92    -     0K  1152K RUN     1 213:06  12.35% intr{irq280: igb3:que}
  12 root       -92    -     0K  1152K RUN     1 267:42  12.26% intr{irq300: igb7:que}
  12 root       -92    -     0K  1152K RUN     3  40:04  12.16% intr{irq267: igb0:que}
  12 root       -92    -     0K  1152K WAIT    2 265:11  12.06% intr{irq291: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 197:38  11.96% intr{irq296: igb6:que}
  12 root       -92    -     0K  1152K RUN     3 213:09  11.87% intr{irq282: igb3:que}
  12 root       -92    -     0K  1152K CPU3    3 190:58  11.47% intr{irq297: igb6:que}
  12 root       -92    -     0K  1152K RUN     0 212:26  11.28% intr{irq274: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 264:40  11.18% intr{irq290: igb5:que}
  12 root       -92    -     0K  1152K RUN     3 208:51  11.08% intr{irq272: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2  37:37  10.89% intr{irq266: igb0:que}
  12 root       -92    -     0K  1152K RUN     3 286:04  10.79% intr{irq302: igb7:que}
  12 root       -92    -     0K  1152K WAIT    2 202:12  10.69% intr{irq281: igb3:que}
  12 root       -92    -     0K  1152K WAIT    0  38:49  10.69% intr{irq264: igb0:que}
  12 root       -92    -     0K  1152K RUN     1  39:41  10.50% intr{irq265: igb0:que}
  12 root       -92    -     0K  1152K RUN     1 203:14  10.35% intr{irq270: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2 207:18  10.06% intr{irq271: igb1:que}
  12 root       -92    -     0K  1152K RUN     0 207:50   9.86% intr{irq279: igb3:que}
  12 root       -92    -     0K  1152K RUN     0 206:11   9.86% intr{irq269: igb1:que}
   0 root       -92    0     0K   800K -       0 527:53   8.89% kernel{dummynet}
  12 root       -60    -     0K  1152K RUN     0  46:44   1.66% intr{swi4: clock}
45550 root        52    0 46160K 11200K RUN     2   0:04   0.49% perl
1393 root        20    0   221M   203M select  1   4:47   0.00% bgpd
2284 root        20    0 63288K  9684K select  3   3:32   0.00% snmpd
  14 root       -16    -     0K    16K -       1   2:49   0.00% yarrow
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue0}
2304 root       -16    -     0K    64K RUN     0   1:50   0.00% ng_queue{ng_queue1}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue2}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue3}

 

Прерывания убивают проц.

 

Как в наши дни борятся с подобными явлениями?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поставили на замену другую машинку.

Процессор Intel® Xeon® CPU E3-1220 V2 @ 3.30GHz

Две четырех портовые сетевухи Intel® Ethernet Server Adapter I350-T4

Получилось два Транка по 4 гигабита.

 

Получилась такая картина:

 

last pid: 52204;  load averages: 24.95, 24.24, 24.04                                                          up 1+15:09:44  21:16:11
213 processes: 31 running, 134 sleeping, 48 waiting
CPU 0:  0.0% user,  0.0% nice,  7.3% system, 92.3% interrupt,  0.4% idle
CPU 1:  0.4% user,  0.0% nice,  2.7% system, 96.9% interrupt,  0.0% idle
CPU 2:  0.4% user,  0.0% nice,  4.2% system, 95.4% interrupt,  0.0% idle
CPU 3:  0.0% user,  0.0% nice,  2.3% system, 97.7% interrupt,  0.0% idle
Mem: 278M Active, 254M Inact, 741M Wired, 40K Cache, 418M Buf, 2611M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
  12 root       -92    -     0K  1152K RUN     3 209:15  16.06% intr{irq277: igb2:que}
  12 root       -92    -     0K  1152K RUN     0  39:24  14.45% intr{irq284: igb4:que}
  12 root       -92    -     0K  1152K RUN     3 263:07  13.96% intr{irq292: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 270:43  13.48% intr{irq301: igb7:que}
  12 root       -92    -     0K  1152K CPU1    1  35:29  13.18% intr{irq285: igb4:que}
  12 root       -92    -     0K  1152K WAIT    0 277:52  12.99% intr{irq299: igb7:que}
  12 root       -92    -     0K  1152K WAIT    0 189:09  12.99% intr{irq294: igb6:que}
  12 root       -92    -     0K  1152K RUN     1 225:10  12.79% intr{irq275: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 194:36  12.79% intr{irq295: igb6:que}
  12 root       -92    -     0K  1152K WAIT    2 213:03  12.70% intr{irq276: igb2:que}
  12 root       -92    -     0K  1152K WAIT    2  37:55  12.70% intr{irq286: igb4:que}
  12 root       -92    -     0K  1152K RUN     3  37:20  12.50% intr{irq287: igb4:que}
  12 root       -92    -     0K  1152K RUN     0 263:59  12.35% intr{irq289: igb5:que}
  12 root       -92    -     0K  1152K RUN     1 213:06  12.35% intr{irq280: igb3:que}
  12 root       -92    -     0K  1152K RUN     1 267:42  12.26% intr{irq300: igb7:que}
  12 root       -92    -     0K  1152K RUN     3  40:04  12.16% intr{irq267: igb0:que}
  12 root       -92    -     0K  1152K WAIT    2 265:11  12.06% intr{irq291: igb5:que}
  12 root       -92    -     0K  1152K WAIT    2 197:38  11.96% intr{irq296: igb6:que}
  12 root       -92    -     0K  1152K RUN     3 213:09  11.87% intr{irq282: igb3:que}
  12 root       -92    -     0K  1152K CPU3    3 190:58  11.47% intr{irq297: igb6:que}
  12 root       -92    -     0K  1152K RUN     0 212:26  11.28% intr{irq274: igb2:que}
  12 root       -92    -     0K  1152K RUN     1 264:40  11.18% intr{irq290: igb5:que}
  12 root       -92    -     0K  1152K RUN     3 208:51  11.08% intr{irq272: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2  37:37  10.89% intr{irq266: igb0:que}
  12 root       -92    -     0K  1152K RUN     3 286:04  10.79% intr{irq302: igb7:que}
  12 root       -92    -     0K  1152K WAIT    2 202:12  10.69% intr{irq281: igb3:que}
  12 root       -92    -     0K  1152K WAIT    0  38:49  10.69% intr{irq264: igb0:que}
  12 root       -92    -     0K  1152K RUN     1  39:41  10.50% intr{irq265: igb0:que}
  12 root       -92    -     0K  1152K RUN     1 203:14  10.35% intr{irq270: igb1:que}
  12 root       -92    -     0K  1152K WAIT    2 207:18  10.06% intr{irq271: igb1:que}
  12 root       -92    -     0K  1152K RUN     0 207:50   9.86% intr{irq279: igb3:que}
  12 root       -92    -     0K  1152K RUN     0 206:11   9.86% intr{irq269: igb1:que}
   0 root       -92    0     0K   800K -       0 527:53   8.89% kernel{dummynet}
  12 root       -60    -     0K  1152K RUN     0  46:44   1.66% intr{swi4: clock}
45550 root        52    0 46160K 11200K RUN     2   0:04   0.49% perl
1393 root        20    0   221M   203M select  1   4:47   0.00% bgpd
2284 root        20    0 63288K  9684K select  3   3:32   0.00% snmpd
  14 root       -16    -     0K    16K -       1   2:49   0.00% yarrow
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue0}
2304 root       -16    -     0K    64K RUN     0   1:50   0.00% ng_queue{ng_queue1}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue2}
2304 root       -16    -     0K    64K sleep   2   1:50   0.00% ng_queue{ng_queue3}

 

Прерывания убивают проц.

 

Как в наши дни борятся с подобными явлениями?

Пусть хоть и кричат, что надо тюнить freebsd и тп и когда я перепргынул за 10 гбит, я перешел на linux. И забыл о проблемах. Там тоже конечно пришлось потюнить, но зато небо и земля.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Прерывания убивают проц.

 

loader.conf

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.num_queues=8
net.link.ifqmaxlen=10240
net.isr.maxthreads=4

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У вас там ипфв+димминет, нетграф.

То что в топе прерывания - это потому что ипфв обрабатывается в их контексте, видимо стоит сисцтл isr=direct или гибрид. Оптимизируйте правила или вообще его не загружайте и станет легче прерываниям.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пусть хоть и кричат, что надо тюнить freebsd и тп и когда я перепргынул за 10 гбит, я перешел на linux. И забыл о проблемах. Там тоже конечно пришлось потюнить, но зато небо и земля.

 

Темы с проблемами и оптимизациями Линукса в соседних ветках. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Может ещё

net.inet.ip.fastforwarding=0

поможет.

Применяется на лету, ребут не нужен.

В связи с выходом FreeBSD 11 (релиза), возник вопрос, почему из 11 убрали этот параметр?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сделали включённым по дефолту всегда.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подниму изначальную тему. После того как осознали что проц был слабоват, поставили двухпроцессорный сервер на Core i 5 с двумя 10G ix и 8 igb.

По стечению обстоятельств запустили его с конфигурацией:

 

HT=on

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.num_queues=2

 

Всё завелось на половине потоков, работало всё нормально, прокачивало около 3 гиг, пока не решили начать тыкать в него 10Г..

В итоге стало в нем 10г на вход и 10г на выход.

Результат был плачевный. в какой-то момент проц сваливался в 100% загрузку, часть заружено прерываниями, часть kernel процессами тех же очередей карт.

После долгих мучений было решено вернуться на изначальный конфиг, и какого же наше удивление было, когда мы увидели ту же самую картину!

Спойлер

last pid:  6247;  load averages: 17.62, 16.99, 16.53                                                                                        up 0+03:35:25  20:28:47
72 processes:  1 running, 65 sleeping, 5 stopped, 1 zombie
CPU 0:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 2:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 5:   0.0% user,  0.0% nice,  0.4% system,  3.1% interrupt, 96.5% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 7:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 8:   0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 9:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 10:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 11:  0.0% user,  0.0% nice,  0.0% system,  0.9% interrupt, 99.1% idle
CPU 12:  0.0% user,  0.0% nice,  0.0% system, 68.6% interrupt, 31.4% idle
CPU 13:  0.0% user,  0.0% nice,  0.0% system, 42.0% interrupt, 58.0% idle
CPU 14:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 15:  0.0% user,  0.0% nice,  0.0% system,  1.3% interrupt, 98.7% idle
CPU 16:  0.0% user,  0.0% nice, 43.2% system,  0.8% interrupt, 56.0% idle
CPU 17:  0.0% user,  0.0% nice,  2.0% system,  0.8% interrupt, 97.3% idle
CPU 18:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 19:  0.0% user,  0.0% nice, 99.6% system,  0.4% interrupt,  0.0% idle
CPU 20:  0.4% user,  0.0% nice, 18.6% system,  0.4% interrupt, 80.6% idle
CPU 21:  0.0% user,  0.0% nice,  7.0% system,  0.4% interrupt, 92.6% idle
CPU 22:  0.0% user,  0.0% nice, 11.8% system,  0.0% interrupt, 88.2% idle
CPU 23:  0.0% user,  0.0% nice,  2.0% system,  0.0% interrupt, 98.0% idle
CPU 24:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 25:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 26:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 27:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 28:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 29:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 30:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 31:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
Mem: 129M Active, 276M Inact, 711M Wired, 4K Cache, 6675M Free
ARC: 60M Total, 12M MFU, 45M MRU, 16K Anon, 449K Header, 2251K Other
Swap: 2048M Total, 2048M Free

 

Спойлер

# vmstat -i
interrupt                          total       rate
irq9: acpi0                            3          0
irq18: ehci0 ehci1                 26384          2
cpu0:timer                      13637474       1054
irq282: igb0:que 0              20855531       1612
irq283: igb0:que 1              19306344       1492
irq284: igb0:link                      4          0
irq285: igb1:que 0              24009270       1856
irq286: igb1:que 1              24408903       1887
irq287: igb1:link                      4          0
irq288: igb2:que 0              34691220       2681
irq289: igb2:que 1              35442275       2740
irq290: igb2:link                      4          0
irq291: igb3:que 0              26977873       2085
irq292: igb3:que 1              25720837       1988
irq293: igb3:link                      3          0
irq294: ahci0                      45520          3
irq295: xhci0                      17223          1
irq297: igb4:que 0              20878108       1614
irq298: igb4:que 1              19599112       1515
irq299: igb4:link                      2          0
irq300: igb5:que 0              21648562       1673
irq301: igb5:que 1              18034388       1394
irq302: igb5:link                      3          0
irq303: igb6:que 0              18795197       1453
irq304: igb6:que 1              16539014       1278
irq305: igb6:link                      3          0
irq306: igb7:que 0              22178336       1714
irq307: igb7:que 1              23015704       1779
irq308: igb7:link                      3          0
cpu1:timer                       6931555        535
cpu6:timer                       8012195        619
cpu31:timer                      5712747        441
cpu3:timer                       7586581        586
cpu20:timer                      5456197        421
cpu13:timer                      6948018        537
cpu22:timer                      6493600        502
cpu12:timer                      6767008        523
cpu23:timer                      5364073        414
cpu2:timer                       7298584        564
cpu24:timer                      7966941        615
cpu5:timer                       9103456        703
cpu27:timer                      5563677        430
cpu4:timer                       8398063        649
cpu25:timer                      4385838        339
cpu17:timer                      5862911        453
cpu9:timer                       5874000        454
cpu29:timer                      7252325        560
cpu8:timer                       7598747        587
cpu30:timer                      6480246        500
cpu7:timer                       7411968        573
cpu26:timer                      6460008        499
cpu10:timer                      6845384        529
cpu21:timer                      6194089        478
cpu11:timer                      6131754        474
cpu28:timer                      5687565        439
cpu16:timer                      5796371        448
cpu14:timer                      6425816        496
cpu15:timer                      6487966        501
cpu19:timer                      6103632        471
cpu18:timer                      5569719        430
Total                          589998338      45612

 

 

Если кто подскажет в какую вообще сторону копать - будем благодарны

Изменено пользователем Pedalik73

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Многопроцовые конфиги это для случаев когда у вас вычислений много, ну там видео/биткойны/архивация/СУБД и прочая муйня.

У вас конфиг в котором дохренища прерываний, а вычислений около нуля.

Ну вот оно и начинает гонять 100500 прерываний/сек между процами, а там узко.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Угу, давно известный факт что с NUMA обычно больше проблем, чем пользы.

У меня два х5550 прокачивали меньше чем один х5550 (речь о xeon). Сетевки были x520. Но у него маленькая тактовая. Нужно что-то явно больше.

Вам нужен проц не с большим кол-вом ядер, а с большой тактовой.

Так что один топовый i7 и вперед. Ну и втопку HT. На моих тестах особенно с NUMA было больше вреда, чем пользы (вымывание кеша процессоров из-за обмена данными между ними).

 

Ну и судя по картинке вашего top - у вас половина тредов простаивает, в то время, как некоторые ядра на 100% нагружены.

Так что i7 на 4-8 ядер, выключенный HT и по-больше тактовой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Можно и райзены попробовать, но там нюансов много при выборе :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.