Pedalik Posted March 12, 2016 Posted March 12, 2016 Всех приветствую! Имеется машинка с установленной FreeBSD 9.1. Есть два встроенных Гигабита и интеловская плата с 4 Гигабитами. Подключено 2 lacp линка по 3 гигабита. В один приходит интернет, из другого выходит к абонентам. Настроен BGP, получает 2 Full-view. От одного провайдера приходит 1 гигабит, от второго - 1,5 гигабита Проблема в том, что по достижении 2 гигабит появляется полка, и далее трафик не растет. Скорость у абонентов падает, пинг растет. Подскажите, откуда начинать копать? Какие команды помогут понять где в системе происходит затык? Вставить ник Quote
911 Posted March 12, 2016 Posted March 12, 2016 Подскажите, откуда начинать копать? начать с того, какой проц, какие сетевухи, что используется (BGP, NAT, shaper, PPPoE) Вставить ник Quote
vlad11 Posted March 12, 2016 Posted March 12, 2016 LACP с нечетным кол-вом портов - куча проблем. Как на коммутаторах, так и на маршрутизаторе. Вставить ник Quote
pppoetest Posted March 12, 2016 Posted March 12, 2016 Не скажите, 3x1GE в ласпе, с одной стороны длинк, с другой циска, полгига мультикаста +/- равномерно размазываются по трём портам, глюков не замечено. Вставить ник Quote
SyJet Posted March 12, 2016 Posted March 12, 2016 Не скажите, 3x1GE в ласпе, с одной стороны длинк, с другой циска, полгига мультикаста +/- равномерно размазываются по трём портам, глюков не замечено. Настройки обоих сторон можно? )) Вставить ник Quote
Ivan_83 Posted March 12, 2016 Posted March 12, 2016 systat -ifstat 1 в момент когда полка, вывод сюда. Подозреваю что LACP на балансит ничего, и всё упирается в полку на двух адаптерах. Вставить ник Quote
pppoetest Posted March 13, 2016 Posted March 13, 2016 Настройки обоих сторон можно? )) Обманул, на длинке 4 порта, но шланга в нём нет dlink DGS-3620-28TC#show link_aggregation Command: show link_aggregation Link Aggregation Algorithm = IP-Source-Dest Group ID : 3 Type : LACP Master Port : 21 Member Port : 21-24 Active Port : 21-23 Status : Enabled Flooding Port : 21 Trap : Disabled Total Entries : 1 ============================ show lacp_port 21-24 Command: show lacp_port 21-24 Port Activity LACP Timeout ----- -------- ----------- 21 Passive Short 22 Passive Short 23 Passive Short 24 Passive Short циска interface GigabitEthernet1/45 switchport trunk encapsulation dot1q switchport trunk allowed vlan XXXX switchport mode trunk channel-protocol lacp channel-group 12 mode active ! interface GigabitEthernet1/46 switchport trunk encapsulation dot1q switchport trunk allowed vlan XXXX switchport mode trunk channel-protocol lacp channel-group 12 mode active ! interface GigabitEthernet1/47 switchport trunk encapsulation dot1q switchport trunk allowed vlan XXXX switchport mode trunk channel-protocol lacp channel-group 12 mode active ! ===================================== ws-c4948-10ge-s#sh etherchannel 12 port-channel Port-channels in the group: --------------------------- Port-channel: Po12 (Primary Aggregator) ------------ Age of the Port-channel = 37d:23h:26m:58s Logical slot/port = 11/12 Number of ports = 3 Port state = Port-channel Ag-Inuse Protocol = LACP Port security = Disabled Ports in the Port-channel: Index Load Port EC state No of bits ------+------+------+------------------+----------- 1 00 Gi1/45 Active 0 0 00 Gi1/46 Active 0 2 00 Gi1/47 Active 0 Time since last port bundled: 37d:23h:23m:37s Gi1/47 =================== ws-c4948-10ge-s#sh int po12 Port-channel12 is up, line protocol is up (connected) Hardware is EtherChannel, address is ... MTU 1500 bytes, BW 3000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 46/255 Encapsulation ARPA, loopback not set Keepalive set (10 sec) Full-duplex, 1000Mb/s, media type is N/A input flow-control is off, output flow-control is unsupported Members in this channel: Gi1/45 Gi1/46 Gi1/47 ARP type: ARPA, ARP Timeout 04:00:00 Last input never, output never, output hang never Last clearing of "show interface" counters never Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0 Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 549678000 bits/sec, 50447 packets/sec 5 minute output rate 4538000 bits/sec, 373 packets/sec 156954580612 packets input, 213859658806111 bytes, 0 no buffer Received 156601815946 broadcasts (1982991518 multicasts) 0 runts, 0 giants, 0 throttles 0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 0 input packets with dribble condition detected 1138490743 packets output, 1692920731822 bytes, 0 underruns 0 output errors, 0 collisions, 0 interface resets 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier 0 output buffer failures, 0 output buffers swapped out Вставить ник Quote
Pedalik Posted March 13, 2016 Author Posted March 13, 2016 Процессор Intel® Xeon® CPU E3-1230 V2 @ 3.30GHz Сетевухи: ibg0-3 - 82576 Gigabit Network Connection em1 - 82579LM Gigabit Network Connection em0 - 82574L Gigabit Network Connection На сервере используется BGB, минимальный ipfw. vpn клиентам на других железках поднимается. Балансируется нормально, графики загрузки портов ведутся на коммутаторах. Около 650 Мбит на всех 3 портах Вставить ник Quote
Megas Posted March 13, 2016 Posted March 13, 2016 Карточки авно, у вас одна из карт не имеет очередей. Какой PPS? на каждом линке, top при пике можете? Вставить ник Quote
Pedalik Posted March 13, 2016 Author Posted March 13, 2016 (edited) top -nCHSIzs1 last pid: 30477; load averages: 13.57, 13.26, 13.30 up 3+02:35:16 14:45:58 193 processes: 22 running, 112 sleeping, 4 stopped, 55 waiting Mem: 168M Active, 530M Inact, 962M Wired, 415M Buf, 2245M Free Swap: 4096M Total, 4096M Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 12 root -92 - 0K 1056K CPU0 5 45.0H 80.96% intr{irq301: em1:rx 0} 0 root -92 0 0K 736K CPU6 3 35.5H 67.29% kernel{em0 que} 12 root -92 - 0K 1056K WAIT 4 310:08 12.35% intr{irq268: igb0:que} 12 root -92 - 0K 1056K RUN 0 392:19 12.26% intr{irq282: igb2:que} 12 root -92 - 0K 1056K CPU1 1 287:09 11.38% intr{irq265: igb0:que} 12 root -92 - 0K 1056K WAIT 2 377:28 10.89% intr{irq284: igb2:que} 12 root -92 - 0K 1056K WAIT 6 291:27 10.89% intr{irq279: igb1:que} 12 root -92 - 0K 1056K WAIT 2 294:44 10.79% intr{irq275: igb1:que} 12 root -92 - 0K 1056K WAIT 7 375:21 10.69% intr{irq289: igb2:que} 12 root -92 - 0K 1056K WAIT 1 365:57 10.60% intr{irq283: igb2:que} 12 root -92 - 0K 1056K WAIT 5 365:17 10.60% intr{irq287: igb2:que} 12 root -92 - 0K 1056K RUN 5 266:02 10.35% intr{irq296: igb3:que} 12 root -92 - 0K 1056K WAIT 4 307:40 10.25% intr{irq277: igb1:que} 12 root -92 - 0K 1056K WAIT 7 312:34 10.06% intr{irq271: igb0:que} 12 root -92 - 0K 1056K WAIT 4 381:53 9.67% intr{irq286: igb2:que} 12 root -92 - 0K 1056K WAIT 3 260:07 9.47% intr{irq294: igb3:que} 12 root -92 - 0K 1056K RUN z 0 289:31 9.38% intr{irq264: igb0:que} 12 root -92 - 0K 1056K RUN 6 377:53 9.28% intr{irq288: igb2:que} em1:rx 0 во время полки занимает 100% ядра Я правильно понимаю, что входящая очередь интерфейса em1 занимает 100% прерываний ядра, что и является причиной проблем? Загрузка 70-100 тыс пакетов/сек, при среднем пакете 1кбайт Edited March 13, 2016 by Pedalik Вставить ник Quote
uxcr Posted March 13, 2016 Posted March 13, 2016 Про em1 вам уже сказали "- Two Queues (Tx & Rx) " Вставить ник Quote
uxcr Posted March 13, 2016 Posted March 13, 2016 em0 по спекам тоже какой-то отстой Вставить ник Quote
GrandPr1de Posted March 13, 2016 Posted March 13, 2016 ну карточки которые работают на em драйвере никогда не отличались чем-то сверх igb - наше всё :) так что начать с того, что бы добавить нормальных сетевух, а то перекос по ядрам и как следствие полка, о чем уже выше сказали Вставить ник Quote
Ivan_83 Posted March 13, 2016 Posted March 13, 2016 net.isr.dispatch=deferred # direct / hybrid / deffered // Interrupt handling via multiple CPU, but with context switch. спасёт отца русской демократии! Может ещё net.inet.ip.fastforwarding=0 поможет. Применяется на лету, ребут не нужен. Вставить ник Quote
Pedalik Posted June 1, 2016 Author Posted June 1, 2016 Поставили на замену другую машинку. Процессор Intel® Xeon® CPU E3-1220 V2 @ 3.30GHz Две четырех портовые сетевухи Intel® Ethernet Server Adapter I350-T4 Получилось два Транка по 4 гигабита. Получилась такая картина: last pid: 52204; load averages: 24.95, 24.24, 24.04 up 1+15:09:44 21:16:11 213 processes: 31 running, 134 sleeping, 48 waiting CPU 0: 0.0% user, 0.0% nice, 7.3% system, 92.3% interrupt, 0.4% idle CPU 1: 0.4% user, 0.0% nice, 2.7% system, 96.9% interrupt, 0.0% idle CPU 2: 0.4% user, 0.0% nice, 4.2% system, 95.4% interrupt, 0.0% idle CPU 3: 0.0% user, 0.0% nice, 2.3% system, 97.7% interrupt, 0.0% idle Mem: 278M Active, 254M Inact, 741M Wired, 40K Cache, 418M Buf, 2611M Free Swap: 4096M Total, 4096M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root -92 - 0K 1152K RUN 3 209:15 16.06% intr{irq277: igb2:que} 12 root -92 - 0K 1152K RUN 0 39:24 14.45% intr{irq284: igb4:que} 12 root -92 - 0K 1152K RUN 3 263:07 13.96% intr{irq292: igb5:que} 12 root -92 - 0K 1152K WAIT 2 270:43 13.48% intr{irq301: igb7:que} 12 root -92 - 0K 1152K CPU1 1 35:29 13.18% intr{irq285: igb4:que} 12 root -92 - 0K 1152K WAIT 0 277:52 12.99% intr{irq299: igb7:que} 12 root -92 - 0K 1152K WAIT 0 189:09 12.99% intr{irq294: igb6:que} 12 root -92 - 0K 1152K RUN 1 225:10 12.79% intr{irq275: igb2:que} 12 root -92 - 0K 1152K RUN 1 194:36 12.79% intr{irq295: igb6:que} 12 root -92 - 0K 1152K WAIT 2 213:03 12.70% intr{irq276: igb2:que} 12 root -92 - 0K 1152K WAIT 2 37:55 12.70% intr{irq286: igb4:que} 12 root -92 - 0K 1152K RUN 3 37:20 12.50% intr{irq287: igb4:que} 12 root -92 - 0K 1152K RUN 0 263:59 12.35% intr{irq289: igb5:que} 12 root -92 - 0K 1152K RUN 1 213:06 12.35% intr{irq280: igb3:que} 12 root -92 - 0K 1152K RUN 1 267:42 12.26% intr{irq300: igb7:que} 12 root -92 - 0K 1152K RUN 3 40:04 12.16% intr{irq267: igb0:que} 12 root -92 - 0K 1152K WAIT 2 265:11 12.06% intr{irq291: igb5:que} 12 root -92 - 0K 1152K WAIT 2 197:38 11.96% intr{irq296: igb6:que} 12 root -92 - 0K 1152K RUN 3 213:09 11.87% intr{irq282: igb3:que} 12 root -92 - 0K 1152K CPU3 3 190:58 11.47% intr{irq297: igb6:que} 12 root -92 - 0K 1152K RUN 0 212:26 11.28% intr{irq274: igb2:que} 12 root -92 - 0K 1152K RUN 1 264:40 11.18% intr{irq290: igb5:que} 12 root -92 - 0K 1152K RUN 3 208:51 11.08% intr{irq272: igb1:que} 12 root -92 - 0K 1152K WAIT 2 37:37 10.89% intr{irq266: igb0:que} 12 root -92 - 0K 1152K RUN 3 286:04 10.79% intr{irq302: igb7:que} 12 root -92 - 0K 1152K WAIT 2 202:12 10.69% intr{irq281: igb3:que} 12 root -92 - 0K 1152K WAIT 0 38:49 10.69% intr{irq264: igb0:que} 12 root -92 - 0K 1152K RUN 1 39:41 10.50% intr{irq265: igb0:que} 12 root -92 - 0K 1152K RUN 1 203:14 10.35% intr{irq270: igb1:que} 12 root -92 - 0K 1152K WAIT 2 207:18 10.06% intr{irq271: igb1:que} 12 root -92 - 0K 1152K RUN 0 207:50 9.86% intr{irq279: igb3:que} 12 root -92 - 0K 1152K RUN 0 206:11 9.86% intr{irq269: igb1:que} 0 root -92 0 0K 800K - 0 527:53 8.89% kernel{dummynet} 12 root -60 - 0K 1152K RUN 0 46:44 1.66% intr{swi4: clock} 45550 root 52 0 46160K 11200K RUN 2 0:04 0.49% perl 1393 root 20 0 221M 203M select 1 4:47 0.00% bgpd 2284 root 20 0 63288K 9684K select 3 3:32 0.00% snmpd 14 root -16 - 0K 16K - 1 2:49 0.00% yarrow 2304 root -16 - 0K 64K sleep 2 1:50 0.00% ng_queue{ng_queue0} 2304 root -16 - 0K 64K RUN 0 1:50 0.00% ng_queue{ng_queue1} 2304 root -16 - 0K 64K sleep 2 1:50 0.00% ng_queue{ng_queue2} 2304 root -16 - 0K 64K sleep 2 1:50 0.00% ng_queue{ng_queue3} Прерывания убивают проц. Как в наши дни борятся с подобными явлениями? Вставить ник Quote
roysbike Posted June 1, 2016 Posted June 1, 2016 Поставили на замену другую машинку. Процессор Intel® Xeon® CPU E3-1220 V2 @ 3.30GHz Две четырех портовые сетевухи Intel® Ethernet Server Adapter I350-T4 Получилось два Транка по 4 гигабита. Получилась такая картина: last pid: 52204; load averages: 24.95, 24.24, 24.04 up 1+15:09:44 21:16:11 213 processes: 31 running, 134 sleeping, 48 waiting CPU 0: 0.0% user, 0.0% nice, 7.3% system, 92.3% interrupt, 0.4% idle CPU 1: 0.4% user, 0.0% nice, 2.7% system, 96.9% interrupt, 0.0% idle CPU 2: 0.4% user, 0.0% nice, 4.2% system, 95.4% interrupt, 0.0% idle CPU 3: 0.0% user, 0.0% nice, 2.3% system, 97.7% interrupt, 0.0% idle Mem: 278M Active, 254M Inact, 741M Wired, 40K Cache, 418M Buf, 2611M Free Swap: 4096M Total, 4096M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root -92 - 0K 1152K RUN 3 209:15 16.06% intr{irq277: igb2:que} 12 root -92 - 0K 1152K RUN 0 39:24 14.45% intr{irq284: igb4:que} 12 root -92 - 0K 1152K RUN 3 263:07 13.96% intr{irq292: igb5:que} 12 root -92 - 0K 1152K WAIT 2 270:43 13.48% intr{irq301: igb7:que} 12 root -92 - 0K 1152K CPU1 1 35:29 13.18% intr{irq285: igb4:que} 12 root -92 - 0K 1152K WAIT 0 277:52 12.99% intr{irq299: igb7:que} 12 root -92 - 0K 1152K WAIT 0 189:09 12.99% intr{irq294: igb6:que} 12 root -92 - 0K 1152K RUN 1 225:10 12.79% intr{irq275: igb2:que} 12 root -92 - 0K 1152K RUN 1 194:36 12.79% intr{irq295: igb6:que} 12 root -92 - 0K 1152K WAIT 2 213:03 12.70% intr{irq276: igb2:que} 12 root -92 - 0K 1152K WAIT 2 37:55 12.70% intr{irq286: igb4:que} 12 root -92 - 0K 1152K RUN 3 37:20 12.50% intr{irq287: igb4:que} 12 root -92 - 0K 1152K RUN 0 263:59 12.35% intr{irq289: igb5:que} 12 root -92 - 0K 1152K RUN 1 213:06 12.35% intr{irq280: igb3:que} 12 root -92 - 0K 1152K RUN 1 267:42 12.26% intr{irq300: igb7:que} 12 root -92 - 0K 1152K RUN 3 40:04 12.16% intr{irq267: igb0:que} 12 root -92 - 0K 1152K WAIT 2 265:11 12.06% intr{irq291: igb5:que} 12 root -92 - 0K 1152K WAIT 2 197:38 11.96% intr{irq296: igb6:que} 12 root -92 - 0K 1152K RUN 3 213:09 11.87% intr{irq282: igb3:que} 12 root -92 - 0K 1152K CPU3 3 190:58 11.47% intr{irq297: igb6:que} 12 root -92 - 0K 1152K RUN 0 212:26 11.28% intr{irq274: igb2:que} 12 root -92 - 0K 1152K RUN 1 264:40 11.18% intr{irq290: igb5:que} 12 root -92 - 0K 1152K RUN 3 208:51 11.08% intr{irq272: igb1:que} 12 root -92 - 0K 1152K WAIT 2 37:37 10.89% intr{irq266: igb0:que} 12 root -92 - 0K 1152K RUN 3 286:04 10.79% intr{irq302: igb7:que} 12 root -92 - 0K 1152K WAIT 2 202:12 10.69% intr{irq281: igb3:que} 12 root -92 - 0K 1152K WAIT 0 38:49 10.69% intr{irq264: igb0:que} 12 root -92 - 0K 1152K RUN 1 39:41 10.50% intr{irq265: igb0:que} 12 root -92 - 0K 1152K RUN 1 203:14 10.35% intr{irq270: igb1:que} 12 root -92 - 0K 1152K WAIT 2 207:18 10.06% intr{irq271: igb1:que} 12 root -92 - 0K 1152K RUN 0 207:50 9.86% intr{irq279: igb3:que} 12 root -92 - 0K 1152K RUN 0 206:11 9.86% intr{irq269: igb1:que} 0 root -92 0 0K 800K - 0 527:53 8.89% kernel{dummynet} 12 root -60 - 0K 1152K RUN 0 46:44 1.66% intr{swi4: clock} 45550 root 52 0 46160K 11200K RUN 2 0:04 0.49% perl 1393 root 20 0 221M 203M select 1 4:47 0.00% bgpd 2284 root 20 0 63288K 9684K select 3 3:32 0.00% snmpd 14 root -16 - 0K 16K - 1 2:49 0.00% yarrow 2304 root -16 - 0K 64K sleep 2 1:50 0.00% ng_queue{ng_queue0} 2304 root -16 - 0K 64K RUN 0 1:50 0.00% ng_queue{ng_queue1} 2304 root -16 - 0K 64K sleep 2 1:50 0.00% ng_queue{ng_queue2} 2304 root -16 - 0K 64K sleep 2 1:50 0.00% ng_queue{ng_queue3} Прерывания убивают проц. Как в наши дни борятся с подобными явлениями? Пусть хоть и кричат, что надо тюнить freebsd и тп и когда я перепргынул за 10 гбит, я перешел на linux. И забыл о проблемах. Там тоже конечно пришлось потюнить, но зато небо и земля. Вставить ник Quote
uxcr Posted June 1, 2016 Posted June 1, 2016 Прерывания убивают проц. loader.conf hw.igb.rxd=4096 hw.igb.txd=4096 hw.igb.num_queues=8 net.link.ifqmaxlen=10240 net.isr.maxthreads=4 Вставить ник Quote
Ivan_83 Posted June 1, 2016 Posted June 1, 2016 У вас там ипфв+димминет, нетграф. То что в топе прерывания - это потому что ипфв обрабатывается в их контексте, видимо стоит сисцтл isr=direct или гибрид. Оптимизируйте правила или вообще его не загружайте и станет легче прерываниям. Вставить ник Quote
vlad11 Posted June 2, 2016 Posted June 2, 2016 Пусть хоть и кричат, что надо тюнить freebsd и тп и когда я перепргынул за 10 гбит, я перешел на linux. И забыл о проблемах. Там тоже конечно пришлось потюнить, но зато небо и земля. Темы с проблемами и оптимизациями Линукса в соседних ветках. :) Вставить ник Quote
polmax Posted December 5, 2016 Posted December 5, 2016 Может ещё net.inet.ip.fastforwarding=0 поможет. Применяется на лету, ребут не нужен. В связи с выходом FreeBSD 11 (релиза), возник вопрос, почему из 11 убрали этот параметр? Вставить ник Quote
Ivan_83 Posted December 5, 2016 Posted December 5, 2016 Сделали включённым по дефолту всегда. Вставить ник Quote
Pedalik73 Posted November 3, 2017 Posted November 3, 2017 (edited) Подниму изначальную тему. После того как осознали что проц был слабоват, поставили двухпроцессорный сервер на Core i 5 с двумя 10G ix и 8 igb. По стечению обстоятельств запустили его с конфигурацией: HT=on hw.igb.rxd=4096 hw.igb.txd=4096 hw.igb.num_queues=2 Всё завелось на половине потоков, работало всё нормально, прокачивало около 3 гиг, пока не решили начать тыкать в него 10Г.. В итоге стало в нем 10г на вход и 10г на выход. Результат был плачевный. в какой-то момент проц сваливался в 100% загрузку, часть заружено прерываниями, часть kernel процессами тех же очередей карт. После долгих мучений было решено вернуться на изначальный конфиг, и какого же наше удивление было, когда мы увидели ту же самую картину! Спойлер last pid: 6247; load averages: 17.62, 16.99, 16.53 up 0+03:35:25 20:28:47 72 processes: 1 running, 65 sleeping, 5 stopped, 1 zombie CPU 0: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 1: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 2: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 3: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 4: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 5: 0.0% user, 0.0% nice, 0.4% system, 3.1% interrupt, 96.5% idle CPU 6: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 7: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 8: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 9: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 10: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 11: 0.0% user, 0.0% nice, 0.0% system, 0.9% interrupt, 99.1% idle CPU 12: 0.0% user, 0.0% nice, 0.0% system, 68.6% interrupt, 31.4% idle CPU 13: 0.0% user, 0.0% nice, 0.0% system, 42.0% interrupt, 58.0% idle CPU 14: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 15: 0.0% user, 0.0% nice, 0.0% system, 1.3% interrupt, 98.7% idle CPU 16: 0.0% user, 0.0% nice, 43.2% system, 0.8% interrupt, 56.0% idle CPU 17: 0.0% user, 0.0% nice, 2.0% system, 0.8% interrupt, 97.3% idle CPU 18: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 19: 0.0% user, 0.0% nice, 99.6% system, 0.4% interrupt, 0.0% idle CPU 20: 0.4% user, 0.0% nice, 18.6% system, 0.4% interrupt, 80.6% idle CPU 21: 0.0% user, 0.0% nice, 7.0% system, 0.4% interrupt, 92.6% idle CPU 22: 0.0% user, 0.0% nice, 11.8% system, 0.0% interrupt, 88.2% idle CPU 23: 0.0% user, 0.0% nice, 2.0% system, 0.0% interrupt, 98.0% idle CPU 24: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 25: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 26: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 27: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 28: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 29: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 30: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 31: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle Mem: 129M Active, 276M Inact, 711M Wired, 4K Cache, 6675M Free ARC: 60M Total, 12M MFU, 45M MRU, 16K Anon, 449K Header, 2251K Other Swap: 2048M Total, 2048M Free Спойлер # vmstat -i interrupt total rate irq9: acpi0 3 0 irq18: ehci0 ehci1 26384 2 cpu0:timer 13637474 1054 irq282: igb0:que 0 20855531 1612 irq283: igb0:que 1 19306344 1492 irq284: igb0:link 4 0 irq285: igb1:que 0 24009270 1856 irq286: igb1:que 1 24408903 1887 irq287: igb1:link 4 0 irq288: igb2:que 0 34691220 2681 irq289: igb2:que 1 35442275 2740 irq290: igb2:link 4 0 irq291: igb3:que 0 26977873 2085 irq292: igb3:que 1 25720837 1988 irq293: igb3:link 3 0 irq294: ahci0 45520 3 irq295: xhci0 17223 1 irq297: igb4:que 0 20878108 1614 irq298: igb4:que 1 19599112 1515 irq299: igb4:link 2 0 irq300: igb5:que 0 21648562 1673 irq301: igb5:que 1 18034388 1394 irq302: igb5:link 3 0 irq303: igb6:que 0 18795197 1453 irq304: igb6:que 1 16539014 1278 irq305: igb6:link 3 0 irq306: igb7:que 0 22178336 1714 irq307: igb7:que 1 23015704 1779 irq308: igb7:link 3 0 cpu1:timer 6931555 535 cpu6:timer 8012195 619 cpu31:timer 5712747 441 cpu3:timer 7586581 586 cpu20:timer 5456197 421 cpu13:timer 6948018 537 cpu22:timer 6493600 502 cpu12:timer 6767008 523 cpu23:timer 5364073 414 cpu2:timer 7298584 564 cpu24:timer 7966941 615 cpu5:timer 9103456 703 cpu27:timer 5563677 430 cpu4:timer 8398063 649 cpu25:timer 4385838 339 cpu17:timer 5862911 453 cpu9:timer 5874000 454 cpu29:timer 7252325 560 cpu8:timer 7598747 587 cpu30:timer 6480246 500 cpu7:timer 7411968 573 cpu26:timer 6460008 499 cpu10:timer 6845384 529 cpu21:timer 6194089 478 cpu11:timer 6131754 474 cpu28:timer 5687565 439 cpu16:timer 5796371 448 cpu14:timer 6425816 496 cpu15:timer 6487966 501 cpu19:timer 6103632 471 cpu18:timer 5569719 430 Total 589998338 45612 Если кто подскажет в какую вообще сторону копать - будем благодарны Edited November 3, 2017 by Pedalik73 Вставить ник Quote
Ivan_83 Posted November 3, 2017 Posted November 3, 2017 Многопроцовые конфиги это для случаев когда у вас вычислений много, ну там видео/биткойны/архивация/СУБД и прочая муйня. У вас конфиг в котором дохренища прерываний, а вычислений около нуля. Ну вот оно и начинает гонять 100500 прерываний/сек между процами, а там узко. Вставить ник Quote
GrandPr1de Posted November 4, 2017 Posted November 4, 2017 Угу, давно известный факт что с NUMA обычно больше проблем, чем пользы. У меня два х5550 прокачивали меньше чем один х5550 (речь о xeon). Сетевки были x520. Но у него маленькая тактовая. Нужно что-то явно больше. Вам нужен проц не с большим кол-вом ядер, а с большой тактовой. Так что один топовый i7 и вперед. Ну и втопку HT. На моих тестах особенно с NUMA было больше вреда, чем пользы (вымывание кеша процессоров из-за обмена данными между ними). Ну и судя по картинке вашего top - у вас половина тредов простаивает, в то время, как некоторые ядра на 100% нагружены. Так что i7 на 4-8 ядер, выключенный HT и по-больше тактовой. Вставить ник Quote
Ivan_83 Posted November 5, 2017 Posted November 5, 2017 Можно и райзены попробовать, но там нюансов много при выборе :) Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.