[agnitumus]

Имеем боевая машина

ProLiant DL380p Gen8

2xIntel® Xeon® CPU E5-2620 v2 @ 2.10GHz

 

FreeBSD + MPD + Radius -> L2TP/IPSEC LAC (280 vlans/1020 Tunnels) = 3500+ Сессий (1.6G) трафика

 

 

 

 

Даже и не знаю куда копать ...

Была похожая ситуация и Решил проблему отключением HyperTrading.

А тут уже никак

 

Сеточки

03:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)

03:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)

03:00.2 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)

03:00.3 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)

07:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

07:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) <-- ix1 только через него трафик

 

 

ifconfig ix1

ix1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500

options=407bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWTSO>

ether 90:e2:ba:97:ab:21

inet 10.0.0.1 netmask 0xffff0000 broadcast 10.0.255.255

inet 10.1.0.1 netmask 0xffff0000 broadcast 10.1.255.255

media: Ethernet autoselect (10Gbase-SR <full-duplex>)

status: active

 

 

Спустя минут 20

Edited March 17, 2016 by agnitumus

[MATPOC]

Имеем боевая машина

 

 

Даже и не знаю куда копать ...

О боже, скриншоты консоли!

[uxcr]

Видимо сухой текст был бы не так красив.

tmux?

 

Чуть не забыл.

Выложите vmstat -z, netstat -m

[Ivan_83]

Отключите экономайзеры энергии.

поверд и всякие непонятные фичи в биосе.

[agnitumus]

Видимо сухой текст был бы не так красив.

tmux?

 

Чуть не забыл.

Выложите vmstat -z, netstat -m

 

Думаете, так не красивее ?

-

Хотелось бы всё-таки по теме !

[agnitumus]

Видимо сухой текст был бы не так красив.

tmux?

 

Чуть не забыл.

Выложите vmstat -z, netstat -m

 

С ними всё-прекрасно, к сожалению ...

 

 

root@gate:/etc # netstat -m

9694/229676/239370 mbufs in use (current/cache/total)

9624/16510/26134/115824288 mbuf clusters in use (current/cache/total/max)

9624/14952 mbuf+clusters out of packet secondary zone in use (current/cache)

0/686/686/5824288 4k (page size) jumbo clusters in use (current/cache/total/max)

0/27/27/602393 9k jumbo clusters in use (current/cache/total/max)

0/0/0/338846 16k jumbo clusters in use (current/cache/total/max)

21682K/93426K/115108K bytes allocated to network (current/cache/total)

0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)

0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)

0/0/0 requests for jumbo clusters delayed (4k/9k/16k)

0/0/0 requests for jumbo clusters denied (4k/9k/16k)

0/0/0 sfbufs in use (current/peak/max)

0 requests for sfbufs denied

0 requests for sfbufs delayed

0 requests for I/O initiated by sendfile

0 calls to protocol drain routines

 

 

 

 

 

root@gate:/etc # vmstat -z

ITEM SIZE LIMIT USED FREE REQ FAIL SLEEP

UMA Kegs: 208, 0, 106, 13, 110, 0, 0

UMA Zones: 1920, 0, 106, 0, 110, 0, 0

UMA Slabs: 568, 0, 74700, 18,40854214, 0, 0

UMA RCntSlabs: 568, 0, 13780, 3, 13780, 0, 0

UMA Hash: 256, 0, 0, 15, 4, 0, 0

16 Bucket: 152, 0, 253, 22, 255, 0, 0

32 Bucket: 280, 0, 387, 5, 404, 0, 0

64 Bucket: 536, 0, 697, 3, 771, 120, 0

128 Bucket: 1048, 0, 22125, 0, 1807767,43847, 0

VM OBJECT: 232, 0, 180807, 28345,704342204, 0, 0

MAP: 240, 0, 8, 24, 8, 0, 0

KMAP ENTRY: 128, 3277957, 386, 3790,118228349, 0, 0

MAP ENTRY: 128, 0, 4320, 41732,3179356517, 0, 0

fakepg: 120, 0, 0, 0, 0, 0, 0

mt_zone: 4112, 0, 295, 0, 295, 0, 0

16: 16, 0, 8046, 2370,379158931, 0, 0

32: 32, 0, 23828, 25359,93687834410, 0, 0

64: 64, 0, 21321, 22975,20814279867, 0, 0

128: 128, 0, 1688221, 166445,1255526434, 0, 0

256: 256, 0, 50950, 6845,474632018, 0, 0

512: 512, 0, 13865, 16501, 8356768, 0, 0

1024: 1024, 0, 88, 860,41834745, 0, 0

2048: 2048, 0, 4815, 1393, 2928605, 0, 0

4096: 4096, 0, 6948, 2041,11752019, 0, 0

Files: 80, 0, 3483, 4617,1048382320, 0, 0

rl_entry: 40, 0, 802, 290, 802, 0, 0

TURNSTILE: 136, 0, 4855, 285, 4855, 0, 0

umtx pi: 96, 0, 0, 0, 0, 0, 0

MAC labels: 40, 0, 0, 0, 0, 0, 0

PROC: 1192, 0, 84, 735, 5039355, 0, 0

THREAD: 1160, 0, 1281, 3573, 3846788, 0, 0

SLEEPQUEUE: 80, 0, 4855, 394, 4855, 0, 0

VMSPACE: 400, 0, 60, 750, 5039282, 0, 0

cpuset: 72, 0, 143, 57, 171, 0, 0

audit_record: 960, 0, 0, 0, 0, 0, 0

mbuf_packet: 256, 26023410, 9382, 15194,40951440414, 0, 0

mbuf: 256, 26023410, 63, 214731,99815364869, 0, 0

mbuf_cluster: 2048, 115824288, 24576, 1558,15346389, 0, 0

mbuf_jumbo_page: 4096, 5824288, 0, 686, 654383, 0, 0

mbuf_jumbo_9k: 9216, 602393, 0, 27, 23, 0, 0

mbuf_jumbo_16k: 16384, 338846, 0, 0, 0, 0, 0

mbuf_ext_refcnt: 4, 0, 0, 0, 0, 0, 0

NetGraph items: 72, 11212067, 14, 1320,19839095100, 0, 0

NetGraph data items: 72, 11212067, 2, 23749,45725451349, 0, 0

g_bio: 248, 0, 0, 7320,23445371, 0, 0

ttyinq: 160, 0, 315, 813, 2700, 0, 0

ttyoutq: 256, 0, 167, 493, 1420, 0, 0

ata_request: 320, 0, 0, 24, 1, 0, 0

ata_composite: 336, 0, 0, 0, 0, 0, 0

vtnet_tx_hdr: 24, 0, 0, 0, 0, 0, 0

cryptop: 88, 0, 0, 0, 0, 0, 0

cryptodesc: 72, 0, 0, 0, 0, 0, 0

FPU_save_area: 832, 0, 0, 0, 0, 0, 0

VNODE: 504, 0, 442070, 2122, 5495894, 0, 0

VNODEPOLL: 112, 0, 3, 426, 62, 0, 0

NAMEI: 1024, 0, 0, 400,1722994119, 0, 0

S VFS Cache: 108, 0, 351855, 92820, 5052984, 0, 0

STS VFS Cache: 148, 0, 0, 0, 0, 0, 0

L VFS Cache: 328, 0, 63666, 1962, 553409, 0, 0

LTS VFS Cache: 368, 0, 0, 0, 0, 0, 0

NCLNODE: 568, 0, 0, 0, 0, 0, 0

DIRHASH: 1024, 0, 5285, 223, 5675, 0, 0

pipe: 728, 0, 8, 617, 2201325, 0, 0

Mountpoints: 824, 0, 4, 8, 4, 0, 0

ksiginfo: 112, 0, 806, 1306, 88186, 0, 0

itimer: 344, 0, 0, 22, 1, 0, 0

pfsrctrpl: 152, 200000, 0, 0, 0, 0, 0

pfrulepl: 936, 0, 0, 768, 2345, 0, 0

pfstatepl: 288, 5000008, 0, 150592, 3363940,1782423, 0

pfstatekeypl: 288, 0, 0, 292916,10293827, 0, 0

pfstateitempl: 288, 0, 0, 292825, 6727879, 0, 0

pfaltqpl: 240, 0, 0, 0, 0, 0, 0

pfpooladdrpl: 88, 0, 0, 840, 2215, 0, 0

pfrktable: 1296, 1002, 0, 0, 0, 0, 0

pfrkentry: 160, 200016, 0, 0, 0, 0, 0

pfrkcounters: 64, 0, 0, 0, 0, 0, 0

pffrent: 32, 200081, 0, 1616, 2700949, 0, 0

pffrag: 80, 0, 0, 765, 972277, 0, 0

pffrcache: 80, 10035, 0, 0, 0, 0, 0

pffrcent: 24, 50022, 0, 0, 0, 0, 0

pfstatescrub: 40, 0, 0, 0, 0, 0, 0

pfiaddrpl: 120, 0, 0, 0, 0, 0, 0

pfospfen: 112, 0, 0, 1287, 25560, 0, 0

pfosfp: 40, 0, 0, 1764, 15120, 0, 0

KNOTE: 128, 0, 50, 1052, 7240468, 0, 0

socket: 680, 1212048, 3896, 4240,17055029, 0, 0

ipq: 56, 3619539, 0, 567, 410, 0, 0

udp_inpcb: 392, 1212050, 1826, 3964, 4963971, 0, 0

udpcb: 16, 1212120, 1826, 4222, 4963971, 0, 0

tcp_inpcb: 392, 1212050, 19, 951, 149855, 0, 0

tcpcb: 976, 1212048, 19, 653, 149855, 0, 0

tcptw: 72, 165550, 0, 1200, 17320, 0, 0

syncache: 152, 102400, 0, 475, 129545, 0, 0

hostcache: 136, 15372, 13, 407, 356, 0, 0

sackhole: 32, 0, 0, 909, 3894, 0, 0

tcpreass: 40, 7239036, 0, 756, 6564, 0, 0

ripcb: 392, 1212050, 3, 197, 3994, 0, 0

unpcb: 240, 1212048, 440, 984,11198338, 0, 0

rtentry: 200, 0, 6858, 1388, 105569, 0, 0

pfsync: 88, 0, 0, 0, 0, 0, 0

IPFW dynamic rule: 120, 165540, 0, 0, 0, 0, 0

divcb: 392, 1212050, 0, 0, 0, 0, 0

selfd: 56, 0, 4953, 6513,100430786585, 0, 0

SWAPMETA: 288, 5421546, 0, 0, 0, 0, 0

FFS inode: 168, 0, 442012, 2168, 5495728, 0, 0

FFS1 dinode: 128, 0, 0, 0, 0, 0, 0

FFS2 dinode: 256, 0, 442012, 2138, 5495728, 0, 0

NetFlow IPv4 cache: 88, 262160, 119646, 22222,202951056, 0, 0

 

 

 

Отключите экономайзеры энергии.

поверд и всякие непонятные фичи в биосе.

 

А чуточку по подробнее ?

P.S: Заметил, что загибается машина из-за ната. (но, почему так ? Вообще кто-то встречал повышение пинга на localhost ?)

Edited March 18, 2016 by agnitumus

[FATHER_FBI]

А чуточку по подробнее ?

P.S: Заметил, что загибается машина из-за ната. (но, почему так ? Вообще кто-то встречал повышение пинга на localhost ?)

Режимы энергосбережения и все что с ними связано. Сделайте в биосе так что бы сервер херачил на максимум.

[agnitumus]

Вселье продолжается !

 

https://yadi.sk/i/8eOMrEIIqJXFs

[uxcr]

По мне всё выглядит всё так что тормозят очереди. sysctl net.isr/dev.ix

[agnitumus]

По мне всё выглядит всё так что тормозят очереди. sysctl net.isr/dev.ix

Ну оно очевидно ! Но, вот, куда копать ...

 

З.Ы: Поотрубал всё, что немыслимо и мыслимо и включил везде максимальную производительность ... Жду сегодняшнего дня !

Edited March 19, 2016 by agnitumus

[jab]

Ну оно очевидно ! Но, вот, куда копать ...

 

Если нат, то подкрутить таймауты ната для уменьшения количества стейтов. Но вообще мало информации по системе.

 

У меня похожая ситуация была когда dummynet перествал вдруг помещаться в L2 кеш процессора, да и c pf'ом что-то такое было.

[Avad0n]

да и c pf'ом что-то такое было.

Ну с pf до 10 версии Free точно могло быть все печально с натом, учитывая его однопоточность.

[agnitumus]

Ну оно очевидно ! Но, вот, куда копать ...

 

Если нат, то подкрутить таймауты ната для уменьшения количества стейтов. Но вообще мало информации по системе.

 

У меня похожая ситуация была когда dummynet перествал вдруг помещаться в L2 кеш процессора, да и c pf'ом что-то такое было.

Ну насколько. я знаю: PF при такуй нагрузке скажет, ПОКА (И сервер ляжет спатки)

 

 

Отвключил всё, абсолютно ! (Питание вспомогательное и т/д ! МПД Упал !

Господа, кто может помочь ?

 

Ну оно очевидно ! Но, вот, куда копать ...

 

Если нат, то подкрутить таймауты ната для уменьшения количества стейтов. Но вообще мало информации по системе.

 

У меня похожая ситуация была когда dummynet перествал вдруг помещаться в L2 кеш процессора, да и c pf'ом что-то такое было.

Ну насколько. я знаю: PF при такуй нагрузке скажет, ПОКА (И сервер ляжет спатки)

 

 

Отвключил всё, абсолютно ! (Питание вспомогательное и т/д ! МПД Упал !

Господа, кто может помочь ?

 

P.S: Я юзаю IPFW nat

[DDR]

P.S: Я юзаю IPFW nat

pfsrctrpl: 152, 200000, 0, 0, 0, 0, 0

Для чего тогда модуль pf загружен?

Edited March 19, 2016 by DDR

[agnitumus]

P.S: Я юзаю IPFW nat

pfsrctrpl: 152, 200000, 0, 0, 0, 0, 0

Для чего тогда модуль pf загружен?

 

Он есть в Ядре ! И я пробовал на момент снятия скриншота делать нат на нем, и попутно scrub. Он мешает ? Надо убрать ?

 

----

Иернул Hypetrading отрубил TurboBoost

 

https://yadi.sk/i/wUIlzygMqLGSZ

Пока всё ок, но и траффик маленький

---

Edited March 20, 2016 by agnitumus

[polmax]

Он мешает ? Надо убрать ?

Если не используется, то как он может мешать? Я думаю что проблема точно не в нём.