agnitumus Posted March 17, 2016 Posted March 17, 2016 (edited) Имеем боевая машина ProLiant DL380p Gen8 2xIntel® Xeon® CPU E5-2620 v2 @ 2.10GHz FreeBSD + MPD + Radius -> L2TP/IPSEC LAC (280 vlans/1020 Tunnels) = 3500+ Сессий (1.6G) трафика Даже и не знаю куда копать ... Была похожая ситуация и Решил проблему отключением HyperTrading. А тут уже никак Сеточки 03:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 03:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 03:00.2 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 03:00.3 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 07:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) 07:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) <-- ix1 только через него трафик ifconfig ix1 ix1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=407bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWTSO> ether 90:e2:ba:97:ab:21 inet 10.0.0.1 netmask 0xffff0000 broadcast 10.0.255.255 inet 10.1.0.1 netmask 0xffff0000 broadcast 10.1.255.255 media: Ethernet autoselect (10Gbase-SR <full-duplex>) status: active Спустя минут 20 Edited March 17, 2016 by agnitumus Вставить ник Quote
MATPOC Posted March 18, 2016 Posted March 18, 2016 Имеем боевая машина Даже и не знаю куда копать ... О боже, скриншоты консоли! Вставить ник Quote
uxcr Posted March 18, 2016 Posted March 18, 2016 Видимо сухой текст был бы не так красив. tmux? Чуть не забыл. Выложите vmstat -z, netstat -m Вставить ник Quote
Ivan_83 Posted March 18, 2016 Posted March 18, 2016 Отключите экономайзеры энергии. поверд и всякие непонятные фичи в биосе. Вставить ник Quote
agnitumus Posted March 18, 2016 Author Posted March 18, 2016 Видимо сухой текст был бы не так красив. tmux? Чуть не забыл. Выложите vmstat -z, netstat -m Думаете, так не красивее ? - Хотелось бы всё-таки по теме ! Вставить ник Quote
agnitumus Posted March 18, 2016 Author Posted March 18, 2016 (edited) Видимо сухой текст был бы не так красив. tmux? Чуть не забыл. Выложите vmstat -z, netstat -m С ними всё-прекрасно, к сожалению ... root@gate:/etc # netstat -m 9694/229676/239370 mbufs in use (current/cache/total) 9624/16510/26134/115824288 mbuf clusters in use (current/cache/total/max) 9624/14952 mbuf+clusters out of packet secondary zone in use (current/cache) 0/686/686/5824288 4k (page size) jumbo clusters in use (current/cache/total/max) 0/27/27/602393 9k jumbo clusters in use (current/cache/total/max) 0/0/0/338846 16k jumbo clusters in use (current/cache/total/max) 21682K/93426K/115108K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters delayed (4k/9k/16k) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/0/0 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile 0 calls to protocol drain routines root@gate:/etc # vmstat -z ITEM SIZE LIMIT USED FREE REQ FAIL SLEEP UMA Kegs: 208, 0, 106, 13, 110, 0, 0 UMA Zones: 1920, 0, 106, 0, 110, 0, 0 UMA Slabs: 568, 0, 74700, 18,40854214, 0, 0 UMA RCntSlabs: 568, 0, 13780, 3, 13780, 0, 0 UMA Hash: 256, 0, 0, 15, 4, 0, 0 16 Bucket: 152, 0, 253, 22, 255, 0, 0 32 Bucket: 280, 0, 387, 5, 404, 0, 0 64 Bucket: 536, 0, 697, 3, 771, 120, 0 128 Bucket: 1048, 0, 22125, 0, 1807767,43847, 0 VM OBJECT: 232, 0, 180807, 28345,704342204, 0, 0 MAP: 240, 0, 8, 24, 8, 0, 0 KMAP ENTRY: 128, 3277957, 386, 3790,118228349, 0, 0 MAP ENTRY: 128, 0, 4320, 41732,3179356517, 0, 0 fakepg: 120, 0, 0, 0, 0, 0, 0 mt_zone: 4112, 0, 295, 0, 295, 0, 0 16: 16, 0, 8046, 2370,379158931, 0, 0 32: 32, 0, 23828, 25359,93687834410, 0, 0 64: 64, 0, 21321, 22975,20814279867, 0, 0 128: 128, 0, 1688221, 166445,1255526434, 0, 0 256: 256, 0, 50950, 6845,474632018, 0, 0 512: 512, 0, 13865, 16501, 8356768, 0, 0 1024: 1024, 0, 88, 860,41834745, 0, 0 2048: 2048, 0, 4815, 1393, 2928605, 0, 0 4096: 4096, 0, 6948, 2041,11752019, 0, 0 Files: 80, 0, 3483, 4617,1048382320, 0, 0 rl_entry: 40, 0, 802, 290, 802, 0, 0 TURNSTILE: 136, 0, 4855, 285, 4855, 0, 0 umtx pi: 96, 0, 0, 0, 0, 0, 0 MAC labels: 40, 0, 0, 0, 0, 0, 0 PROC: 1192, 0, 84, 735, 5039355, 0, 0 THREAD: 1160, 0, 1281, 3573, 3846788, 0, 0 SLEEPQUEUE: 80, 0, 4855, 394, 4855, 0, 0 VMSPACE: 400, 0, 60, 750, 5039282, 0, 0 cpuset: 72, 0, 143, 57, 171, 0, 0 audit_record: 960, 0, 0, 0, 0, 0, 0 mbuf_packet: 256, 26023410, 9382, 15194,40951440414, 0, 0 mbuf: 256, 26023410, 63, 214731,99815364869, 0, 0 mbuf_cluster: 2048, 115824288, 24576, 1558,15346389, 0, 0 mbuf_jumbo_page: 4096, 5824288, 0, 686, 654383, 0, 0 mbuf_jumbo_9k: 9216, 602393, 0, 27, 23, 0, 0 mbuf_jumbo_16k: 16384, 338846, 0, 0, 0, 0, 0 mbuf_ext_refcnt: 4, 0, 0, 0, 0, 0, 0 NetGraph items: 72, 11212067, 14, 1320,19839095100, 0, 0 NetGraph data items: 72, 11212067, 2, 23749,45725451349, 0, 0 g_bio: 248, 0, 0, 7320,23445371, 0, 0 ttyinq: 160, 0, 315, 813, 2700, 0, 0 ttyoutq: 256, 0, 167, 493, 1420, 0, 0 ata_request: 320, 0, 0, 24, 1, 0, 0 ata_composite: 336, 0, 0, 0, 0, 0, 0 vtnet_tx_hdr: 24, 0, 0, 0, 0, 0, 0 cryptop: 88, 0, 0, 0, 0, 0, 0 cryptodesc: 72, 0, 0, 0, 0, 0, 0 FPU_save_area: 832, 0, 0, 0, 0, 0, 0 VNODE: 504, 0, 442070, 2122, 5495894, 0, 0 VNODEPOLL: 112, 0, 3, 426, 62, 0, 0 NAMEI: 1024, 0, 0, 400,1722994119, 0, 0 S VFS Cache: 108, 0, 351855, 92820, 5052984, 0, 0 STS VFS Cache: 148, 0, 0, 0, 0, 0, 0 L VFS Cache: 328, 0, 63666, 1962, 553409, 0, 0 LTS VFS Cache: 368, 0, 0, 0, 0, 0, 0 NCLNODE: 568, 0, 0, 0, 0, 0, 0 DIRHASH: 1024, 0, 5285, 223, 5675, 0, 0 pipe: 728, 0, 8, 617, 2201325, 0, 0 Mountpoints: 824, 0, 4, 8, 4, 0, 0 ksiginfo: 112, 0, 806, 1306, 88186, 0, 0 itimer: 344, 0, 0, 22, 1, 0, 0 pfsrctrpl: 152, 200000, 0, 0, 0, 0, 0 pfrulepl: 936, 0, 0, 768, 2345, 0, 0 pfstatepl: 288, 5000008, 0, 150592, 3363940,1782423, 0 pfstatekeypl: 288, 0, 0, 292916,10293827, 0, 0 pfstateitempl: 288, 0, 0, 292825, 6727879, 0, 0 pfaltqpl: 240, 0, 0, 0, 0, 0, 0 pfpooladdrpl: 88, 0, 0, 840, 2215, 0, 0 pfrktable: 1296, 1002, 0, 0, 0, 0, 0 pfrkentry: 160, 200016, 0, 0, 0, 0, 0 pfrkcounters: 64, 0, 0, 0, 0, 0, 0 pffrent: 32, 200081, 0, 1616, 2700949, 0, 0 pffrag: 80, 0, 0, 765, 972277, 0, 0 pffrcache: 80, 10035, 0, 0, 0, 0, 0 pffrcent: 24, 50022, 0, 0, 0, 0, 0 pfstatescrub: 40, 0, 0, 0, 0, 0, 0 pfiaddrpl: 120, 0, 0, 0, 0, 0, 0 pfospfen: 112, 0, 0, 1287, 25560, 0, 0 pfosfp: 40, 0, 0, 1764, 15120, 0, 0 KNOTE: 128, 0, 50, 1052, 7240468, 0, 0 socket: 680, 1212048, 3896, 4240,17055029, 0, 0 ipq: 56, 3619539, 0, 567, 410, 0, 0 udp_inpcb: 392, 1212050, 1826, 3964, 4963971, 0, 0 udpcb: 16, 1212120, 1826, 4222, 4963971, 0, 0 tcp_inpcb: 392, 1212050, 19, 951, 149855, 0, 0 tcpcb: 976, 1212048, 19, 653, 149855, 0, 0 tcptw: 72, 165550, 0, 1200, 17320, 0, 0 syncache: 152, 102400, 0, 475, 129545, 0, 0 hostcache: 136, 15372, 13, 407, 356, 0, 0 sackhole: 32, 0, 0, 909, 3894, 0, 0 tcpreass: 40, 7239036, 0, 756, 6564, 0, 0 ripcb: 392, 1212050, 3, 197, 3994, 0, 0 unpcb: 240, 1212048, 440, 984,11198338, 0, 0 rtentry: 200, 0, 6858, 1388, 105569, 0, 0 pfsync: 88, 0, 0, 0, 0, 0, 0 IPFW dynamic rule: 120, 165540, 0, 0, 0, 0, 0 divcb: 392, 1212050, 0, 0, 0, 0, 0 selfd: 56, 0, 4953, 6513,100430786585, 0, 0 SWAPMETA: 288, 5421546, 0, 0, 0, 0, 0 FFS inode: 168, 0, 442012, 2168, 5495728, 0, 0 FFS1 dinode: 128, 0, 0, 0, 0, 0, 0 FFS2 dinode: 256, 0, 442012, 2138, 5495728, 0, 0 NetFlow IPv4 cache: 88, 262160, 119646, 22222,202951056, 0, 0 Отключите экономайзеры энергии. поверд и всякие непонятные фичи в биосе. А чуточку по подробнее ? P.S: Заметил, что загибается машина из-за ната. (но, почему так ? Вообще кто-то встречал повышение пинга на localhost ?) Edited March 18, 2016 by agnitumus Вставить ник Quote
FATHER_FBI Posted March 18, 2016 Posted March 18, 2016 А чуточку по подробнее ? P.S: Заметил, что загибается машина из-за ната. (но, почему так ? Вообще кто-то встречал повышение пинга на localhost ?) Режимы энергосбережения и все что с ними связано. Сделайте в биосе так что бы сервер херачил на максимум. Вставить ник Quote
agnitumus Posted March 18, 2016 Author Posted March 18, 2016 Вселье продолжается ! https://yadi.sk/i/8eOMrEIIqJXFs Вставить ник Quote
uxcr Posted March 18, 2016 Posted March 18, 2016 По мне всё выглядит всё так что тормозят очереди. sysctl net.isr/dev.ix Вставить ник Quote
agnitumus Posted March 19, 2016 Author Posted March 19, 2016 (edited) По мне всё выглядит всё так что тормозят очереди. sysctl net.isr/dev.ix Ну оно очевидно ! Но, вот, куда копать ... З.Ы: Поотрубал всё, что немыслимо и мыслимо и включил везде максимальную производительность ... Жду сегодняшнего дня ! Edited March 19, 2016 by agnitumus Вставить ник Quote
jab Posted March 19, 2016 Posted March 19, 2016 Ну оно очевидно ! Но, вот, куда копать ... Если нат, то подкрутить таймауты ната для уменьшения количества стейтов. Но вообще мало информации по системе. У меня похожая ситуация была когда dummynet перествал вдруг помещаться в L2 кеш процессора, да и c pf'ом что-то такое было. Вставить ник Quote
Avad0n Posted March 19, 2016 Posted March 19, 2016 да и c pf'ом что-то такое было. Ну с pf до 10 версии Free точно могло быть все печально с натом, учитывая его однопоточность. Вставить ник Quote
agnitumus Posted March 19, 2016 Author Posted March 19, 2016 Ну оно очевидно ! Но, вот, куда копать ... Если нат, то подкрутить таймауты ната для уменьшения количества стейтов. Но вообще мало информации по системе. У меня похожая ситуация была когда dummynet перествал вдруг помещаться в L2 кеш процессора, да и c pf'ом что-то такое было. Ну насколько. я знаю: PF при такуй нагрузке скажет, ПОКА (И сервер ляжет спатки) Отвключил всё, абсолютно ! (Питание вспомогательное и т/д ! МПД Упал ! Господа, кто может помочь ? Ну оно очевидно ! Но, вот, куда копать ... Если нат, то подкрутить таймауты ната для уменьшения количества стейтов. Но вообще мало информации по системе. У меня похожая ситуация была когда dummynet перествал вдруг помещаться в L2 кеш процессора, да и c pf'ом что-то такое было. Ну насколько. я знаю: PF при такуй нагрузке скажет, ПОКА (И сервер ляжет спатки) Отвключил всё, абсолютно ! (Питание вспомогательное и т/д ! МПД Упал ! Господа, кто может помочь ? P.S: Я юзаю IPFW nat Вставить ник Quote
DDR Posted March 19, 2016 Posted March 19, 2016 (edited) P.S: Я юзаю IPFW nat pfsrctrpl: 152, 200000, 0, 0, 0, 0, 0 Для чего тогда модуль pf загружен? Edited March 19, 2016 by DDR Вставить ник Quote
agnitumus Posted March 20, 2016 Author Posted March 20, 2016 (edited) P.S: Я юзаю IPFW nat pfsrctrpl: 152, 200000, 0, 0, 0, 0, 0 Для чего тогда модуль pf загружен? Он есть в Ядре ! И я пробовал на момент снятия скриншота делать нат на нем, и попутно scrub. Он мешает ? Надо убрать ? ---- Иернул Hypetrading отрубил TurboBoost https://yadi.sk/i/wUIlzygMqLGSZ Пока всё ок, но и траффик маленький --- Edited March 20, 2016 by agnitumus Вставить ник Quote
polmax Posted March 21, 2016 Posted March 21, 2016 Он мешает ? Надо убрать ? Если не используется, то как он может мешать? Я думаю что проблема точно не в нём. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.