dzek.ru Опубликовано 15 февраля, 2014 · Жалоба есть обычный роутер. на платформе супермикро uname -a FreeBSD gw 8.3-RELEASE FreeBSD 8.3-RELEASE #2: Thu Oct 25 00:55:49 YEKT 2012 dz@gw:/usr/src/sys/amd64/compile/gw amd64 /var/log/messages CPU: Intel® Core2 Duo CPU E4500 @ 2.20GHz (2194.51-MHz K8-class CPU) FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs FreeBSD/SMP: 1 package(s) x 2 core(s) .... em0: <Intel® PRO/1000 Network Connection 7.3.2> port 0x4000-0x401f mem 0xe0400000-0xe041ffff irq 16 at device 0.0 on pci13 em0: Using an MSI interrupt em0: [FILTER] em0: Ethernet address: 00:30:48:93:79:e4 pcib7: <ACPI PCI-PCI bridge> irq 16 at device 28.5 on pci0 pci14: <ACPI PCI bus> on pcib7 em1: <Intel® PRO/1000 Network Connection 7.3.2> port 0x5000-0x501f mem 0xe0500000-0xe051ffff irq 17 at device 0.0 on pci14 em1: Using an MSI interrupt em1: [FILTER] em1: Ethernet address: 00:30:48:93:79:e5 vnstat -l -i em1 .... packets 1085615 | 533609 --------------------------------------+------------------ max 59717 p/s | 2730 p/s average 1680 p/s | 826 p/s min 291 p/s | 276 p/s --------------------------------------+------------------ time 10.77 minutes vnstat -l -i em0 packets 12188 | 631969 --------------------------------------+------------------ max 1284 p/s | 59742 p/s average 609 p/s | 31598 p/s min 319 p/s | 434 p/s --------------------------------------+------------------ time 20 seconds pps выше не хочет подниматься. это уже предел для данного железа или что крутить/на что смотреть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 15 февраля, 2014 · Жалоба Оффлоадинги через ifconfig для начала отключить. Что за железо и какие конкретно задачи тоже не очень понятно, как и top -aSCHIP, vmstat -z не помешали бы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 15 февраля, 2014 · Жалоба Я тут вспоминаю случай давний, где один товарищ кричал "надо больше серверов! машины слабые!". Там у него шейпер больше 100мбит не мог отшейпить. А при детальном изучении оказалось что у него в ipfw портянка из нескольких тысяч правил. Успех, чо. ТС, это я к тому что надо сразу начинать с ipfw show или что вы там используете... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 16 февраля, 2014 · Жалоба Оффлоадинги через ifconfig для начала отключить. Что за железо и какие конкретно задачи тоже не очень понятно, как и top -aSCHIP, vmstat -z не помешали бы. -tso добавлю в понедельник. чтоб удалено не уронить, вдруг чего. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 16 февраля, 2014 · Жалоба Я тут вспоминаю случай давний, где один товарищ кричал "надо больше серверов! машины слабые!". Там у него шейпер больше 100мбит не мог отшейпить. А при детальном изучении оказалось что у него в ipfw портянка из нескольких тысяч правил. Успех, чо. ТС, это я к тому что надо сразу начинать с ipfw show или что вы там используете... ipfw тут не причем. ната нет. простая маршрутизация. в table 1,2 загоняются сработки от suricata в table 10 загоняется блокировки от eais.rkn.gov.ru ipfw sh 00021 6 312 deny ip from 95.172.154.15 to any 00021 5 342 deny ip from 193.192.36.230 to any 00021 0 0 deny ip from 173.166.207.182 to any 00021 0 0 deny ip from 213.141.128.80 to any 00021 0 0 deny ip from 46.4.205.166 to any 00021 0 0 deny ip from 46.4.166.137 to any 00021 0 0 deny ip from 188.225.34.166 to 1.1.129.100 00021 0 0 deny ip from 188.143.235.59 to 1.1.129.104 00021 0 0 deny ip from 178.32.81.230 to any 00021 0 0 deny ip from 222.186.26.0/24 to any 00021 0 0 deny ip from 85.214.42.22 to 1.1.129.110 00021 21 1176 deny ip from 109.254.142.102 to any 00030 7466 461649 deny ip from 10.0.0.0/8 to any via em0 00031 11951 525283 deny ip from 192.168.0.0/16 to any via em0 00032 0 0 deny ip from 169.254.0.0/16 to any via em0 00033 0 0 deny ip from 224.0.0.0/4 to any via em0 00034 0 0 deny ip from 240.0.0.0/4 to any via em0 00035 211 12628 deny ip from 122.96.0.0/15 to any via em0 00040 0 0 deny ip from 95.211.217.230 to any via em0 00041 33 1650 deny ip from 5.140.162.94 to any via em0 00050 9714498 2643414600 allow ip from 1.1.129.232 to any via em0 00050 117040 34074206 allow ip from 1.1.129.50 to any via em0 00050 12935480 926894770 allow ip from 1.1.128.96/29 to any via em0 00050 912 130942 allow ip from 3.3.89.194 to any via em0 00050 7324126 955480748 allow ip from 3.3.87.192/28 to any via em0 00050 6928954 1987913714 allow ip from any to 3.3.87.192/28 via em0 00050 3018890 547931460 allow ip from 4.4.22.71 to any via em0 00050 3959172 2975185854 allow ip from any to 4.4.22.71 via em0 00050 0 0 allow ip from 10.255.255.1 to 10.254.254.254 dst-port 6344 via em0 00050 0 0 allow ip from 172.18.8.6 to 10.254.254.254 dst-port 6344 via em0 00050 0 0 allow ip from 172.18.8.6 to 1.1.129.106 dst-port 6344 via em0 00051 7034696 2440237304 allow ip from 1.1.129.232 to 2.2.192.0/24 via em1 00051 0 0 allow ip from 1.1.129.232 to 2.2.198.0/24 via em1 00051 912 130942 allow ip from 3.3.89.194 to 2.2.192.0/24 via em1 00051 3315773 215110900 allow ip from 3.3.87.192/28 to 2.2.192.0/24 via em1 00051 2169604 318131910 allow ip from 4.4.22.71 to 2.2.192.0/24 via em1 00051 0 0 allow ip from 4.4.22.71 to 2.2.198.0/24 via em1 00052 7722694 1298971254 allow ip from 1.1.128.3 to 2.2.192.0/24 00052 0 0 allow ip from 1.1.128.3 to 2.2.198.0/24 00053 1997718 441000515 allow ip from 1.1.128.3 to 1.1.129.96/27 00054 6015192 487731245 allow ip from 5.5.166.187 to 2.2.192.0/24 00055 1545288 174557900 allow ip from 5.5.166.187 to 1.1.128.0/22 00056 10038076 9252622952 allow ip from 91.200.28.0/24 to any via em0 00057 300 122006 allow ip from 91.227.52.0/24 to any via em0 00058 0 0 allow tcp from 91.200.28.0/24 to 1.1.129.98 dst-port 443 setup limit src-addr 1000 00059 602 197852 allow tcp from 91.227.52.0/24 to 1.1.129.98 dst-port 443 setup limit src-addr 1000 00060 949282643 58094695806 allow ip from 2.2.192.0/24 to 1.1.128.0/22 00061 883796631 114010628590 allow ip from 1.1.128.0/22 to 2.2.192.0/24 00061 0 0 allow ip from 1.1.128.0/22 to 2.2.198.0/24 00062 6054580 549279340 allow ip from 2.2.192.0/24 to 5.5.166.187 00063 1780120 1902762908 allow ip from 1.1.128.0/22 to 5.5.166.187 00100 39613 4428802 deny ip from any to table(1) via em0 00101 256768 29037437 deny ip from table(2) to any via em0 00102 2406 125352 deny log logamount 20000 ip from any to table(10) via em0 00103 38 1704 deny log logamount 20000 ip from table(10) to any via em0 00110 1654 360784 allow ip from any to any via lo0 00115 0 0 deny ip from any to 127.0.0.0/8 00120 0 0 deny ip from 127.0.0.0/8 to any 00134 24 15738 deny log logamount 20000 icmp from any to any frag 00142 9 540 deny log logamount 20000 tcp from any to any in via em0 tcpflags syn,fin 00143 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions ssrr 00144 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions lsrr 00145 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions rr 00146 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions ts 00147 63 4444 deny log logamount 20000 tcp from any to any in via em0 tcpflags !syn,!ack,!rst 00148 0 0 deny log logamount 20000 tcp from any to any in via em0 tcpflags syn,fin,!ack,psh,urg 00149 0 0 deny log logamount 20000 tcp from any to any in via em0 tcpflags syn,fin,!ack 00150 1 60 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,!ack,psh,urg 00151 68 2760 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,!ack 00152 5 300 deny log logamount 20000 tcp from any to any in via em0 tcpflags !ack,urg 00153 3 180 deny log logamount 20000 tcp from any to any in via em0 tcpflags !ack,psh 00154 0 0 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,psh,urg 00155 74 3096 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,rst 00157 8763 3301356 deny log logamount 20000 ip from any to any frag in via em0 00158 3386 173508 deny log logamount 20000 tcp from any to any in via em0 setup tcpseq 0 tcpdatalen 0 00159 4 272 deny log logamount 20000 ip from any to any not verrevpath in via em0 00500 671445 561480729 pipe 26 ip from any to 2.2.192.26 00500 782524 427345217 pipe 27 ip from 2.2.192.26 to any 01000 91 9496 deny log logamount 20000 ip from any to any dst-port 6667 via em0 01001 32 1888 deny log logamount 20000 ip from any to any dst-port 179 via em0 01002 2 88 deny log logamount 20000 ip from any to any dst-port 898 via em0 02001 667 27292 deny log logamount 20000 ip from any to 2.2.192.1 dst-port 22,10050 via em0 02001 0 0 deny log logamount 20000 ip from any to 2.2.198.1 dst-port 22,10050 via em0 02002 840 36576 deny log logamount 20000 ip from any to 2.2.192.2 dst-port 22,80,443,555,623,1900,5120,5900,5901,5988,50000 via em0 02002 281 12760 deny icmp from any to 2.2.192.2 via em0 02003 663 27148 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 22,6344,6345 via em0 02003 52 3658 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 53 via em0 02003 20 2963 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 3306 via em0 02003 406672 512083648 allow ip from 62.245.43.44 to 2.2.192.3 dst-port 6346 02003 0 0 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 6346 via em0 02004 837 38060 deny log logamount 20000 ip from any to 2.2.192.4 dst-port 22,80,123,161,520 via em0 02005 891 41316 deny log logamount 20000 ip from any to 2.2.192.5 dst-port 22,80,123,161,520 via em0 02006 296 15472 deny log logamount 20000 ip from any to 2.2.192.6 dst-port 42,80,135,137,139,3389,49000-50000 via em0 02007 0 0 deny log logamount 20000 ip from any to 2.2.192.7 dst-port 10050 via em0 02019 227532 11785945 deny ip from any to 2.2.192.19 via em0 02026 15750773 9930654068 allow tcp from any to 2.2.192.26 dst-port 80,1500,443 limit src-addr 30 02026 0 0 deny log logamount 20000 ip from any to 2.2.192.26 dst-port 10050,10051 via em1 02026 0 0 deny log logamount 20000 udp from 2.2.192.26 to any dst-port 1024-65000 via em1 02026 3658 2046127 deny log logamount 20000 udp from any to 2.2.192.26 via em1 02026 5 224 deny log logamount 20000 ip from any to 2.2.192.26 dst-port 53 via em1 02026 103 6180 deny tcp from 2.2.192.26 to any dst-port 80,443 via em1 02032 638 26140 deny tcp from any to 2.2.192.32 dst-port 22 via em0 02032 299 77710 deny log logamount 20000 udp from any to 2.2.192.32 via em0 02033 62240 9203334 allow tcp from any to 2.2.192.33 dst-port 80 via em0 02033 727 31765 deny log logamount 20000 ip from any to 2.2.192.33 dst-port 22,53 via em0 02033 261 74739 deny log logamount 20000 udp from any to 2.2.192.33 via em0 02128 47516318 35943038144 allow tcp from any to 2.2.192.128 dst-port 80,1500 limit src-addr 150 02128 75934 109366738 allow tcp from 188.72.80.0/24 to 2.2.192.128 via em0 02128 99 5280 deny ip from any to 2.2.192.128 dst-port 81,143,443,465,514,993,995,443,3306 via em0 02128 49 2740 deny ip from any to 2.2.192.128 dst-port 21,10050,10051 via em0 02128 690 50602 deny log logamount 20000 udp from any to 2.2.192.128 via em0 02134 552307 349492004 allow tcp from any to 2.2.192.134 dst-port 80,1500 limit src-addr 50 02134 109 6044 deny log logamount 20000 ip from any to 2.2.192.134 dst-port 81,143,443,465,514,873,993,995,443,3306,10050,10051 via em0 02134 2744 158199 deny log logamount 20000 ip from any to 2.2.192.134 via em0 03000 448 18504 deny ip from any to 1.1.129.97 dst-port 22 via em0 03010 448 18536 deny log logamount 20000 ip from any to 1.1.129.98 dst-port 22,10050,10051 via em0 03011 8923 748089 deny icmp from any to 1.1.129.98 via em0 03021 369 21855 deny ip from any to 1.1.129.100 dst-port 53,10050,10051 via em0 03021 27932 3572671 deny icmp from any to 1.1.129.100 via em0 03030 460 19020 deny log logamount 20000 ip from any to 1.1.129.101 dst-port 22,10050,10051 via em0 03031 61 3008 deny log logamount 20000 ip from any to 1.1.129.102 dst-port 135,445,2179,49154,10050,10051 via em0 03040 469 19560 deny log logamount 20000 ip from any to 1.1.129.103 dst-port 22,25,10050,10051 via em0 03050 667 34198 deny log logamount 20000 ip from any to 1.1.129.104 dst-port 22,53,81,10050,10051 via em0 03051 2461 327587 deny icmp from any to 1.1.129.104 via em0 03052 444 18384 deny log logamount 20000 ip from any to 1.1.129.105 dst-port 22,10050,10051 via em0 03060 512 23127 deny log logamount 20000 ip from any to 1.1.129.110 dst-port 22,53,10050,10051 via em0 40000 141299 7326000 allow tcp from any to 1.1.129.98 dst-port 80 limit src-addr 2 40001 3517046 526734448 allow tcp from any to 1.1.129.98 dst-port 443 limit src-addr 100 40010 1606622850 1261588117211 allow tcp from any to 1.1.129.100 dst-port 80 limit src-addr 101 40020 90149550 62098012288 allow tcp from any to 1.1.129.104 dst-port 80,1500,443 limit src-addr 30 40040 85252698 78036975250 allow tcp from any to 1.1.129.110 dst-port 80,1500,443,3306 limit src-addr 50 65535 350852911 173680461844 allow ip from any to any Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 16 февраля, 2014 · Жалоба Да я бы не сказал что у вас мало правил. Плюс наиболее активные в самом конце... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 16 февраля, 2014 · Жалоба Да я бы не сказал что у вас мало правил. Плюс наиболее активные в самом конце... трафик которым гоняю, не идет через эти правила, т.е. не попадает. не так и много по моему gw# ipfw sh|wc -l ipfw: DEPRECATED: 'sh' matched 'show' as a sub-string 132 gw# и если бы ipfw что то резал то ппс бы были на интерфейсах разные. а так они почти в равных пропорциях. смотрите vnstat -l -i * Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 16 февраля, 2014 · Жалоба Кошмарное количество правил. Море проверок без таблиц для каждого пакета. А вам в голову не приходило, что на проверку процессорное время тратится? loader.conf и sysctl.conf тюнили? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 16 февраля, 2014 (изменено) · Жалоба согласен, правила жуть. Оптимизируйте. Пока не поправите ipfw , не видать производительности. Блокировку реестра, делайте лучше на уровне DNS. Изменено 16 февраля, 2014 пользователем roysbike Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 16 февраля, 2014 · Жалоба трафик которым гоняю, не идет через эти правила, т.е. не попадает. Ну не попадает, а матчить каждый пакет об это правило фильтру никто не мешает. Попробуйте оптимизировать правила, используйте ветвления skipto... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
boco Опубликовано 16 февраля, 2014 · Жалоба чтобы убедиться, что ipfw "при чем", достаточно просто на пару минут сделать ipfw disable firewall и посмотреть на рост pps и снижение нагрузки на цпу Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 16 февраля, 2014 · Жалоба чтобы убедиться, что ipfw "при чем", достаточно просто на пару минут сделать ipfw disable firewall и посмотреть на рост pps и снижение нагрузки на цпу хм. век живи, век учись. до disable firewall top -aSCHIP last pid: 5361; load averages: 0.08, 0.07, 0.04 up 6+07:10:37 21:43:46 89 processes: 3 running, 74 sleeping, 12 waiting CPU 0: 0.0% user, 0.0% nice, 0.0% system, 46.2% interrupt, 53.8% idle CPU 1: 26.2% user, 0.0% nice, 3.4% system, 0.0% interrupt, 70.4% idle Mem: 34M Active, 110M Inact, 420M Wired, 100K Cache, 623M Buf, 5374M Free Swap: 12G Total, 12G Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 11 root 171 ki31 0K 32K CPU0 0 146.5H 100.00% [idle{idle: cpu0}] 11 root 171 ki31 0K 32K RUN 1 148.6H 81.40% [idle{idle: cpu1}] 1648 nobody 63 0 11148K 5648K select 1 15:24 25.59% /usr/local/sbin/softflowd -i em0 -n 1 vnstat -l -i em0 packets 89428 | 6141207 --------------------------------------+------------------ max 1882 p/s | 59290 p/s average 757 p/s | 52044 p/s min 365 p/s | 411 p/s --------------------------------------+------------------ time 1.97 minutes с disable firewall top -aSCHIP last pid: 5421; load averages: 0.07, 0.05, 0.03 up 6+07:16:24 21:49:33 89 processes: 4 running, 73 sleeping, 12 waiting CPU 0: 0.0% user, 0.0% nice, 0.0% system, 44.4% interrupt, 55.6% idle CPU 1: 35.3% user, 0.0% nice, 3.4% system, 0.0% interrupt, 61.3% idle Mem: 34M Active, 110M Inact, 420M Wired, 100K Cache, 623M Buf, 5374M Free Swap: 12G Total, 12G Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 11 root 171 ki31 0K 32K RUN 0 146.6H 100.00% [idle{idle: cpu0}] 11 root 171 ki31 0K 32K RUN 1 148.7H 68.55% [idle{idle: cpu1}] 1648 nobody 73 0 11148K 5648K CPU1 1 15:58 34.77% /usr/local/sbin/softflowd -i em0 -n 1 vnstat -l -i em0 packets 83867 | 4355129 --------------------------------------+------------------ max 1249 p/s | 81894 p/s average 931 p/s | 48390 p/s min 682 p/s | 963 p/s --------------------------------------+------------------ time 1.50 minutes /boot/loader.conf hw.em.rxd=4096 hw.em.txd=4096 hw.em.rx_process_limit=4096 hw.em.rx_int_delay=200 hw.em.tx_int_delay=200 hw.em.rx_abs_int_delay=4000 hw.em.tx_abs_int_delay=4000 hw.em.enable_msix=1 #hw.em.fc_setting=0 # Networking net.isr.maxthreads=2 net.isr.bindthreads=1 net.inet.tcp.tcbhashsize=32768 net.link.ifqmaxlen=10240 net.isr.defaultqlimit=8192 net.inet.tcp.syncache.hashsize=4096 net.inet.tcp.syncache.bucketlimit=10 # vm.pmap.shpgperproc=2000 vm.pmap.pv_entry_max=8000000 net.inet.tcp.tcbhashsize=4096 kern.ipc.nmbclusters=65535 kern.ipc.nsfbufs=20480 /etc/sysctl.conf net.inet.ip.fw.one_pass=0 net.inet.ip.fw.verbose_limit=20000 net.inet.ip.fw.dyn_max=8196 net.inet.ip.fw.dyn_buckets=1024 net.inet.ip.fw.dyn_keepalive=0 net.inet.ip.fw.dyn_ack_lifetime=150 net.inet.tcp.msl=7500 net.inet.tcp.drop_synfin=1 net.inet.icmp.icmplim=50 net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 kern.ipc.somaxconn=32768 kern.ipc.maxsockets=204800 net.inet.tcp.sendspace=65536 net.inet.tcp.recvspace=65536 net.inet.udp.recvspace=65536 net.inet.udp.maxdgram=57344 net.local.stream.recvspace=65535 net.local.stream.sendspace=65535 #kern.sync_on_panic=1 net.link.ether.ipfw=1 net.inet.icmp.drop_redirect=1 kern.maxvnodes=256000 kern.ipc.nmbclusters=65530 net.inet.icmp.log_redirect=1 net.inet.ip.redirect=0 net.inet6.ip6.redirect=0 net.inet.ip.sourceroute=0 net.inet.ip.accept_sourceroute=0 kern.polling.user_frac=50 # net.inet.ip.dummynet.io_fast=1 net.inet.ip.fastforwarding=1 # hw.intr_storm_threshold=9000 dev.em.0.fc=0 dev.em.1.fc=0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 16 февраля, 2014 · Жалоба согласен, правила жуть. Оптимизируйте. Пока не поправите ipfw , не видать производительности. Блокировку реестра, делайте лучше на уровне DNS. мы не провайдеры. днс используются только внутренними серверами. или подскажите линк на пример. посмотрю. будет проще. тогда перейду. а так, он у нас для "галочки" полная фильтрация идет у вышестоящего аплинка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 16 февраля, 2014 · Жалоба мы не провайдеры. Как это вяжется с блокировкой? Блокировка требование к операторам, если вы не оператор - можно забить. Не? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 17 февраля, 2014 · Жалоба мы не провайдеры. Как это вяжется с блокировкой? Блокировка требование к операторам, если вы не оператор - можно забить. Не? но операторы с телематикой. но тут другой вопрос. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 17 февраля, 2014 · Жалоба Оффлоадинги через ifconfig для начала отключить. Что за железо и какие конкретно задачи тоже не очень понятно, как и top -aSCHIP, vmstat -z не помешали бы. железо Base Board Information Manufacturer: Supermicro Product Name: PDSMU сетевые gw# pciconf -lv | grep -A4 em em0@pci0:13:0:0: class=0x020000 card=0x108c15d9 chip=0x108c8086 rev=0x03 hdr=0x00 vendor = 'Intel Corporation' device = 'Intel Corporation 82573E Gigabit Ethernet Controller (Copper) (82573E)' class = network subclass = ethernet em1@pci0:14:0:0: class=0x020000 card=0x109a15d9 chip=0x109a8086 rev=0x00 hdr=0x00 vendor = 'Intel Corporation' device = 'Intel PRO/1000 PL Network Adaptor (82573L)' class = network subclass = ethernet gw# em0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=420d8<VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWTSO> ether 00:30:48:93:79:e4 inet 172.18.8.6 netmask 0xfffffffc broadcast 172.18.8.7 media: Ethernet autoselect (1000baseT <full-duplex>) status: active em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=420d8<VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWTSO> ether 00:30:48:93:79:e5 inet 1.1.192.1 netmask 0xffffff00 broadcast 1.1.192.255 inet 10.255.255.1 netmask 0xffffff00 broadcast 10.255.255.255 inet 2.2.129.97 netmask 0xffffffe0 broadcast 2.2.129.127 media: Ethernet autoselect (1000baseT <full-duplex>) status: active top -aSCHIP last pid: 14093; load averages: 0.00, 0.04, 0.20 up 6+19:30:47 10:03:51 88 processes: 3 running, 73 sleeping, 12 waiting CPU 0: 0.4% user, 0.0% nice, 0.0% system, 47.2% interrupt, 52.4% idle CPU 1: 25.9% user, 0.0% nice, 3.4% system, 0.0% interrupt, 70.7% idle Mem: 31M Active, 112M Inact, 420M Wired, 100K Cache, 623M Buf, 5376M Free Swap: 12G Total, 12G Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 11 root 171 ki31 0K 32K CPU0 0 158.4H 96.39% [idle{idle: cpu0}] 11 root 171 ki31 0K 32K RUN 1 160.7H 61.18% [idle{idle: cpu1}] 1648 nobody 64 0 11148K 5648K select 1 17:13 28.17% /usr/local/sbin/softflowd -i em0 -n 1 12 root -44 - 0K 192K WAIT 0 394:04 19.87% [intr{swi1: netisr 0}] vmstat -z ITEM SIZE LIMIT USED FREE REQUESTS FAILURES UMA Kegs: 208, 0, 86, 16, 86, 0 UMA Zones: 256, 0, 86, 4, 86, 0 UMA Slabs: 568, 0, 908, 2, 7033, 0 UMA RCntSlabs: 568, 0, 4399, 4, 4399, 0 UMA Hash: 256, 0, 2, 13, 3, 0 16 Bucket: 152, 0, 93, 7, 93, 0 32 Bucket: 280, 0, 84, 0, 84, 0 64 Bucket: 536, 0, 70, 0, 70, 18 128 Bucket: 1048, 0, 653, 1, 653, 210 VM OBJECT: 216, 0, 50592, 312, 3445639, 0 MAP: 232, 0, 7, 25, 7, 0 KMAP ENTRY: 120, 214706, 23, 132, 14292, 0 MAP ENTRY: 120, 0, 1567, 324, 8281186, 0 DP fakepg: 120, 0, 0, 93, 34, 0 SG fakepg: 120, 0, 0, 0, 0, 0 mt_zone: 2056, 0, 220, 34, 220, 0 16: 16, 0, 1610, 406, 2971959, 0 32: 32, 0, 1691, 329, 260098, 0 64: 64, 0, 2866, 270, 3613509, 0 128: 128, 0, 2775, 299, 254023, 0 256: 256, 0, 1288, 542, 3468279, 0 512: 512, 0, 652, 181, 632043, 0 1024: 1024, 0, 43, 117, 25181, 0 2048: 2048, 0, 55, 33, 13307, 0 4096: 4096, 0, 194, 75, 161233, 0 Files: 80, 0, 115, 200, 56200361, 0 TURNSTILE: 136, 0, 217, 43, 217, 0 umtx pi: 96, 0, 0, 0, 0, 0 MAC labels: 40, 0, 0, 0, 0, 0 PROC: 1136, 0, 64, 50, 114562, 0 THREAD: 1120, 0, 138, 78, 25250, 0 SLEEPQUEUE: 80, 0, 217, 44, 217, 0 VMSPACE: 392, 0, 46, 74, 114539, 0 cpuset: 72, 0, 2, 98, 2, 0 audit_record: 952, 0, 0, 0, 0, 0 mbuf_packet: 256, 0, 8203, 501, 1187570333, 0 mbuf: 256, 0, 4, 382, 10564303, 0 mbuf_cluster: 2048, 65536, 8704, 6, 8704, 0 mbuf_jumbo_page: 4096, 32767, 0, 44, 173, 0 mbuf_jumbo_9k: 9216, 16383, 0, 0, 0, 0 mbuf_jumbo_16k: 16384, 8191, 0, 0, 0, 0 mbuf_ext_refcnt: 4, 0, 0, 0, 0, 0 ttyinq: 160, 0, 195, 45, 855, 0 ttyoutq: 256, 0, 104, 46, 456, 0 g_bio: 232, 0, 0, 12752, 1577740, 0 ata_request: 320, 0, 0, 24, 18, 0 ata_composite: 336, 0, 0, 0, 0, 0 VNODE: 472, 0, 93285, 75, 1868110, 0 VNODEPOLL: 112, 0, 0, 0, 0, 0 S VFS Cache: 108, 0, 75910, 24905, 1752511, 0 L VFS Cache: 328, 0, 24440, 220, 191141, 0 NAMEI: 1024, 0, 0, 48, 6703648, 0 DIRHASH: 1024, 0, 1820, 24, 1820, 0 pipe: 728, 0, 3, 52, 40163, 0 ksiginfo: 112, 0, 105, 951, 252150, 0 itimer: 344, 0, 0, 33, 82, 0 KNOTE: 128, 0, 0, 116, 2263, 0 socket: 680, 204804, 41, 91, 577856, 0 unpcb: 240, 204800, 23, 73, 63964, 0 ipq: 56, 2079, 0, 0, 0, 0 udp_inpcb: 336, 204809, 1, 43, 21954, 0 udpcb: 16, 204960, 1, 335, 21954, 0 tcp_inpcb: 336, 204809, 21, 155, 457609, 0 tcpcb: 944, 204800, 15, 41, 457609, 0 tcptw: 72, 27800, 6, 244, 433780, 0 syncache: 144, 40976, 1, 103, 443847, 0 hostcache: 136, 15372, 3, 81, 71, 0 tcpreass: 40, 4116, 0, 168, 2, 0 sackhole: 32, 0, 0, 303, 32, 0 sctp_ep: 1304, 65535, 0, 0, 0, 0 sctp_asoc: 2288, 40000, 0, 0, 0, 0 sctp_laddr: 48, 80064, 0, 216, 6, 0 sctp_raddr: 696, 80000, 0, 0, 0, 0 sctp_chunk: 136, 400008, 0, 0, 0, 0 sctp_readq: 104, 400032, 0, 0, 0, 0 sctp_stream_msg_out: 112, 400026, 0, 0, 0, 0 sctp_asconf: 40, 400008, 0, 0, 0, 0 sctp_asconf_ack: 48, 400032, 0, 0, 0, 0 ripcb: 336, 204809, 1, 43, 34325, 0 rtentry: 200, 0, 21, 36, 22, 0 IPFW dynamic rule: 120, 0, 543, 2340, 9628835, 0 divcb: 336, 204809, 0, 0, 0, 0 selfd: 56, 0, 188, 316, 11090772, 0 Mountpoints: 752, 0, 7, 8, 7, 0 SWAPMETA: 288, 116519, 0, 0, 0, 0 FFS inode: 168, 0, 93072, 120, 1867317, 0 FFS1 dinode: 128, 0, 0, 0, 0, 0 FFS2 dinode: 256, 0, 93072, 138, 1867317, 0 ну и сами интерфейсы vnstat -l -i em0 packets 306473 | 2425017 --------------------------------------+------------------ max 2232 p/s | 60438 p/s average 429 p/s | 3401 p/s min 75 p/s | 86 p/s --------------------------------------+------------------ time 11.88 minutes vnstat -l -i em1 packets 415114 | 39615 --------------------------------------+------------------ max 60257 p/s | 2744 p/s average 17296 p/s | 1650 p/s min 959 p/s | 1003 p/s --------------------------------------+------------------ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 17 февраля, 2014 · Жалоба в table 10 загоняется блокировки от eais.rkn.gov.ru Так это несколько тысяч правил и будет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snark Опубликовано 17 февраля, 2014 · Жалоба Polling, WoL ... OMG :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 17 февраля, 2014 · Жалоба Так это несколько тысяч правил и будет. вданный момент всего gw# ipfw table 10 list|wc -l 745 gw# все что получилось выжать top -aSCHIP last pid: 27565; load averages: 0.30, 0.26, 0.26 up 7+11:06:35 01:39:32 91 processes: 4 running, 75 sleeping, 12 waiting CPU 0: 0.4% user, 0.0% nice, 0.0% system, 19.2% interrupt, 80.5% idle CPU 1: 42.9% user, 0.0% nice, 3.8% system, 0.0% interrupt, 53.4% idle Mem: 38M Active, 110M Inact, 427M Wired, 92K Cache, 623M Buf, 5363M Free Swap: 12G Total, 12G Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 11 root 171 ki31 0K 32K RUN 0 173.5H 100.00% [idle{idle: cpu0}] 11 root 171 ki31 0K 32K RUN 1 176.0H 53.47% [idle{idle: cpu1}] 1648 nobody 107 0 11148K 5680K CPU1 1 19:42 51.07% /usr/local/sbin/softflowd -i em0 -n 1 vnstat -l -i em0 ------------------- packets 59750 | 5180908 --------------------------------------+------------------ max 1511 p/s | 127159 p/s average 775 p/s | 82228 p/s min 317 p/s | 361 p/s --------------------------------------+------------------ time 10.28 minutes есть еще шанс выжать? или менять уже железо? п.с. у кого настроение хорошее. так лучше не писать лолы/омг/етц. если не чего сказать, лучше промолчать Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 17 февраля, 2014 · Жалоба Смотрю нетфлоу много съедает. Попробуйте на нетграф перелезть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 17 февраля, 2014 · Жалоба есть еще шанс выжать? или менять уже железо? А вы при такой нагрузке испытываете потери и рост пинга? Просто на вид все хорошо, или вы уверены что у вас больше потребление чем проходит сейчас через систему? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 18 февраля, 2014 · Жалоба есть еще шанс выжать? или менять уже железо? А вы при такой нагрузке испытываете потери и рост пинга? Просто на вид все хорошо, или вы уверены что у вас больше потребление чем проходит сейчас через систему? потери есть. заббикс сразу начинает тригеры создавать о "внешка упала/внешка поднялась" среднее сейчас идет до 10кpps, но мусора в сети хватает и никто не застрахован от пакостей в виде ддоса кого либо. если текущее не тянет, что выбрать из нового железа. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 18 февраля, 2014 · Жалоба Смотрю нетфлоу много съедает. Попробуйте на нетграф перелезть. спс , попробую глянуть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
boco Опубликовано 18 февраля, 2014 · Жалоба как тут справедливо заметили люди с хорошим настроением, зачем вам еще и поллинг? вообще глядя на конфиги, создается впечатление что вы не понимаете, что делаете. с одной стороны, задираете размер буферов карты, с другой - включаете поллинг... "вы или крестик снимите, или трусы наденьте" попробуйте начать со следующего: /boot/loader.conf kern.hz="1000" hw.em.rxd="4096" hw.em.txd="4096" hw.em.rx_process_limit="-1" hw.em.max_interrupt_rate="9000" net.isr.maxthreads="8" net.isr.bindthreads="0" net.link.ifqmaxlen="10240" /etc/sysctl.conf dev.em.0.rx_int_delay=20 dev.em.0.rx_abs_int_delay=600 dev.em.0.tx_int_delay=20 dev.em.0.tx_abs_int_delay=600 dev.em.0.rx_processing_limit=-1 dev.em.0.fc=0 dev.em.1.rx_int_delay=20 dev.em.1.rx_abs_int_delay=600 dev.em.1.tx_int_delay=20 dev.em.1.tx_abs_int_delay=600 dev.em.1.rx_processing_limit=-1 dev.em.1.fc=0 net.inet.ip.intr_queue_maxlen=4096 net.route.netisr_maxqlen=2048 net.inet.flowtable.enable=0 hw.intr_storm_threshold=32000 net.isr.direct=1 net.isr.direct_force=0 net.inet.ip.fastforwarding=0 net.inet.ip.dummynet.io_fast=1 kern.ipc.nmbclusters=102400 net.inet.ip.redirect=0 kern.random.sys.harvest.ethernet=0 kern.random.sys.harvest.point_to_point=0 kern.random.sys.harvest.interrupt=0 по результатам попробуйте поиграть с net.isr.direct. и выключите wol и polling. =) ps. остальную муть пока из loader.conf и sysctl.conf уберите. pps. очень хорошо помогают равномерно размазать пакеты по ядрам патчи melifaro@: http://ftp.ufanet.ru/pub/boco/freebsd/netisr/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzek.ru Опубликовано 18 февраля, 2014 · Жалоба .... polling и WOL_MAGIC отключен. осталось c ipfw еще попрвить и порядок в sysctl. спс за советы. лучше в трусах и без крестиков. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...