Jump to content
Калькуляторы

freebsd 8.3

есть обычный роутер. на платформе супермикро

 

uname -a

 

 

FreeBSD gw 8.3-RELEASE FreeBSD 8.3-RELEASE #2: Thu Oct 25 00:55:49 YEKT 2012 dz@gw:/usr/src/sys/amd64/compile/gw amd64

 

 

/var/log/messages

 

CPU: Intel® Core2 Duo CPU E4500 @ 2.20GHz (2194.51-MHz K8-class CPU)

FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs

FreeBSD/SMP: 1 package(s) x 2 core(s)

....

em0: <Intel® PRO/1000 Network Connection 7.3.2> port 0x4000-0x401f mem 0xe0400000-0xe041ffff irq 16 at device 0.0 on pci13

em0: Using an MSI interrupt

em0: [FILTER]

em0: Ethernet address: 00:30:48:93:79:e4

pcib7: <ACPI PCI-PCI bridge> irq 16 at device 28.5 on pci0

pci14: <ACPI PCI bus> on pcib7

em1: <Intel® PRO/1000 Network Connection 7.3.2> port 0x5000-0x501f mem 0xe0500000-0xe051ffff irq 17 at device 0.0 on pci14

em1: Using an MSI interrupt

em1: [FILTER]

em1: Ethernet address: 00:30:48:93:79:e5

 

 

 

vnstat -l -i em1

....
 packets                    1085615  |          533609
--------------------------------------+------------------
         max              59717 p/s  |        2730 p/s
     average               1680 p/s  |         826 p/s
         min                291 p/s  |         276 p/s
--------------------------------------+------------------
 time                 10.77 minutes

 

vnstat -l -i em0

  packets                      12188  |          631969
--------------------------------------+------------------
         max               1284 p/s  |       59742 p/s
     average                609 p/s  |       31598 p/s
         min                319 p/s  |         434 p/s
--------------------------------------+------------------
 time                    20 seconds

 

pps выше не хочет подниматься. это уже предел для данного железа или что крутить/на что смотреть?

Share this post


Link to post
Share on other sites

Оффлоадинги через ifconfig для начала отключить.

Что за железо и какие конкретно задачи тоже не очень понятно, как и top -aSCHIP, vmstat -z не помешали бы.

Share this post


Link to post
Share on other sites

Я тут вспоминаю случай давний, где один товарищ кричал "надо больше серверов! машины слабые!". Там у него шейпер больше 100мбит не мог отшейпить.

А при детальном изучении оказалось что у него в ipfw портянка из нескольких тысяч правил. Успех, чо.

 

ТС, это я к тому что надо сразу начинать с ipfw show или что вы там используете...

Share this post


Link to post
Share on other sites

Оффлоадинги через ifconfig для начала отключить.

Что за железо и какие конкретно задачи тоже не очень понятно, как и top -aSCHIP, vmstat -z не помешали бы.

-tso добавлю в понедельник. чтоб удалено не уронить, вдруг чего.

Share this post


Link to post
Share on other sites

Я тут вспоминаю случай давний, где один товарищ кричал "надо больше серверов! машины слабые!". Там у него шейпер больше 100мбит не мог отшейпить.

А при детальном изучении оказалось что у него в ipfw портянка из нескольких тысяч правил. Успех, чо.

 

ТС, это я к тому что надо сразу начинать с ipfw show или что вы там используете...

ipfw тут не причем. ната нет. простая маршрутизация.

в table 1,2 загоняются сработки от suricata

в table 10 загоняется блокировки от eais.rkn.gov.ru

 

ipfw sh

 

 

00021 6 312 deny ip from 95.172.154.15 to any

00021 5 342 deny ip from 193.192.36.230 to any

00021 0 0 deny ip from 173.166.207.182 to any

00021 0 0 deny ip from 213.141.128.80 to any

00021 0 0 deny ip from 46.4.205.166 to any

00021 0 0 deny ip from 46.4.166.137 to any

00021 0 0 deny ip from 188.225.34.166 to 1.1.129.100

00021 0 0 deny ip from 188.143.235.59 to 1.1.129.104

00021 0 0 deny ip from 178.32.81.230 to any

00021 0 0 deny ip from 222.186.26.0/24 to any

00021 0 0 deny ip from 85.214.42.22 to 1.1.129.110

00021 21 1176 deny ip from 109.254.142.102 to any

00030 7466 461649 deny ip from 10.0.0.0/8 to any via em0

00031 11951 525283 deny ip from 192.168.0.0/16 to any via em0

00032 0 0 deny ip from 169.254.0.0/16 to any via em0

00033 0 0 deny ip from 224.0.0.0/4 to any via em0

00034 0 0 deny ip from 240.0.0.0/4 to any via em0

00035 211 12628 deny ip from 122.96.0.0/15 to any via em0

00040 0 0 deny ip from 95.211.217.230 to any via em0

00041 33 1650 deny ip from 5.140.162.94 to any via em0

00050 9714498 2643414600 allow ip from 1.1.129.232 to any via em0

00050 117040 34074206 allow ip from 1.1.129.50 to any via em0

00050 12935480 926894770 allow ip from 1.1.128.96/29 to any via em0

00050 912 130942 allow ip from 3.3.89.194 to any via em0

00050 7324126 955480748 allow ip from 3.3.87.192/28 to any via em0

00050 6928954 1987913714 allow ip from any to 3.3.87.192/28 via em0

00050 3018890 547931460 allow ip from 4.4.22.71 to any via em0

00050 3959172 2975185854 allow ip from any to 4.4.22.71 via em0

00050 0 0 allow ip from 10.255.255.1 to 10.254.254.254 dst-port 6344 via em0

00050 0 0 allow ip from 172.18.8.6 to 10.254.254.254 dst-port 6344 via em0

00050 0 0 allow ip from 172.18.8.6 to 1.1.129.106 dst-port 6344 via em0

00051 7034696 2440237304 allow ip from 1.1.129.232 to 2.2.192.0/24 via em1

00051 0 0 allow ip from 1.1.129.232 to 2.2.198.0/24 via em1

00051 912 130942 allow ip from 3.3.89.194 to 2.2.192.0/24 via em1

00051 3315773 215110900 allow ip from 3.3.87.192/28 to 2.2.192.0/24 via em1

00051 2169604 318131910 allow ip from 4.4.22.71 to 2.2.192.0/24 via em1

00051 0 0 allow ip from 4.4.22.71 to 2.2.198.0/24 via em1

00052 7722694 1298971254 allow ip from 1.1.128.3 to 2.2.192.0/24

00052 0 0 allow ip from 1.1.128.3 to 2.2.198.0/24

00053 1997718 441000515 allow ip from 1.1.128.3 to 1.1.129.96/27

00054 6015192 487731245 allow ip from 5.5.166.187 to 2.2.192.0/24

00055 1545288 174557900 allow ip from 5.5.166.187 to 1.1.128.0/22

00056 10038076 9252622952 allow ip from 91.200.28.0/24 to any via em0

00057 300 122006 allow ip from 91.227.52.0/24 to any via em0

00058 0 0 allow tcp from 91.200.28.0/24 to 1.1.129.98 dst-port 443 setup limit src-addr 1000

00059 602 197852 allow tcp from 91.227.52.0/24 to 1.1.129.98 dst-port 443 setup limit src-addr 1000

00060 949282643 58094695806 allow ip from 2.2.192.0/24 to 1.1.128.0/22

00061 883796631 114010628590 allow ip from 1.1.128.0/22 to 2.2.192.0/24

00061 0 0 allow ip from 1.1.128.0/22 to 2.2.198.0/24

00062 6054580 549279340 allow ip from 2.2.192.0/24 to 5.5.166.187

00063 1780120 1902762908 allow ip from 1.1.128.0/22 to 5.5.166.187

00100 39613 4428802 deny ip from any to table(1) via em0

00101 256768 29037437 deny ip from table(2) to any via em0

00102 2406 125352 deny log logamount 20000 ip from any to table(10) via em0

00103 38 1704 deny log logamount 20000 ip from table(10) to any via em0

00110 1654 360784 allow ip from any to any via lo0

00115 0 0 deny ip from any to 127.0.0.0/8

00120 0 0 deny ip from 127.0.0.0/8 to any

00134 24 15738 deny log logamount 20000 icmp from any to any frag

00142 9 540 deny log logamount 20000 tcp from any to any in via em0 tcpflags syn,fin

00143 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions ssrr

00144 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions lsrr

00145 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions rr

00146 0 0 deny log logamount 20000 tcp from any to any in via em0 ipoptions ts

00147 63 4444 deny log logamount 20000 tcp from any to any in via em0 tcpflags !syn,!ack,!rst

00148 0 0 deny log logamount 20000 tcp from any to any in via em0 tcpflags syn,fin,!ack,psh,urg

00149 0 0 deny log logamount 20000 tcp from any to any in via em0 tcpflags syn,fin,!ack

00150 1 60 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,!ack,psh,urg

00151 68 2760 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,!ack

00152 5 300 deny log logamount 20000 tcp from any to any in via em0 tcpflags !ack,urg

00153 3 180 deny log logamount 20000 tcp from any to any in via em0 tcpflags !ack,psh

00154 0 0 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,psh,urg

00155 74 3096 deny log logamount 20000 tcp from any to any in via em0 tcpflags fin,rst

00157 8763 3301356 deny log logamount 20000 ip from any to any frag in via em0

00158 3386 173508 deny log logamount 20000 tcp from any to any in via em0 setup tcpseq 0 tcpdatalen 0

00159 4 272 deny log logamount 20000 ip from any to any not verrevpath in via em0

00500 671445 561480729 pipe 26 ip from any to 2.2.192.26

00500 782524 427345217 pipe 27 ip from 2.2.192.26 to any

01000 91 9496 deny log logamount 20000 ip from any to any dst-port 6667 via em0

01001 32 1888 deny log logamount 20000 ip from any to any dst-port 179 via em0

01002 2 88 deny log logamount 20000 ip from any to any dst-port 898 via em0

02001 667 27292 deny log logamount 20000 ip from any to 2.2.192.1 dst-port 22,10050 via em0

02001 0 0 deny log logamount 20000 ip from any to 2.2.198.1 dst-port 22,10050 via em0

02002 840 36576 deny log logamount 20000 ip from any to 2.2.192.2 dst-port 22,80,443,555,623,1900,5120,5900,5901,5988,50000 via em0

02002 281 12760 deny icmp from any to 2.2.192.2 via em0

02003 663 27148 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 22,6344,6345 via em0

02003 52 3658 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 53 via em0

02003 20 2963 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 3306 via em0

02003 406672 512083648 allow ip from 62.245.43.44 to 2.2.192.3 dst-port 6346

02003 0 0 deny log logamount 20000 ip from any to 2.2.192.3 dst-port 6346 via em0

02004 837 38060 deny log logamount 20000 ip from any to 2.2.192.4 dst-port 22,80,123,161,520 via em0

02005 891 41316 deny log logamount 20000 ip from any to 2.2.192.5 dst-port 22,80,123,161,520 via em0

02006 296 15472 deny log logamount 20000 ip from any to 2.2.192.6 dst-port 42,80,135,137,139,3389,49000-50000 via em0

02007 0 0 deny log logamount 20000 ip from any to 2.2.192.7 dst-port 10050 via em0

02019 227532 11785945 deny ip from any to 2.2.192.19 via em0

02026 15750773 9930654068 allow tcp from any to 2.2.192.26 dst-port 80,1500,443 limit src-addr 30

02026 0 0 deny log logamount 20000 ip from any to 2.2.192.26 dst-port 10050,10051 via em1

02026 0 0 deny log logamount 20000 udp from 2.2.192.26 to any dst-port 1024-65000 via em1

02026 3658 2046127 deny log logamount 20000 udp from any to 2.2.192.26 via em1

02026 5 224 deny log logamount 20000 ip from any to 2.2.192.26 dst-port 53 via em1

02026 103 6180 deny tcp from 2.2.192.26 to any dst-port 80,443 via em1

02032 638 26140 deny tcp from any to 2.2.192.32 dst-port 22 via em0

02032 299 77710 deny log logamount 20000 udp from any to 2.2.192.32 via em0

02033 62240 9203334 allow tcp from any to 2.2.192.33 dst-port 80 via em0

02033 727 31765 deny log logamount 20000 ip from any to 2.2.192.33 dst-port 22,53 via em0

02033 261 74739 deny log logamount 20000 udp from any to 2.2.192.33 via em0

02128 47516318 35943038144 allow tcp from any to 2.2.192.128 dst-port 80,1500 limit src-addr 150

02128 75934 109366738 allow tcp from 188.72.80.0/24 to 2.2.192.128 via em0

02128 99 5280 deny ip from any to 2.2.192.128 dst-port 81,143,443,465,514,993,995,443,3306 via em0

02128 49 2740 deny ip from any to 2.2.192.128 dst-port 21,10050,10051 via em0

02128 690 50602 deny log logamount 20000 udp from any to 2.2.192.128 via em0

02134 552307 349492004 allow tcp from any to 2.2.192.134 dst-port 80,1500 limit src-addr 50

02134 109 6044 deny log logamount 20000 ip from any to 2.2.192.134 dst-port 81,143,443,465,514,873,993,995,443,3306,10050,10051 via em0

02134 2744 158199 deny log logamount 20000 ip from any to 2.2.192.134 via em0

03000 448 18504 deny ip from any to 1.1.129.97 dst-port 22 via em0

03010 448 18536 deny log logamount 20000 ip from any to 1.1.129.98 dst-port 22,10050,10051 via em0

03011 8923 748089 deny icmp from any to 1.1.129.98 via em0

03021 369 21855 deny ip from any to 1.1.129.100 dst-port 53,10050,10051 via em0

03021 27932 3572671 deny icmp from any to 1.1.129.100 via em0

03030 460 19020 deny log logamount 20000 ip from any to 1.1.129.101 dst-port 22,10050,10051 via em0

03031 61 3008 deny log logamount 20000 ip from any to 1.1.129.102 dst-port 135,445,2179,49154,10050,10051 via em0

03040 469 19560 deny log logamount 20000 ip from any to 1.1.129.103 dst-port 22,25,10050,10051 via em0

03050 667 34198 deny log logamount 20000 ip from any to 1.1.129.104 dst-port 22,53,81,10050,10051 via em0

03051 2461 327587 deny icmp from any to 1.1.129.104 via em0

03052 444 18384 deny log logamount 20000 ip from any to 1.1.129.105 dst-port 22,10050,10051 via em0

03060 512 23127 deny log logamount 20000 ip from any to 1.1.129.110 dst-port 22,53,10050,10051 via em0

40000 141299 7326000 allow tcp from any to 1.1.129.98 dst-port 80 limit src-addr 2

40001 3517046 526734448 allow tcp from any to 1.1.129.98 dst-port 443 limit src-addr 100

40010 1606622850 1261588117211 allow tcp from any to 1.1.129.100 dst-port 80 limit src-addr 101

40020 90149550 62098012288 allow tcp from any to 1.1.129.104 dst-port 80,1500,443 limit src-addr 30

40040 85252698 78036975250 allow tcp from any to 1.1.129.110 dst-port 80,1500,443,3306 limit src-addr 50

65535 350852911 173680461844 allow ip from any to any

 

 

Share this post


Link to post
Share on other sites

Да я бы не сказал что у вас мало правил. Плюс наиболее активные в самом конце...

Share this post


Link to post
Share on other sites

Да я бы не сказал что у вас мало правил. Плюс наиболее активные в самом конце...

трафик которым гоняю, не идет через эти правила, т.е. не попадает.

не так и много по моему

gw# ipfw sh|wc -l
ipfw: DEPRECATED: 'sh' matched 'show' as a sub-string
    132
gw#

и если бы ipfw что то резал то ппс бы были на интерфейсах разные. а так они почти в равных пропорциях.

смотрите vnstat -l -i *

Share this post


Link to post
Share on other sites

Кошмарное количество правил. Море проверок без таблиц для каждого пакета.

 

А вам в голову не приходило, что на проверку процессорное время тратится?

 

loader.conf и sysctl.conf тюнили?

Share this post


Link to post
Share on other sites

согласен, правила жуть. Оптимизируйте. Пока не поправите ipfw , не видать производительности. Блокировку реестра, делайте лучше на уровне DNS.

Edited by roysbike

Share this post


Link to post
Share on other sites

трафик которым гоняю, не идет через эти правила, т.е. не попадает.

 

 

Ну не попадает, а матчить каждый пакет об это правило фильтру никто не мешает.

 

Попробуйте оптимизировать правила, используйте ветвления skipto...

Share this post


Link to post
Share on other sites

чтобы убедиться, что ipfw "при чем", достаточно просто на пару минут сделать ipfw disable firewall и посмотреть на рост pps и снижение нагрузки на цпу

Share this post


Link to post
Share on other sites

чтобы убедиться, что ipfw "при чем", достаточно просто на пару минут сделать ipfw disable firewall и посмотреть на рост pps и снижение нагрузки на цпу

хм. век живи, век учись. до disable firewall

 

top -aSCHIP

 

last pid: 5361; load averages: 0.08, 0.07, 0.04 up 6+07:10:37 21:43:46

89 processes: 3 running, 74 sleeping, 12 waiting

CPU 0: 0.0% user, 0.0% nice, 0.0% system, 46.2% interrupt, 53.8% idle

CPU 1: 26.2% user, 0.0% nice, 3.4% system, 0.0% interrupt, 70.4% idle

Mem: 34M Active, 110M Inact, 420M Wired, 100K Cache, 623M Buf, 5374M Free

Swap: 12G Total, 12G Free

 

PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND

11 root 171 ki31 0K 32K CPU0 0 146.5H 100.00% [idle{idle: cpu0}]

11 root 171 ki31 0K 32K RUN 1 148.6H 81.40% [idle{idle: cpu1}]

1648 nobody 63 0 11148K 5648K select 1 15:24 25.59% /usr/local/sbin/softflowd -i em0 -n 1

 

 

 

vnstat -l -i em0

 

packets 89428 | 6141207

--------------------------------------+------------------

max 1882 p/s | 59290 p/s

average 757 p/s | 52044 p/s

min 365 p/s | 411 p/s

--------------------------------------+------------------

time 1.97 minutes

 

 

 

с disable firewall

 

top -aSCHIP

 

last pid: 5421; load averages: 0.07, 0.05, 0.03 up 6+07:16:24 21:49:33

89 processes: 4 running, 73 sleeping, 12 waiting

CPU 0: 0.0% user, 0.0% nice, 0.0% system, 44.4% interrupt, 55.6% idle

CPU 1: 35.3% user, 0.0% nice, 3.4% system, 0.0% interrupt, 61.3% idle

Mem: 34M Active, 110M Inact, 420M Wired, 100K Cache, 623M Buf, 5374M Free

Swap: 12G Total, 12G Free

 

PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND

11 root 171 ki31 0K 32K RUN 0 146.6H 100.00% [idle{idle: cpu0}]

11 root 171 ki31 0K 32K RUN 1 148.7H 68.55% [idle{idle: cpu1}]

1648 nobody 73 0 11148K 5648K CPU1 1 15:58 34.77% /usr/local/sbin/softflowd -i em0 -n 1

 

 

 

vnstat -l -i em0

 

packets 83867 | 4355129

--------------------------------------+------------------

max 1249 p/s | 81894 p/s

average 931 p/s | 48390 p/s

min 682 p/s | 963 p/s

--------------------------------------+------------------

time 1.50 minutes

 

 

/boot/loader.conf

 

 

hw.em.rxd=4096

hw.em.txd=4096

hw.em.rx_process_limit=4096

hw.em.rx_int_delay=200

hw.em.tx_int_delay=200

hw.em.rx_abs_int_delay=4000

hw.em.tx_abs_int_delay=4000

hw.em.enable_msix=1

#hw.em.fc_setting=0

 

# Networking

net.isr.maxthreads=2

net.isr.bindthreads=1

net.inet.tcp.tcbhashsize=32768

net.link.ifqmaxlen=10240

net.isr.defaultqlimit=8192

net.inet.tcp.syncache.hashsize=4096

net.inet.tcp.syncache.bucketlimit=10

#

vm.pmap.shpgperproc=2000

vm.pmap.pv_entry_max=8000000

net.inet.tcp.tcbhashsize=4096

kern.ipc.nmbclusters=65535

kern.ipc.nsfbufs=20480

 

 

 

/etc/sysctl.conf

 

net.inet.ip.fw.one_pass=0

 

net.inet.ip.fw.verbose_limit=20000

 

 

net.inet.ip.fw.dyn_max=8196

net.inet.ip.fw.dyn_buckets=1024

net.inet.ip.fw.dyn_keepalive=0

net.inet.ip.fw.dyn_ack_lifetime=150

 

 

net.inet.tcp.msl=7500

net.inet.tcp.drop_synfin=1

net.inet.icmp.icmplim=50

 

net.inet.tcp.blackhole=2

net.inet.udp.blackhole=1

 

kern.ipc.somaxconn=32768

kern.ipc.maxsockets=204800

 

net.inet.tcp.sendspace=65536

net.inet.tcp.recvspace=65536

 

 

net.inet.udp.recvspace=65536

net.inet.udp.maxdgram=57344

 

net.local.stream.recvspace=65535

net.local.stream.sendspace=65535

 

#kern.sync_on_panic=1

 

net.link.ether.ipfw=1

net.inet.icmp.drop_redirect=1

 

kern.maxvnodes=256000

kern.ipc.nmbclusters=65530

 

net.inet.icmp.log_redirect=1

net.inet.ip.redirect=0

net.inet6.ip6.redirect=0

 

net.inet.ip.sourceroute=0

net.inet.ip.accept_sourceroute=0

 

kern.polling.user_frac=50

 

 

#

net.inet.ip.dummynet.io_fast=1

net.inet.ip.fastforwarding=1

 

#

hw.intr_storm_threshold=9000

dev.em.0.fc=0

dev.em.1.fc=0

 

 

Share this post


Link to post
Share on other sites

согласен, правила жуть. Оптимизируйте. Пока не поправите ipfw , не видать производительности. Блокировку реестра, делайте лучше на уровне DNS.

мы не провайдеры. днс используются только внутренними серверами.

или подскажите линк на пример. посмотрю. будет проще. тогда перейду.

а так, он у нас для "галочки" полная фильтрация идет у вышестоящего аплинка.

Share this post


Link to post
Share on other sites

мы не провайдеры.

 

Как это вяжется с блокировкой? Блокировка требование к операторам, если вы не оператор - можно забить. Не?

Share this post


Link to post
Share on other sites

мы не провайдеры.

 

Как это вяжется с блокировкой? Блокировка требование к операторам, если вы не оператор - можно забить. Не?

но операторы с телематикой. но тут другой вопрос.

Share this post


Link to post
Share on other sites

Оффлоадинги через ifconfig для начала отключить.

Что за железо и какие конкретно задачи тоже не очень понятно, как и top -aSCHIP, vmstat -z не помешали бы.

 

железо

Base Board Information
       Manufacturer: Supermicro
       Product Name: PDSMU

сетевые

gw# pciconf -lv | grep -A4 em
em0@pci0:13:0:0:        class=0x020000 card=0x108c15d9 chip=0x108c8086 rev=0x03 hdr=0x00
   vendor     = 'Intel Corporation'
   device     = 'Intel Corporation 82573E Gigabit Ethernet Controller (Copper) (82573E)'
   class      = network
   subclass   = ethernet
em1@pci0:14:0:0:        class=0x020000 card=0x109a15d9 chip=0x109a8086 rev=0x00 hdr=0x00
   vendor     = 'Intel Corporation'
   device     = 'Intel PRO/1000 PL Network Adaptor (82573L)'
   class      = network
   subclass   = ethernet
gw#

 

em0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
       options=420d8<VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWTSO>
       ether 00:30:48:93:79:e4
       inet 172.18.8.6 netmask 0xfffffffc broadcast 172.18.8.7
       media: Ethernet autoselect (1000baseT <full-duplex>)
       status: active
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
       options=420d8<VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWTSO>
       ether 00:30:48:93:79:e5
       inet 1.1.192.1 netmask 0xffffff00 broadcast 1.1.192.255
       inet 10.255.255.1 netmask 0xffffff00 broadcast 10.255.255.255
       inet 2.2.129.97 netmask 0xffffffe0 broadcast 2.2.129.127
       media: Ethernet autoselect (1000baseT <full-duplex>)
       status: active

 

top -aSCHIP

last pid: 14093;  load averages:  0.00,  0.04,  0.20                        up 6+19:30:47  10:03:51
88 processes:  3 running, 73 sleeping, 12 waiting
CPU 0:  0.4% user,  0.0% nice,  0.0% system, 47.2% interrupt, 52.4% idle
CPU 1: 25.9% user,  0.0% nice,  3.4% system,  0.0% interrupt, 70.7% idle
Mem: 31M Active, 112M Inact, 420M Wired, 100K Cache, 623M Buf, 5376M Free
Swap: 12G Total, 12G Free

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  11 root     171 ki31     0K    32K CPU0    0 158.4H 96.39% [idle{idle: cpu0}]
  11 root     171 ki31     0K    32K RUN     1 160.7H 61.18% [idle{idle: cpu1}]
1648 nobody    64    0 11148K  5648K select  1  17:13 28.17% /usr/local/sbin/softflowd -i em0 -n 1
  12 root     -44    -     0K   192K WAIT    0 394:04 19.87% [intr{swi1: netisr 0}]

 

vmstat -z

ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS  FAILURES

UMA Kegs:                 208,        0,       86,       16,       86,        0
UMA Zones:                256,        0,       86,        4,       86,        0
UMA Slabs:                568,        0,      908,        2,     7033,        0
UMA RCntSlabs:            568,        0,     4399,        4,     4399,        0
UMA Hash:                 256,        0,        2,       13,        3,        0
16 Bucket:                152,        0,       93,        7,       93,        0
32 Bucket:                280,        0,       84,        0,       84,        0
64 Bucket:                536,        0,       70,        0,       70,       18
128 Bucket:              1048,        0,      653,        1,      653,      210
VM OBJECT:                216,        0,    50592,      312,  3445639,        0
MAP:                      232,        0,        7,       25,        7,        0
KMAP ENTRY:               120,   214706,       23,      132,    14292,        0
MAP ENTRY:                120,        0,     1567,      324,  8281186,        0
DP fakepg:                120,        0,        0,       93,       34,        0
SG fakepg:                120,        0,        0,        0,        0,        0
mt_zone:                 2056,        0,      220,       34,      220,        0
16:                        16,        0,     1610,      406,  2971959,        0
32:                        32,        0,     1691,      329,   260098,        0
64:                        64,        0,     2866,      270,  3613509,        0
128:                      128,        0,     2775,      299,   254023,        0
256:                      256,        0,     1288,      542,  3468279,        0
512:                      512,        0,      652,      181,   632043,        0
1024:                    1024,        0,       43,      117,    25181,        0
2048:                    2048,        0,       55,       33,    13307,        0
4096:                    4096,        0,      194,       75,   161233,        0
Files:                     80,        0,      115,      200, 56200361,        0
TURNSTILE:                136,        0,      217,       43,      217,        0
umtx pi:                   96,        0,        0,        0,        0,        0
MAC labels:                40,        0,        0,        0,        0,        0
PROC:                    1136,        0,       64,       50,   114562,        0
THREAD:                  1120,        0,      138,       78,    25250,        0
SLEEPQUEUE:                80,        0,      217,       44,      217,        0
VMSPACE:                  392,        0,       46,       74,   114539,        0
cpuset:                    72,        0,        2,       98,        2,        0
audit_record:             952,        0,        0,        0,        0,        0
mbuf_packet:              256,        0,     8203,      501, 1187570333,        0
mbuf:                     256,        0,        4,      382, 10564303,        0
mbuf_cluster:            2048,    65536,     8704,        6,     8704,        0
mbuf_jumbo_page:         4096,    32767,        0,       44,      173,        0
mbuf_jumbo_9k:           9216,    16383,        0,        0,        0,        0
mbuf_jumbo_16k:         16384,     8191,        0,        0,        0,        0
mbuf_ext_refcnt:            4,        0,        0,        0,        0,        0
ttyinq:                   160,        0,      195,       45,      855,        0
ttyoutq:                  256,        0,      104,       46,      456,        0
g_bio:                    232,        0,        0,    12752,  1577740,        0
ata_request:              320,        0,        0,       24,       18,        0
ata_composite:            336,        0,        0,        0,        0,        0
VNODE:                    472,        0,    93285,       75,  1868110,        0
VNODEPOLL:                112,        0,        0,        0,        0,        0
S VFS Cache:              108,        0,    75910,    24905,  1752511,        0
L VFS Cache:              328,        0,    24440,      220,   191141,        0
NAMEI:                   1024,        0,        0,       48,  6703648,        0
DIRHASH:                 1024,        0,     1820,       24,     1820,        0
pipe:                     728,        0,        3,       52,    40163,        0
ksiginfo:                 112,        0,      105,      951,   252150,        0
itimer:                   344,        0,        0,       33,       82,        0
KNOTE:                    128,        0,        0,      116,     2263,        0
socket:                   680,   204804,       41,       91,   577856,        0
unpcb:                    240,   204800,       23,       73,    63964,        0
ipq:                       56,     2079,        0,        0,        0,        0
udp_inpcb:                336,   204809,        1,       43,    21954,        0
udpcb:                     16,   204960,        1,      335,    21954,        0
tcp_inpcb:                336,   204809,       21,      155,   457609,        0
tcpcb:                    944,   204800,       15,       41,   457609,        0
tcptw:                     72,    27800,        6,      244,   433780,        0
syncache:                 144,    40976,        1,      103,   443847,        0
hostcache:                136,    15372,        3,       81,       71,        0
tcpreass:                  40,     4116,        0,      168,        2,        0
sackhole:                  32,        0,        0,      303,       32,        0
sctp_ep:                 1304,    65535,        0,        0,        0,        0
sctp_asoc:               2288,    40000,        0,        0,        0,        0
sctp_laddr:                48,    80064,        0,      216,        6,        0
sctp_raddr:               696,    80000,        0,        0,        0,        0
sctp_chunk:               136,   400008,        0,        0,        0,        0
sctp_readq:               104,   400032,        0,        0,        0,        0
sctp_stream_msg_out:      112,   400026,        0,        0,        0,        0
sctp_asconf:               40,   400008,        0,        0,        0,        0
sctp_asconf_ack:           48,   400032,        0,        0,        0,        0
ripcb:                    336,   204809,        1,       43,    34325,        0
rtentry:                  200,        0,       21,       36,       22,        0
IPFW dynamic rule:        120,        0,      543,     2340,  9628835,        0
divcb:                    336,   204809,        0,        0,        0,        0
selfd:                     56,        0,      188,      316, 11090772,        0
Mountpoints:              752,        0,        7,        8,        7,        0
SWAPMETA:                 288,   116519,        0,        0,        0,        0
FFS inode:                168,        0,    93072,      120,  1867317,        0
FFS1 dinode:              128,        0,        0,        0,        0,        0
FFS2 dinode:              256,        0,    93072,      138,  1867317,        0

 

ну и сами интерфейсы

vnstat -l -i em0

  packets                     306473  |         2425017
--------------------------------------+------------------
         max               2232 p/s  |       60438 p/s
     average                429 p/s  |        3401 p/s
         min                 75 p/s  |          86 p/s
--------------------------------------+------------------
 time                 11.88 minutes

 

vnstat -l -i em1

  packets                     415114  |           39615
--------------------------------------+------------------
         max              60257 p/s  |        2744 p/s
     average              17296 p/s  |        1650 p/s
         min                959 p/s  |        1003 p/s
--------------------------------------+------------------

Share this post


Link to post
Share on other sites

в table 10 загоняется блокировки от eais.rkn.gov.ru

Так это несколько тысяч правил и будет.

Share this post


Link to post
Share on other sites

Так это несколько тысяч правил и будет.

вданный момент всего

gw# ipfw table 10 list|wc -l
    745
gw#

 

все что получилось выжать

 

top -aSCHIP

last pid: 27565;  load averages:  0.30,  0.26,  0.26                        up 7+11:06:35  01:39:32
91 processes:  4 running, 75 sleeping, 12 waiting
CPU 0:  0.4% user,  0.0% nice,  0.0% system, 19.2% interrupt, 80.5% idle
CPU 1: 42.9% user,  0.0% nice,  3.8% system,  0.0% interrupt, 53.4% idle
Mem: 38M Active, 110M Inact, 427M Wired, 92K Cache, 623M Buf, 5363M Free
Swap: 12G Total, 12G Free

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  11 root     171 ki31     0K    32K RUN     0 173.5H 100.00% [idle{idle: cpu0}]
  11 root     171 ki31     0K    32K RUN     1 176.0H 53.47% [idle{idle: cpu1}]
1648 nobody   107    0 11148K  5680K CPU1    1  19:42 51.07% /usr/local/sbin/softflowd -i em0 -n 1

 

vnstat -l -i em0

-------------------
 packets                      59750  |         5180908
--------------------------------------+------------------
         max               1511 p/s  |      127159 p/s
     average                775 p/s  |       82228 p/s
         min                317 p/s  |         361 p/s
--------------------------------------+------------------
 time                  10.28 minutes

 

есть еще шанс выжать? или менять уже железо?

 

п.с. у кого настроение хорошее. так лучше не писать лолы/омг/етц. если не чего сказать, лучше промолчать emoticons.png

Share this post


Link to post
Share on other sites

Смотрю нетфлоу много съедает.

Попробуйте на нетграф перелезть.

Share this post


Link to post
Share on other sites

есть еще шанс выжать? или менять уже железо?

 

 

А вы при такой нагрузке испытываете потери и рост пинга?

Просто на вид все хорошо, или вы уверены что у вас больше потребление чем проходит сейчас через систему?

Share this post


Link to post
Share on other sites

есть еще шанс выжать? или менять уже железо?

 

 

А вы при такой нагрузке испытываете потери и рост пинга?

Просто на вид все хорошо, или вы уверены что у вас больше потребление чем проходит сейчас через систему?

потери есть. заббикс сразу начинает тригеры создавать о "внешка упала/внешка поднялась"

среднее сейчас идет до 10кpps, но мусора в сети хватает и никто не застрахован от пакостей в виде ддоса кого либо.

если текущее не тянет, что выбрать из нового железа.

Share this post


Link to post
Share on other sites

Смотрю нетфлоу много съедает.

Попробуйте на нетграф перелезть.

спс , попробую глянуть.

Share this post


Link to post
Share on other sites

как тут справедливо заметили люди с хорошим настроением, зачем вам еще и поллинг? вообще глядя на конфиги, создается впечатление что вы не понимаете, что делаете. с одной стороны, задираете размер буферов карты, с другой - включаете поллинг... "вы или крестик снимите, или трусы наденьте"

попробуйте начать со следующего:

/boot/loader.conf

kern.hz="1000"
hw.em.rxd="4096"
hw.em.txd="4096"
hw.em.rx_process_limit="-1"
hw.em.max_interrupt_rate="9000"
net.isr.maxthreads="8"
net.isr.bindthreads="0"
net.link.ifqmaxlen="10240"

 

/etc/sysctl.conf

dev.em.0.rx_int_delay=20
dev.em.0.rx_abs_int_delay=600
dev.em.0.tx_int_delay=20
dev.em.0.tx_abs_int_delay=600
dev.em.0.rx_processing_limit=-1
dev.em.0.fc=0
dev.em.1.rx_int_delay=20
dev.em.1.rx_abs_int_delay=600
dev.em.1.tx_int_delay=20
dev.em.1.tx_abs_int_delay=600
dev.em.1.rx_processing_limit=-1
dev.em.1.fc=0
net.inet.ip.intr_queue_maxlen=4096
net.route.netisr_maxqlen=2048
net.inet.flowtable.enable=0
hw.intr_storm_threshold=32000
net.isr.direct=1
net.isr.direct_force=0
net.inet.ip.fastforwarding=0
net.inet.ip.dummynet.io_fast=1
kern.ipc.nmbclusters=102400
net.inet.ip.redirect=0
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.point_to_point=0
kern.random.sys.harvest.interrupt=0

 

по результатам попробуйте поиграть с net.isr.direct. и выключите wol и polling. =)

 

ps. остальную муть пока из loader.conf и sysctl.conf уберите.

 

pps. очень хорошо помогают равномерно размазать пакеты по ядрам патчи melifaro@: http://ftp.ufanet.ru/pub/boco/freebsd/netisr/

Share this post


Link to post
Share on other sites

....

polling и WOL_MAGIC отключен.

осталось c ipfw еще попрвить и порядок в sysctl.

 

спс за советы.

лучше в трусах и без крестиков.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this