Перейти к содержимому
Калькуляторы

NAS на FreeBSD 9.0. Тестирование под нагрузкой.

Ответить

kirush   

kirush
Опубликовано · Жалоба

А ничего не изменилось :) как было так и осталось.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

kirush   

kirush
Опубликовано (изменено) · Жалоба

Добавил 

net.graph.maxalloc=65536
net.graph.maxdata=65536

Исчезли failure из

 

# vmstat -z | grep Graph

NetGraph items:         104,  65540,       7,    3328, 9485623,   0,   0
NetGraph data items:    104,  65540,       0,    2813,22953496,   0,   0

 

При отключении шейпера - все нормализуется:

 

${fwcmd}        add     3000    netgraph tablearg ip from table\(105\) to any in recv ng\*
${fwcmd}        add     3000    netgraph tablearg ip from any to table\(110\) out xmit ng\*

 

Шейпим таким способом:

[Thu Jan  3 08:16:46 2013] Action : open
[Thu Jan  3 08:16:46 2013] Executing '/usr/sbin/ngctl mkpeer ipfw: car 9652 upper', exit code = 0
[Thu Jan  3 08:16:46 2013] Executing '/usr/sbin/ngctl name ipfw:9652 sh4826', exit code = 0
[Thu Jan  3 08:16:46 2013] Executing '/usr/sbin/ngctl connect sh4826: ipfw: lower 9653', exit code = 0
[Thu Jan  3 08:16:46 2013] Executing '/usr/sbin/ngctl msg sh4826: setconf { upstream={ cbs=2176000 ebs=2176000 cir=17408000 greenAction=1 yellowAction=1 redAction=2 mode=0 } downstream={ cbs=2176000 ebs=2176000 cir=17408000 greenAction=1 yellowAction=1 redAction=2 mode=0 } }', exit code = 0
[Thu Jan  3 08:16:46 2013] Executing '/sbin/ipfw -q table 105 add 172.16.18.218 9652', exit code = 0
[Thu Jan  3 08:16:46 2013] Executing '/sbin/ipfw -q table 110 add 172.16.18.218 9653', exit code = 0
[Thu Jan  3 08:16:46 2013] Executing '/sbin/ipfw -q table 100 add 172.16.18.218', exit code = 0

 

Подскажите откуда берется цифра 104:

 

# vmstat -z | grep Graph

NetGraph items:         104,  65540,       7,    3328, 9485623,   0,   0
NetGraph data items:    104,  65540,       0,    2813,22953496,   0,   0

На другой машине (где все ок) - там стоит 72. Может в этом дело?

Изменено пользователем kirush

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

IMPERATOR   

IMPERATOR
Опубликовано · Жалоба

Добрый день всем .

У нас сущействует аналогичная проблема , шейпим через ng_car

Сервер нагружен на 90% LA выше 8 и т.д.

крутили все что можно и где можно

 

при отключении шейпера , а именно убираем :

${fwcmd} add 10000 netgraph tablearg ip from any to "table(10)" out via ${locallink}

${fwcmd} add 11000 netgraph tablearg ip from "table(11)" to any out via ${uplink}

 

Нагрузка сразу падает до 10%. Кто еще использует ng_car отпишитесь что и как у вас настроено.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dimic   

Dimic
Опубликовано · Жалоба

А в следствие чего прерывания, генерируемые сетевой картой, могут сильно нагружать процессор?

При 35kpps на прием картина примерно такая:

 

last pid: 10677;  load averages:  7.52,  6.58,  6.23       up 0+08:46:06  23:58:55
136 processes: 7 running, 100 sleeping, 29 waiting
CPU 0:  0.0% user,  0.0% nice, 12.9% system, 69.8% interrupt, 17.3% idle
CPU 1:  0.0% user,  0.0% nice, 14.9% system, 67.5% interrupt, 17.6% idle
CPU 2:  0.0% user,  0.0% nice, 13.3% system, 69.0% interrupt, 17.6% idle
CPU 3:  0.0% user,  0.0% nice, 10.2% system, 68.2% interrupt, 21.6% idle
Mem: 21M Active, 17M Inact, 323M Wired, 25M Buf, 3591M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  12 root       -92    -     0K   496K WAIT    1 125:06 34.67% [intr{irq262: igb1
  12 root       -92    -     0K   496K WAIT    0 114:12 34.03% [intr{irq256: igb0
  12 root       -92    -     0K   496K WAIT    2 110:42 33.69% [intr{irq258: igb0
  12 root       -92    -     0K   496K CPU3    3 125:48 31.88% [intr{irq264: igb1
  12 root       -92    -     0K   496K WAIT    0 127:58 31.79% [intr{irq261: igb1
  12 root       -92    -     0K   496K WAIT    3 115:20 31.79% [intr{irq259: igb0
  12 root       -92    -     0K   496K WAIT    2 129:01 31.25% [intr{irq263: igb1
  12 root       -92    -     0K   496K CPU1    1 109:31 30.66% [intr{irq257: igb0
  11 root       155 ki31     0K    64K RUN     3 257:03 24.02% [idle{idle: cpu3}]
  11 root       155 ki31     0K    64K RUN     1 262:07 23.24% [idle{idle: cpu1}]
  11 root       155 ki31     0K    64K RUN     0 256:07 22.66% [idle{idle: cpu0}]
  11 root       155 ki31     0K    64K CPU2    2 258:02 22.61% [idle{idle: cpu2}]
   0 root       -92    0     0K   288K -       1  15:37 10.50% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       0  15:24  9.38% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       0  14:34  9.28% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       0  15:46  5.62% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       1  10:14  5.27% [kernel{igb0 que}]
   0 root       -92    0     0K   288K -       1   9:45  5.08% [kernel{igb0 que}]
   0 root       -92    0     0K   288K -       0  10:00  4.59% [kernel{igb0 que}]
   0 root       -92    0     0K   288K -       0   9:15  3.96% [kernel{igb0 que}]

 

 input         (igb1)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
      35k     0     0        36M        26k     0        10M     0
      36k     0     0        36M        27k     0        10M     0
      39k     0     0        41M        28k     0        10M     0
      35k     0     0        36M        26k     0        10M     0
      37k     0     0        38M        27k     0        10M     0
      37k     0     0        39M        28k     0        10M     0
      36k     0     0        37M        27k     0        10M     0
      34k     0     0        34M        26k     0        10M     0
      34k     0     0        34M        25k     0        10M     0

 

Причем началось на ровном месте.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

roysbike   

roysbike
Опубликовано · Жалоба

А в следствие чего прерывания, генерируемые сетевой картой, могут сильно нагружать процессор?

При 35kpps на прием картина примерно такая:

 

last pid: 10677;  load averages:  7.52,  6.58,  6.23       up 0+08:46:06  23:58:55
136 processes: 7 running, 100 sleeping, 29 waiting
CPU 0:  0.0% user,  0.0% nice, 12.9% system, 69.8% interrupt, 17.3% idle
CPU 1:  0.0% user,  0.0% nice, 14.9% system, 67.5% interrupt, 17.6% idle
CPU 2:  0.0% user,  0.0% nice, 13.3% system, 69.0% interrupt, 17.6% idle
CPU 3:  0.0% user,  0.0% nice, 10.2% system, 68.2% interrupt, 21.6% idle
Mem: 21M Active, 17M Inact, 323M Wired, 25M Buf, 3591M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  12 root       -92    -     0K   496K WAIT    1 125:06 34.67% [intr{irq262: igb1
  12 root       -92    -     0K   496K WAIT    0 114:12 34.03% [intr{irq256: igb0
  12 root       -92    -     0K   496K WAIT    2 110:42 33.69% [intr{irq258: igb0
  12 root       -92    -     0K   496K CPU3    3 125:48 31.88% [intr{irq264: igb1
  12 root       -92    -     0K   496K WAIT    0 127:58 31.79% [intr{irq261: igb1
  12 root       -92    -     0K   496K WAIT    3 115:20 31.79% [intr{irq259: igb0
  12 root       -92    -     0K   496K WAIT    2 129:01 31.25% [intr{irq263: igb1
  12 root       -92    -     0K   496K CPU1    1 109:31 30.66% [intr{irq257: igb0
  11 root       155 ki31     0K    64K RUN     3 257:03 24.02% [idle{idle: cpu3}]
  11 root       155 ki31     0K    64K RUN     1 262:07 23.24% [idle{idle: cpu1}]
  11 root       155 ki31     0K    64K RUN     0 256:07 22.66% [idle{idle: cpu0}]
  11 root       155 ki31     0K    64K CPU2    2 258:02 22.61% [idle{idle: cpu2}]
   0 root       -92    0     0K   288K -       1  15:37 10.50% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       0  15:24  9.38% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       0  14:34  9.28% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       0  15:46  5.62% [kernel{igb1 que}]
   0 root       -92    0     0K   288K -       1  10:14  5.27% [kernel{igb0 que}]
   0 root       -92    0     0K   288K -       1   9:45  5.08% [kernel{igb0 que}]
   0 root       -92    0     0K   288K -       0  10:00  4.59% [kernel{igb0 que}]
   0 root       -92    0     0K   288K -       0   9:15  3.96% [kernel{igb0 que}]

 

 input         (igb1)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
      35k     0     0        36M        26k     0        10M     0
      36k     0     0        36M        27k     0        10M     0
      39k     0     0        41M        28k     0        10M     0
      35k     0     0        36M        26k     0        10M     0
      37k     0     0        38M        27k     0        10M     0
      37k     0     0        39M        28k     0        10M     0
      36k     0     0        37M        27k     0        10M     0
      34k     0     0        34M        26k     0        10M     0
      34k     0     0        34M        25k     0        10M     0

 

Причем началось на ровном месте.

что кроме роутинга или ната используется на сервере? какие нибудь правила фильтрации? что в ipfw?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба

Включён фастфорвадинг и напиханы правила в фаерволе, димминет не прибит к ядру, нат...

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dimic   

Dimic
Опубликовано · Жалоба

Все банально. Заменили оптический патчкорд между циской и бордером, все стало идельно.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

mlevel   

mlevel
Опубликовано (изменено) · Жалоба

Здравствуйте. Не могу прокачать через роутер на FreeBSD 9 больше 1 Гбит. (lagg 2-х портов). На машине только 27 правил IPFW (NAT+Shaping). IPoE.

lagg0 (VLAN's + shaping) - два адаптера igb

lagg1 (NAT, tso отключен) - два адаптера em

 

Видно что нагрузка паралелиться нормально, загрузка ЦПУ не высокая. Не могу найти узкое место.

Отключение шейпера не помогает.

 

Помогите!

 

# uname -a

FreeBSD router 9.1-RELEASE-p3 FreeBSD 9.1-RELEASE-p3 #0: Tue Apr 30 20:02:00 EEST 2013 	root@south:/usr/obj/usr/src/sys/ROUTER  amd64

# top -aSPHI

 

last pid: 91712;  load averages:  2.18,  2.06,  1.97                                       													up 20+22:28:36  17:40:22
120 processes: 7 running, 87 sleeping, 26 waiting
CPU 0:  0.0% user,  0.0% nice,  1.6% system, 38.6% interrupt, 59.8% idle
CPU 1:  0.0% user,  0.0% nice,  7.1% system, 37.0% interrupt, 55.9% idle
CPU 2:  0.0% user,  0.0% nice,  3.9% system, 38.6% interrupt, 57.5% idle
CPU 3:  0.0% user,  0.0% nice, 15.7% system, 26.8% interrupt, 57.5% idle
Mem: 59M Active, 1102M Inact, 942M Wired, 800M Buf, 5529M Free
Swap: 16G Total, 16G Free

 PID USERNAME PRI NICE   SIZE	RES STATE   C   TIME   WCPU COMMAND
  12 root 	-72	- 	0K   448K RUN 	1 153:39 72.22% [intr{swi1: netisr 0}]
  11 root 	155 ki31 	0K	64K RUN 	1 494.2H 65.19% [idle{idle: cpu1}]
  11 root 	155 ki31 	0K	64K CPU2	2 494.3H 64.65% [idle{idle: cpu2}]
  11 root 	155 ki31 	0K	64K RUN 	0 493.3H 63.38% [idle{idle: cpu0}]
  11 root 	155 ki31 	0K	64K CPU3	3 496.4H 62.55% [idle{idle: cpu3}]
  12 root 	-92	- 	0K   448K WAIT	2  58:49  9.38% [intr{irq266: igb0:que}]
  12 root 	-92	- 	0K   448K WAIT	2  59:32  9.03% [intr{irq271: igb1:que}]
  12 root 	-92	- 	0K   448K CPU1	1  59:09  8.94% [intr{irq265: igb0:que}]
  12 root 	-92	- 	0K   448K WAIT	3  57:52  8.01% [intr{irq272: igb1:que}]
  12 root 	-92	- 	0K   448K WAIT	1  59:32  7.96% [intr{irq270: igb1:que}]
  12 root 	-92	- 	0K   448K WAIT	3  55:47  7.81% [intr{irq267: igb0:que}]
  12 root 	-92	- 	0K   448K WAIT	0  55:24  7.23% [intr{irq264: igb0:que}]
  12 root 	-92	- 	0K   448K WAIT	0  56:57  6.69% [intr{irq269: igb1:que}]
  12 root 	-92	- 	0K   448K WAIT	3 203:34  4.74% [intr{irq275: em1:rx 0}]
0 root 	-92	0 	0K   336K -   	2 427:03  2.64% [kernel{dummynet}]
0 root 	-92	0 	0K   336K -   	3 206:57  2.54% [kernel{em0 que}]
86278 root  	20	0 33348K  8588K select  0   8:35  0.54% /usr/local/sbin/snmpd -p /var/run/net_snmpd.pid -r
  12 root 	-92	- 	0K   448K WAIT	2   7:56  0.20% [intr{irq276: em1:tx 0}]

 

# cat /etc/sysctl.conf

 

# IGB driver
dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096

# EM driver
dev.em.0.rx_int_delay=200
dev.em.0.tx_int_delay=200
dev.em.0.rx_abs_int_delay=4000
dev.em.0.tx_abs_int_delay=4000
dev.em.0.rx_processing_limit=4096

dev.em.1.rx_int_delay=200
dev.em.1.tx_int_delay=200
dev.em.1.rx_abs_int_delay=4000
dev.em.1.tx_abs_int_delay=4000
dev.em.1.rx_processing_limit=4096

# TCP/IP stack
net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=0
net.inet.ip.redirect=0
net.inet.tcp.delayed_ack=0
net.inet.tcp.recvbuf_max=4194304
net.inet.tcp.sendbuf_max=4194304
net.inet.tcp.sack.enable=0
net.inet.tcp.drop_synfin=1
net.inet.tcp.nolocaltimewait=1
net.inet.ip.ttl=255
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.udp.recvspace=64080
net.inet.ip.rtmaxcache=1024
net.inet.ip.intr_queue_maxlen=5120
kern.ipc.nmbclusters=824288
kern.ipc.maxsockbuf=83886080
kern.ipc.maxsockets=102400
net.inet.tcp.recvspace=95536
net.inet.tcp.sendspace=95536
net.local.stream.recvspace=32768
net.local.stream.sendspace=32768
kern.ipc.somaxconn=32768
net.inet.tcp.maxtcptw=65535

# IPFW
net.inet.ip.fw.one_pass=1
net.inet.ip.fw.dyn_max=65535
net.inet.ip.fw.dyn_buckets=2048
net.inet.ip.fw.dyn_syn_lifetime=10
net.inet.ip.fw.dyn_ack_lifetime=120
net.inet.ip.fw.verbose=0

# Dummynet
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.hash_size=65536
net.inet.ip.dummynet.pipe_slot_limit=1000

# ICMP
net.inet.icmp.icmplim=3000
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=0
net.inet.icmp.bmcastecho=0
net.inet.icmp.maskrepl=0

# /dev/random optimize networking
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.point_to_point=0
kern.random.sys.harvest.interrupt=0

net.inet.raw.maxdgram=16384
net.inet.raw.recvspace=16384

net.route.netisr_maxqlen=8192
net.inet.ip.intr_queue_maxlen=10240

net.isr.dispatch=deferred

 

# cat /boot/loader.conf

 

# Main
loader_logo="beastie"
autoboot_delay=3
geom_mirror_load="YES"

# IGB tuning
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.rx_process_limit=4096
hw.igb.max_interrupt_rate=32000
hw.igb.num_queues=4
hw.igb.fc_setting=0
hw.igb.lro=0

# EM tuning
hw.em.rxd=4096
hw.em.txd=4096
hw.em.rx_process_limit=4096
hw.em.fc_setting=0
dev.em.0.rx_int_delay=200
dev.em.0.tx_int_delay=200
dev.em.0.rx_abs_int_delay=4000
dev.em.0.tx_abs_int_delay=4000
dev.em.1.rx_int_delay=200
dev.em.1.tx_int_delay=200
dev.em.1.rx_abs_int_delay=4000
dev.em.1.tx_abs_int_delay=4000

# Networking
net.isr.maxthreads=4
net.isr.bindthreads=0
net.inet.tcp.tcbhashsize=32000
net.link.ifqmaxlen=10240
net.isr.defaultqlimit=8192

 

# vmstat -i

 

interrupt                      	total   	rate
irq20: ehci1 					4171628      	2
irq21: atapci0   				1561194      	0
irq22: ehci0+                	2713150      	1
cpu0:timer   				14622957598   	8082
irq264: igb0:que 0 			515616328    	284
irq265: igb0:que 1 			738456087    	408
irq266: igb0:que 2 			711371660    	393
irq267: igb0:que 3 			462738813    	255
irq268: igb0:link                  	3      	0
irq269: igb1:que 0 			656044816    	362
irq270: igb1:que 1 			546931002    	302
irq271: igb1:que 2 			617173223    	341
irq272: igb1:que 3 			644295672    	356
irq273: igb1:link                  	4      	0
irq274: em0                	557400132    	308
irq275: em1:rx 0   			424252744    	234
irq276: em1:tx 0   			708469817    	391
irq277: em1:link   					2      	0
cpu3:timer 					678408141    	374
cpu1:timer 					674674076    	372
cpu2:timer 					621495291    	343
Total                    	23188731381  	12816

 

# netstat -w1

 

       	input    	(Total)   		output
  packets  errs idrops  	bytes	packets  errs  	bytes colls
 	442k 	0 	0   	304M   	457k 	0   	393M 	0
 	449k 	0 	0   	308M   	463k 	0   	395M 	0
 	445k 	0 	0   	304M   	461k 	0   	393M 	0
 	439k 	0 	0   	303M   	456k 	0   	393M 	0
 	434k 	0 	0   	297M   	450k 	0   	387M 	0
 	440k 	0 	0   	301M   	456k 	0   	392M 	0
 	438k 	0 	0   	300M   	455k 	0   	391M 	0

 

# ifconfig lagg0 (смотрит в сторону абонентов, там 500 VLAN'ов)

 

lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   	options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
   	ether a0:36:9f:16:d0:9c
   	media: Ethernet autoselect
   	status: active
   	laggproto lacp lagghash l2,l3,l4
   	laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
   	laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

# ifconfig lagg1 - (внешний, NAT)

 

lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
   	options=4209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWTSO>
   	ether 00:1e:67:59:ea:89
   	inet ХХХ.ХХХ.ХХХ.14 netmask 0xffffffe0 broadcast ХХХ.ХХХ.ХХХ.31
   	inet ХХХ.ХХХ.ХХХ.70 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.70
   	inet ХХХ.ХХХ.ХХХ.71 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.71
   	inet ХХХ.ХХХ.ХХХ.72 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.72
   	inet ХХХ.ХХХ.ХХХ.73 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.73
   	inet ХХХ.ХХХ.ХХХ.74 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.74
   	inet ХХХ.ХХХ.ХХХ.75 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.75
   	inet ХХХ.ХХХ.ХХХ.76 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.76
   	inet ХХХ.ХХХ.ХХХ.77 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.77
   	inet ХХХ.ХХХ.ХХХ.78 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.78
   	inet ХХХ.ХХХ.ХХХ.79 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.79
   	inet ХХХ.ХХХ.ХХХ.33 netmask 0xfffffff0 broadcast ХХХ.ХХХ.ХХХ.47
   	media: Ethernet autoselect
   	status: active
   	laggproto lacp lagghash l2,l3,l4
   	laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
   	laggport: em0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

# vmstat -z

 

ITEM   				SIZE  LIMIT 	USED 	FREE  	REQ FAIL SLEEP

UMA Kegs:   			208,  	0,  	78,   	7,  	78,   0,   0
UMA Zones:          	896,  	0,  	78,   	2,  	78,   0,   0
UMA Slabs:          	568,  	0,	5686,   	5,   32955,   0,   0
UMA RCntSlabs:      	568,  	0,   22419,   	2,   22419,   0,   0
UMA Hash:   			256,  	0,   	2,  	13,   	3,   0,   0
16 Bucket:          	152,  	0, 	149,   	1, 	149,   0,   0
32 Bucket:          	280,  	0, 	149,   	5, 	149,  20,   0
64 Bucket:          	536,  	0, 	130,   	3, 	130,  74,   0
128 Bucket:        	1048,  	0,	6160,   	2,	6160,8439,   0
VM OBJECT:          	232,  	0,  161818,   20406,13929237,   0,   0
MAP:                	232,  	0,   	7,  	25,   	7,   0,   0
KMAP ENTRY: 			120, 268925,  	47, 	449,   73677,   0,   0
MAP ENTRY:          	120,  	0,	1728,	1992,37495368,   0,   0
fakepg: 				120,  	0,   	0,   	0,   	0,   0,   0
mt_zone:   			4112,  	0, 	263,   	0, 	263,   0,   0
16:                  	16,  	0,	3398, 	802,22358664,   0,   0
32:                  	32,  	0,	5735, 	729, 2106934,   0,   0
64:                  	64,  	0,	7141,  101667,41978891,   0,   0
128:                	128,  	0,  810092,   79570,196238506,   0,   0
256:                	256,  	0,   14850,   41235,6935866992,   0,   0
512:                	512,  	0,	5732,   55168, 2078959,   0,   0
1024:              	1024,  	0,  	88, 	168,  987143,   0,   0
2048:              	2048,  	0,	5532, 	362,   22739,   0,   0
4096:              	4096,  	0, 	268, 	191,  684090,   0,   0
Files:   				80,  	0, 	105, 	435,22543148,   0,   0
TURNSTILE:          	136,  	0, 	370,  	50, 	370,   0,   0
umtx pi: 				96,  	0,   	0,   	0,   	0,   0,   0
MAC labels:          	40,  	0,   	0,   	0,   	0,   0,   0
PROC:              	1184,  	0,  	57, 	105,  591761,   0,   0
THREAD:            	1128,  	0, 	222, 	147,   12478,   0,   0
SLEEPQUEUE:          	80,  	0, 	370,  	65, 	370,   0,   0
VMSPACE:            	392,  	0,  	39, 	191,  591716,   0,   0
cpuset:              	72,  	0,  	79, 	171,  	88,   0,   0
audit_record:   		960,  	0,   	0,   	0,   	0,   0,   0
mbuf_packet:        	256,  	0,   41467,	3077,9532545993,   0,   0
mbuf:   				256,  	0,   	2, 	904,5790938122,   0,   0
mbuf_cluster:      	2048, 824288,   44544, 	294,  276197,   0,   0
mbuf_jumbo_page:   	4096,  12800,   	0,   	0,   	0,   0,   0
mbuf_jumbo_9k: 		9216,   6400,   	0,   	0,   	0,   0,   0
mbuf_jumbo_16k:   	16384,   3200,   	0,   	0,   	0,   0,   0
mbuf_ext_refcnt:      	4,  	0,   	0, 	672,   70088,   0,   0
g_bio:              	232,  	0,   	0,   17072, 4685314,   0,   0
ttyinq: 				160,  	0, 	240, 	192,	1950,   0,   0
ttyoutq:            	256,  	0, 	126, 	129,	1037,   0,   0
ata_request:        	328,  	0,   	0, 	144, 1561787,   0,   0
ata_composite:      	336,  	0,   	0,   	0,   	0,   0,   0
VNODE:              	480,  	0,  169954,   13078,16272592,   0,   0
VNODEPOLL:          	112,  	0,   	2, 	163,   	4,   0,   0
S VFS Cache:        	108,  	0,   57479,   96070,11353758,   0,   0
STS VFS Cache:      	148,  	0,   	0,   	0,   	0,   0,   0
L VFS Cache:        	328,  	0,   20956,   30584, 5466064,   0,   0
LTS VFS Cache:      	368,  	0,   	0,   	0,   	0,   0,   0
NAMEI: 				1024,  	0,   	0, 	112,46053896,   0,   0
NCLNODE:            	568,  	0,   	0,   	0,   	0,   0,   0
DIRHASH:   			1024,  	0,	5572, 	604,   11728,   0,   0
Mountpoints:        	792,  	0,   	5,  	10,   	5,   0,   0
pipe:   				728,  	0,   	7,  	98,  247705,   0,   0
ksiginfo:   			112,  	0, 	152, 	904,   68315,   0,   0
itimer: 				344,  	0,   	0,  	77,	1007,   0,   0
KNOTE:              	128,  	0,   	0, 	290,   32507,   0,   0
socket: 				680, 102402,  	29, 	121,12054183,   0,   0
unpcb:              	240, 102400,  	19, 	173,  172158,   0,   0
ipq: 					56,  25767,   	1, 	629,   12959,   0,   0
udp_inpcb:          	392, 102400,   	2, 	118,11647270,   0,   0
udpcb:   				16, 102480,   	2, 	670,11647270,   0,   0
tcp_inpcb:          	392, 102400,   	6,  	94,   45723,   0,   0
tcpcb:              	976, 102400,   	6,  	90,   45723,   0,   0
tcptw:   				72,  65550,   	0, 	300,   13261,   0,   0
syncache:   			152,  15375,   	0, 	175,   14338,   0,   0
hostcache:          	136,  15372,   	3, 	137, 	134,   0,   0
tcpreass:            	40,  51576,   	0, 	672,  127101,   0,   0
sackhole:            	32,  	0,   	0,   	0,   	0,   0,   0
ripcb:              	392, 102400,   	1,  	89,  188675,   0,   0
rtentry:            	200,  	0,	1169, 	142,	5689,   0,   0
IPFW dynamic rule:  	120,  	0,   	0,   	0,   	0,   0,   0
selfd:   				56,  	0, 	271, 	674,39386476,   0,   0
SWAPMETA:   			288, 116519,   	0,   	0,   	0,   0,   0
FFS inode:          	168,  	0,  169914,   13104,16272262,   0,   0
FFS1 dinode:        	128,  	0,   	0,   	0,   	0,   0,   0
FFS2 dinode:        	256,  	0,  169914,   13071,16272260,   0,   0

 

 

# netstat -w1 -I em0

 

        	input      	(em0)   		output
  packets  errs idrops  	bytes	packets  errs  	bytes colls
 	101k 	0 	0   	111M    	36k 	0    	13M 	0
 	101k 	0 	0   	112M    	36k 	0    	13M 	0
 	100k 	0 	0   	112M    	37k 	0    	13M 	0

 

# netstat -w1 -I em1

 

        	input      	(em1)   		output
  packets  errs idrops  	bytes	packets  errs  	bytes colls
 	100k 	0 	0   	111M    	37k 	0   	9.1M 	0
 	102k 	0 	0   	113M    	39k 	0    	10M 	0
  	91k 	0 	0   	101M    	38k 	0   	9.7M 	0

 

# netstat -w1 -I igb0

 

        	input 		(igb0)   		output
  packets  errs idrops  	bytes	packets  errs  	bytes colls
  	39k 	0 	0   	9.1M    	51k 	0    	57M 	0
  	38k 	0 	0   	9.1M    	49k 	0    	54M 	0
  	39k 	0 	0   	9.4M    	51k 	0    	56M 	0

 

# netstat -w1 -I igb1

 

        	input 		(igb1)   		output
  packets  errs idrops  	bytes	packets  errs  	bytes colls
  	36k 	0 	0    	14M    	48k 	0    	56M 	0
  	35k 	0 	0    	14M    	50k 	0    	59M 	0
  	34k 	0 	0    	13M    	48k 	0    	57M 	0

 

# netstat -w1 -I lagg0

 

        	input    	(lagg0)   		output
  packets  errs idrops  	bytes	packets  errs  	bytes colls
  	75k 	0 	0    	23M    	98k 	0   	113M 	0
  	73k 	0 	0    	21M    	98k 	0   	113M 	0
  	73k 	0 	0    	23M    	98k 	0   	112M 	0

 

# netstat -w1 -I lagg1

 

        	input    	(lagg1)   		output
  packets  errs idrops  	bytes	packets  errs  	bytes colls
 	100k 	0 	0   	112M    	74k 	0    	24M 	0
 	101k 	0 	0   	113M    	73k 	0    	24M 	0
 	102k 	0 	0   	114M    	74k 	0    	24M 	0

 

# cat /sys/amd64/conf/ROUTER

 

cpu     		HAMMER
ident   		SOUTH-ROUTER

options 		SCHED_ULE       		# ULE scheduler
options 		PREEMPTION          	# Enable kernel thread preemption
options 		INET                	# InterNETworking
options 		FFS             		# Berkeley Fast Filesystem
options 		SOFTUPDATES     		# Enable FFS soft updates support
options 		UFS_ACL         		# Support for access control lists
options 		UFS_DIRHASH     		# Improve performance on big directories
options 		UFS_GJOURNAL        	# Enable gjournal-based UFS journaling
options 		MD_ROOT         		# MD is a potential root device
options 		NFSCL           		# New Network Filesystem Client
options 		NFSD                	# New Network Filesystem Server
options 		NFSLOCKD            	# Network Lock Manager
options 		NFS_ROOT            	# NFS usable as /, requires NFSCL
options 		MSDOSFS         		# MSDOS Filesystem
options 		CD9660              	# ISO 9660 Filesystem
options 		PROCFS              	# Process filesystem (requires PSEUDOFS)
options 		PSEUDOFS            	# Pseudo-filesystem framework
options 		GEOM_PART_GPT   		# GUID Partition Tables.
options 		GEOM_RAID       		# Soft RAID functionality.
options 		GEOM_LABEL          	# Provides labelization
options 		COMPAT_FREEBSD32    	# Compatible with i386 binaries
options 		COMPAT_FREEBSD4 		# Compatible with FreeBSD4
options 		COMPAT_FREEBSD5 		# Compatible with FreeBSD5
options 		COMPAT_FREEBSD6 		# Compatible with FreeBSD6
options 		COMPAT_FREEBSD7 		# Compatible with FreeBSD7
options 		SYSVSHM         		# SYSV-style shared memory
options 		SYSVMSG         		# SYSV-style message queues
options 		SYSVSEM         		# SYSV-style semaphores
options 		_KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options 		PRINTF_BUFR_SIZE=128	# Prevent printf output being interspersed.
options 		KBD_INSTALL_CDEV    	# install a CDEV entry in /dev
options 		HWPMC_HOOKS     		# Necessary kernel hooks for hwpmc(4)
options 		AUDIT           		# Security event auditing
options 		MAC             		# TrustedBSD MAC Framework
options 		INCLUDE_CONFIG_FILE 	# Include this file in kernel
options 		KDB             		# Kernel debugger related code
options 		KDB_TRACE       		# Print a stack trace for a panic
options 		SMP             		# Symmetric MultiProcessor Kernel

device      	cpufreq
device      	acpi
device      	pci

device      	ahci        	# AHCI-compatible SATA controllers
device      	ata     		# Legacy ATA/SATA controllers
options 		ATA_CAM 		# Handle legacy controllers with CAM
options 		ATA_STATIC_ID   # Static device numbering

device      	scbus   		# SCSI bus (required for ATA/SCSI)
device      	da          	# Direct Access (disks)
device      	cd          	# CD
device      	pass        	# Passthrough device (direct ATA/SCSI access)
device      	ses     		# Enclosure Services (SES and SAF-TE)
device      	ctl     		# CAM Target Layer
device      	iir     		# Intel Integrated RAID
device      	atkbdc      	# AT keyboard controller
device      	atkbd   		# AT keyboard
device      	psm     		# PS/2 mouse
device      	kbdmux      	# keyboard multiplexer
device      	vga     		# VGA video card driver
options 		VESA        	# Add support for VESA BIOS Extensions (VBE)
device      	splash      	# Splash screen and screen saver support
device      	sc
options 		SC_PIXEL_MODE   # add support for the raster text mode
device      	agp     		# support several AGP chipsets
device      	uart        	# Generic UART driver
device      	ppc
device      	ppbus   		# Parallel port bus (required)
device      	plip        	# TCP/IP over parallel
device      	ppi     		# Parallel port interface device
device      	puc     		# Multi I/O cards and multi-channel UARTs

device      	em          	# Intel PRO/1000 Gigabit Ethernet Family
device      	igb     		# Intel PRO/1000 PCIE Server Gigabit Family

device      	ixgbe   		# Intel PRO/10GbE PCIE Ethernet Family
device      	miibus      	# MII bus support
device      	loop        	# Network loopback
device      	random      	# Entropy device
device      	ether   		# Ethernet support
device      	vlan        	# 802.1Q VLAN support
device      	tun     		# Packet tunnel.
device      	pty     		# BSD-style compatibility pseudo ttys
device      	bpf     		# Berkeley packet filter

device      	uhci        	# UHCI PCI->USB interface
device      	ohci        	# OHCI PCI->USB interface
device      	ehci        	# EHCI PCI->USB interface (USB 2.0)
device      	xhci        	# XHCI PCI->USB interface (USB 3.0)
device      	usb     		# USB Bus (required)
device      	uhid        	# "Human Interface Devices"
device      	ukbd        	# Keyboard
device      	ulpt        	# Printer
device      	umass   		# Disks/Mass storage - Requires scbus and da
device      	ums     		# Mouse

device      	firewire    	# FireWire bus code
device      	fwe     		# Ethernet over FireWire (non-standard!)
device      	fwip        	# IP over FireWire (RFC 2734,3146)
device      	dcons   		# Dumb console driver
device      	dcons_crom  	# Configuration ROM for dcons

device      	lagg
device      	ichwd

options 		HZ=8000

options 		LIBALIAS
options 		IPFIREWALL
options 		IPFIREWALL_DEFAULT_TO_ACCEPT
options 		IPFIREWALL_FORWARD
options 		IPFIREWALL_NAT
options 		DUMMYNET

options 		ZERO_COPY_SOCKETS
options 		PANIC_REBOOT_WAIT_TIME=16
options 		SC_DISABLE_REBOOT
options 		SC_HISTORY_SIZE=10000

 

Изменено пользователем mlevel

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

boco   

boco
Опубликовано · Жалоба
Не могу прокачать через роутер на FreeBSD 9 больше 1 Гбит. (lagg 2-х портов). На машине только 27 правил IPFW (NAT+Shaping). IPoE.

а где эти правила?

 

ps. сделайте net.isr.dispatch=direct или увеличьте net.isr.maxthreads. у вас сейчас, судя по top, весь трафик разгребает одна нитка isr.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

mlevel   

mlevel
Опубликовано · Жалоба
Не могу прокачать через роутер на FreeBSD 9 больше 1 Гбит. (lagg 2-х портов). На машине только 27 правил IPFW (NAT+Shaping). IPoE.

а где эти правила?

 

ps. сделайте net.isr.dispatch=direct или увеличьте net.isr.maxthreads. у вас сейчас, судя по top, весь трафик разгребает одна нитка isr.

 

00101  	10728     	568118 allow ip from any to any via lo0
00102 	284239   	27598484 allow ospf from any to any
00151   15212501 	5628696048 allow ip from table(3) to table(3)
00201 	432857   	71308305 deny ip from any to table(7)
00202      	1         	67 deny ip from table(7) to any
00203	2484525  	222045944 deny ip from any to any dst-port 137-139,445
00204    	323      	24317 deny ip from any 137-139,445 to any
00205 	385722   	19546128 deny tcp from not table(1) to not 172.16.204.4 dst-port 25
00211 	175078   	13727292 deny ip from table(2) to table(2)
00241 9026957255 10475679303254 nat tablearg ip from not table(9) to table(11) in recv lagg1
00242 6316038617  1947360198492 nat tablearg ip from table(12) to not table(9) out recv vlan* xmit lagg1
00251  588656910   433221455839 allow ip from any to any via lagg1
00401 	217215   	13233391 deny ip from any to 192.168.0.0/21
00402 	462950   	22386384 deny ip from 192.168.0.0/21 to any
00431   18856233 	1180351274 allow ip from table(2) to table(9)
00432   18715282 	6200894508 allow ip from table(9) to table(2)
00441   	1398    	1239846 allow ip from 172.16.204.6,172.16.204.34 80,443 to any via vlan*
00442    	855      	75163 allow ip from any to 172.16.204.6,172.16.204.34 dst-port 80,443 via vlan*
00471   17711816 	1961124922 fwd 172.16.204.34 tcp from table(8) to not table(10) dst-port 80,8080,443 via vlan*
00472  	17836    	2233752 allow tcp from table(8) to any dst-port 80,8080,443 via vlan*
00473   22373269 	6508836622 allow tcp from any to table(8) src-port 80,8080,443 via vlan*
00501 	258373   	16410546 allow tcp from table(8) to table(10) dst-port 80,8080,443,53 in recv vlan*
00502 	253022   	98385086 allow tcp from table(10) to table(8) src-port 80,8080,443,53 out xmit vlan*
00901 7891667610  9307178639305 pipe tablearg ip from any to table(20) out xmit vlan*
00902 5652654606  1777466191101 pipe tablearg ip from table(21) to any in recv vlan*
65534	2107310  	134651975 deny ip from any to any
65535 	257529   	22143790 allow ip from any to any

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

mlevel   

mlevel
Опубликовано · Жалоба
Не могу прокачать через роутер на FreeBSD 9 больше 1 Гбит. (lagg 2-х портов). На машине только 27 правил IPFW (NAT+Shaping). IPoE.

а где эти правила?

 

ps. сделайте net.isr.dispatch=direct или увеличьте net.isr.maxthreads. у вас сейчас, судя по top, весь трафик разгребает одна нитка isr.

 

Сделал - стало еще хуже, больше 200 Мбит. не поднялось, про том что 50% cpu idle было. Временно переключил на другой сервер. Что-то мне кажеться что проблема в EM-картах...

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

boco   

boco
Опубликовано · Жалоба

Сделал - стало еще хуже, больше 200 Мбит. не поднялось, про том что 50% cpu idle было. Временно переключил на другой сервер. Что-то мне кажеться что проблема в EM-картах...

тогда см. http://forum.nag.ru/forum/index.php?showtopic=82322 (патчи и рекомендации) плюс попробуйте модифицировать фаервол, минимизировав количество правил, разделив in и out и избавившись от via

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

roysbike   

roysbike
Опубликовано · Жалоба

Карту 82574L меняйте в первую очередь. Замените на 82576 или I350.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

boco   

boco
Опубликовано · Жалоба

Карту 82574L меняйте в первую очередь. Замените на 82576 или I350.

ну не знаю, спокойно качаю на этой карте 800 мбит, на двух таких в lagg'е - около 1500. а тут какие-то 200 и кранты. к тому же карта не самая плохая из em(4). цельных 3 прерывания поддерживает =)

em3: Using MSIX interrupts with 3 vectors
em3: [iTHREAD]
em3: [iTHREAD]
em3: [iTHREAD]

ipn6-day.png

ipn1-day.png

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

andryas   

andryas
Опубликовано · Жалоба

В порядке хвастовства.

9.1-RELEASE, карточки igb, core i5, мать десктопная, mpd5, шейпер ipfw.

Траффик на каждый брас до 700-800 мегабит, на каждом до 2k абонентов онлайн (тарифы 1-3-5 мбит), загрузка наиболее загруженного ядра в ЧНН не превышает 40%, остальные 12-15%.

Проблем никаких вообще.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

snvoronkov   

snvoronkov
Опубликовано · Жалоба

9.1-RELEASE, карточки igb, core i5, мать десктопная, mpd5, шейпер ipfw.

Траффик на каждый брас до 700-800 мегабит, на каждом до 2k абонентов онлайн (тарифы 1-3-5 мбит), загрузка наиболее загруженного ядра в ЧНН не превышает 40%, остальные 12-15%.

Проблем никаких вообще.

 

Значит повезло. У меня вот на серверной интелевой матери с igb-же вообще тормоза страшные были после обновления дров сетевой выше 7.X.X.

 

На 7.4, 8.3 и 9.0.

 

Причина так и не найдена. Замена карты на bge вопрос закрыла.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Подписчики 0
Перейти к списку тем Программное обеспечение, биллинг и *unix системы