[dsk]

ndsad тоже однозначно выкинуть на помойку.

[kirush]

02000    39520238     5418057722 pipe tablearg ip from table(1) to any in recv ng*
02000    41410055    31137220566 pipe tablearg ip from any to table(2) out xmit ng*
02010    58511224     7734772814 pipe tablearg ip from table(3) to any in recv ng*
02010    71426566    55532179682 pipe tablearg ip from any to table(4) out xmit ng*
02020    28453880     6461479875 pipe tablearg ip from table(5) to any in recv ng*
02020    28859261    21186334766 pipe tablearg ip from any to table(6) out xmit ng*
02030  3784463505  1405388826290 pipe tablearg ip from table(10) to any in recv ng*
02030  4609025803  4501622429671 pipe tablearg ip from any to table(11) out xmit ng*
02040  3456795771  2361893563664 pipe tablearg ip from table(12) to any in recv ng*
02040  3574120329  2952183980086 pipe tablearg ip from any to table(13) out xmit ng*
02050  5390201020  3242121007687 pipe tablearg ip from table(14) to any in recv ng*
02050  5706308529  5088560656782 pipe tablearg ip from any to table(15) out xmit ng*
02060    31618204     3078609472 pipe tablearg ip from table(16) to any in recv ng*
02060    44420384    46306834255 pipe tablearg ip from any to table(17) out xmit ng*
02070    12041530      815210612 pipe tablearg ip from table(18) to any in recv ng*
02070    21126187    26754873394 pipe tablearg ip from any to table(19) out xmit ng*
02080     1347618     1180634455 pipe tablearg ip from table(21) to any in recv ng*
02080     1222430      647710676 pipe tablearg ip from any to table(22) out xmit ng*
02990  7286553072  3485017652865 tee 21000 ip from 172.16.0.0/16 to any via em0
02990  8442616403  7623633125619 tee 21000 ip from any to 172.16.0.0/16 via em0

Счетчики поставил после шейперов.

ng в пиках до 500.

[vladd]

Прошу прощения, немного не в тему, но отдельную создавать не имеет смысла. На 7.0-7.2 dummynet работал очень нестабильно - перезагружался каждые 2-3 часа. Но поставили 8.0-RELEASE - и о чудо, перезагрузки прекратились. Однако куда-то потихоньку исчезает память:

 

Mem: 28M Active, 1359M Inact, 303M Wired, 152K Cache, 213M Buf, 282M Free

 

Аптайм - 5 дней - и Inact все время потихоньку растет. Так и должно быть, или готовиться к худшему? Можеть быть, лучше перезагружать регулярно самому, чтобы не было сюрпризов? И возможно ли узнать, кто зажирает?

 

PS. В ipfw около 4000 статических пайпов, плюс пара правил для распихивания адресов по пайпам через tablearg. Все стандартно. Загрузка 10-15%, трафик около 150 мбит.

[zed_0xff]

я когда-то задался вопросом - что лучше юзать в правилах: "...{ via em1 or via em2 or via em3 }" или "via em*", расковырял исходники, вытащил алгоритм, протестил.

в результате получилось что одна обработка вида "via em*" ("via ng*" в вашем случае) примерно в 120 раз медленне, чем просто "via emX"

 

так что попробуйте как-то уменьшить количество проверок с масками, или перегруппировать правила так чтобы нужна было всего пара таких "тяжелых" матчеров

[voron]

Аптайм - 5 дней - и Inact все время потихоньку растет. Так и должно быть

да, кэш заполняется потихоньку

 

[st_re]

А зачем вообще столько одинаковых правил ? У Вас один и тотже IP ходит по разным пайпам? Если нет, то засуньте всех в одну (ну тоесть 2, одна туда одна оттуда) таблицу и оставьте 1+1 правило.

 

Ну и в 02990 сделайте in recv и оut xmit

 

Ну и как тут сказали, если нет необходимости шейпить ng-ng то перевесить на em0.

[Mechanic]

подскажите плиз, как привязать dummynet к одному процессору ?

[XeonVs]

подскажите плиз, как привязать dummynet к одному процессору ?

man cpuset

[{Va-DoS}]

uname -v

FreeBSD 6.4-STABLE-200912

 

300 мегабит, NAT, dummynet, bgp

 

 

last pid: 95737; load averages: 3.13, 2.96, 2.81 up 0+12:13:04 19:22:47

111 processes: 6 running, 92 sleeping, 1 zombie, 12 waiting

CPU 0: 5.3% user, 0.0% nice, 49.2% system, 11.7% interrupt, 33.8% idle

CPU 1: 4.5% user, 0.0% nice, 41.7% system, 7.9% interrupt, 45.9% idle

CPU 2: 7.0% user, 0.0% nice, 35.7% system, 6.2% interrupt, 51.2% idle

CPU 3: 3.5% user, 0.0% nice, 54.7% system, 6.6% interrupt, 35.3% idle

Mem: 481M Active, 20M Inact, 220M Wired, 24K Cache, 31M Buf, 5210M Free

Swap: 1024M Total, 1024M Free

 

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND

11 root 171 52 0K 16K CPU2 2 470:47 48.44% idle: cpu2

12 root 171 52 0K 16K CPU1 1 442:45 44.29% idle: cpu1

14 root -44 -163 0K 16K WAIT 1 174:07 29.93% swi1: net

10 root 171 52 0K 16K RUN 3 308:44 26.81% idle: cpu3

13 root 171 52 0K 16K CPU0 0 217:22 25.88% idle: cpu0

28 root 43 0 0K 16K WAIT 0 129:18 22.51% em1_rx_kthread_0

29 root 43 0 0K 16K WAIT 0 129:17 21.00% em1_rx_kthread_1

25 root 43 0 0K 16K RORDER 3 72:11 11.62% em0_rx_kthread_1

34 root -68 0 0K 16K - 0 192:00 11.43% dummynet

24 root 43 0 0K 16K RORDER 3 72:10 11.13% em0_rx_kthread_0

1403 root 96 0 156M 150M select 2 4:27 8.59% zebra

63909 root 4 0 64916K 61848K kqread 1 3:24 1.17% named

1409 root 96 0 203M 196M select 0 13:42 1.07% bgpd

15 root -32 -151 0K 16K WAIT 3 7:45 0.05% swi4: clock

23 root -68 0 0K 16K WAIT 2 5:42 0.05% em0_txcleaner

27 root -68 0 0K 16K WAIT 3 4:00 0.05% em1_txcleaner

1430 root 114 -15 49212K 44208K select 0 670:52 0.00% ipcad

 

 

gw# netstat -w 1

input (Total) output

packets errs bytes packets errs bytes colls

59782 0 35144411 56810 0 33423202 0

59825 0 34816273 57538 0 33477570 0

58347 0 33874607 55749 0 32630330 0

52706 0 28812411 47606 0 27356482 0

56896 0 33529620 53956 0 31440195 0

57540 0 34228332 55051 0 32645980 0

59368 0 34010371 56333 0 32624873 0

60927 0 34566539 58516 0 33259688 0

57681 0 32848646 54152 0 30846857 0

56302 0 31703031 53744 0 30275096 0

56508 0 32802272 53391 0 31355171 0

57922 0 33434010 55484 0 31817223 0

58449 0 33166948 55507 0 31567427 0

58920 0 33009075 56353 0 31930062 0

59422 0 35062928 56926 0 33457259 0

58768 0 34587901 56901 0 33577763 0

61261 0 35771238 58945 0 34731839 0

60521 0 35953064 57595 0 34386692 0

58197 0 34337281 55837 0 33224966 0

57806 0 34288893 54658 0 32760447 0

 

[bsdelnik]

Судя по топу, еще 50 мегабит, и машинка умрет...

[LuckySB]

{Va-DoS}

А NAT на чем сделан ?

 

[dado]

а у меня то 0% то 99%

при этом трафик и pps сильно не скачут

 

  33 root        1 -68    -     0K     8K -       1 512.6H 85.89% dummynet
   33 root        1 -68    -     0K     8K -       1 512.6H 88.28% dummynet
   33 root        1 -68    -     0K     8K -       0 512.6H 78.17% dummynet
   33 root        1 -68    -     0K     8K -       0 512.6H  0.88% dummynet
   33 root        1 -68    -     0K     8K -       1 512.6H  0.10% dummynet
   33 root        1 -68    -     0K     8K -       1 512.7H  0.00% dummynet
   33 root        1 -68    -     0K     8K -       1 512.7H  0.10% dummynet
   33 root        1 -68    -     0K     8K -       1 513.4H 75.59% dummynet
   33 root        1 -68    -     0K     8K -       1 513.5H 79.20% dummynet
   33 root        1 -68    -     0K     8K -       1 513.5H 77.59% dummynet
   33 root        1 -68    -     0K     8K -       1 513.5H 71.00% dummynet

 

если включаю дебаг то сыпет:

Jan 12 15:27:11 r2 kernel: dummynet: waking up pipe 3768 at 201
Jan 12 15:27:11 r2 kernel: dummynet: waking up pipe 1445 at 66
Jan 12 15:27:11 r2 kernel: dummynet: waking up pipe 3768 at 201
Jan 12 15:27:11 r2 kernel: dummynet: waking up pipe 4854 at 40
Jan 12 15:27:11 r2 kernel: dummynet: waking up pipe 3768 at 201
Jan 12 15:27:11 r2 kernel: dummynet: waking up pipe 4213 at 305
Jan 12 15:27:11 r2 kernel: dummynet: waking up pipe 4854 at 1450

ipfw pipe 3768 config bw 10500Kbit/s
ipfw queue 3768 config pipe 3768 mask dst-ip 0xffffffff
ipfw table 80 add 10.168.167.227 3768
ipfw table 80 add 89.222.187.184 3768

00040   8708035   7887386208 queue tablearg ip from any to table(80) out via bge1
00050  44793529  40386675667 pipe tablearg ip from any to table(2) out via bge1
00070   8006000   3713846496 pipe 16 ip from table(16) to any in via bge1
00071  68767107  23673242157 pipe 5 ip from not table(16) to any in via bge1

ipfw pipe 3610 show

03610:  10.500 Mbit/s    0 ms   50 sl. 0 queues (1 buckets) droptail
q03610: weight 1 pipe 3610   50 sl. 1 queues (512 buckets) droptail
    mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000
BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp
  5 ip           0.0.0.0/0      10.10.187.184/0     639563 40272017  0    0   0

[nerik]

Всем доброго дня.

Столкнулся с такой же проблемой - описывал её здесь.

 

Вечерами замечаю загрузку процесса dummynet от 80 до 100% Бывает только 100%. cpuset ничем не помог, так же 100%.

 

   18 root       171 ki31     0K     8K RUN    0 575.3H 89.99% idle: cpu0
   17 root       171 ki31     0K     8K CPU1   1 585.1H 88.38% idle: cpu1
   11 root       171 ki31     0K     8K CPU7   7 534.3H 88.09% idle: cpu7
   16 root       171 ki31     0K     8K CPU2   2 553.6H 87.50% idle: cpu2
   13 root       171 ki31     0K     8K CPU5   5 535.6H 83.89% idle: cpu5
   12 root       171 ki31     0K     8K RUN    6 549.3H 78.66% idle: cpu6
   14 root       171 ki31     0K     8K RUN    4 549.1H 73.49% idle: cpu4
   75 root       -68    -     0K     8K -      2 383.9H 64.70% dummynet
   15 root       171 ki31     0K     8K CPU3   3 537.3H 43.65% idle: cpu3
   42 root        43    -     0K     8K WAIT   7 192.6H 23.78% em0_rx_kthread_1
1862 root        43    -     0K     8K WAIT   5 192.6H 23.39% em0_rx_kthread_2
   41 root        43    -     0K     8K WAIT   1 192.4H 23.19% em0_rx_kthread_0
1867 root        43    -     0K     8K WAIT   4 159.2H 20.07% em2_rx_kthread_2
   49 root        43    -     0K     8K WAIT   6 159.4H 19.19% em2_rx_kthread_0
   50 root        43    -     0K     8K RUN    0 159.6H 18.99% em2_rx_kthread_1

 

Это утренняя загрузка.

 

Использую яндекс драйвера. Помогли улучшить работу сетевух, ошибок на интерфейсах не наблюдаю. При netstat -hwd 1 вечером 104-107K пакетов и 72-80M трафика.

 

net.inet.ip.dummynet.debug: 0
net.inet.ip.dummynet.pipe_byte_limit: 1048576
net.inet.ip.dummynet.pipe_slot_limit: 100
net.inet.ip.dummynet.io_pkt_drop: 2422386476
net.inet.ip.dummynet.io_pkt_fast: 4252339598
net.inet.ip.dummynet.io_pkt: 1426450516
net.inet.ip.dummynet.io_fast: 1
net.inet.ip.dummynet.tick_lost: 0
net.inet.ip.dummynet.tick_diff: 501370336
net.inet.ip.dummynet.tick_adjustment: 294038698
net.inet.ip.dummynet.tick_delta_sum: 227
net.inet.ip.dummynet.tick_delta: 5
net.inet.ip.dummynet.red_max_pkt_size: 1500
net.inet.ip.dummynet.red_avg_pkt_size: 512
net.inet.ip.dummynet.red_lookup_depth: 256
net.inet.ip.dummynet.max_chain_len: 16
net.inet.ip.dummynet.expire: 1
net.inet.ip.dummynet.search_steps: -255531639
net.inet.ip.dummynet.searches: 1426450315
net.inet.ip.dummynet.extract_heap: 0
net.inet.ip.dummynet.ready_heap: 848
net.inet.ip.dummynet.hash_size: 1024

 

dev.em.0.%desc: Intel(R) PRO/1000 Network Connection 6.9.6.Yandex[$Revision: 1.36.2.17 $]
dev.em.0.%driver: em
dev.em.0.%location: slot=0 function=0
dev.em.0.%pnpinfo: vendor=0x8086 device=0x105e subvendor=0x8086 subdevice=0x125e class=0x020000
dev.em.0.%parent: pci26
dev.em.0.debug: -1
dev.em.0.stats: -1
dev.em.0.rx_kthreads: 3
dev.em.0.max0_gprc: 4290722503
dev.em.0.max0_gptc: 4290718454
dev.em.0.max0_gorc: 4294905285
dev.em.0.max0_gotc: 4294724306
dev.em.0.max1_gprc: 4290722503
dev.em.0.max1_gptc: 4290718454
dev.em.0.max1_gorc: 4294905285
dev.em.0.max1_gotc: 4294724306
dev.em.0.max2_gprc: 4290722503
dev.em.0.max2_gptc: 4290718454
dev.em.0.max2_gorc: 4294905285
dev.em.0.max2_gotc: 4294724306
dev.em.0.max3_gprc: 4290722503
dev.em.0.max3_gptc: 4290718454
dev.em.0.max3_gorc: 4294905285
dev.em.0.max3_gotc: 4294724306
dev.em.0.max4_gprc: 4290722503
dev.em.0.max4_gptc: 4290718454
dev.em.0.max4_gorc: 4294905285
dev.em.0.max4_gotc: 4294724306
dev.em.0.rx_int_delay: 0
dev.em.0.tx_int_delay: 0
dev.em.0.rx_abs_int_delay: 66
dev.em.0.tx_abs_int_delay: 66
dev.em.0.rx_kthread_priority: 127

 

ipfw pipe list | grep buckets
00136:   3.072 Mbit/s    0 ms   50 sl. 9 queues (1024 buckets) droptail
00170:   5.120 Mbit/s    0 ms   50 sl. 32 queues (1024 buckets) droptail
00051:   2.048 Mbit/s    0 ms   50 sl. 39 queues (1024 buckets) droptail
00171:   5.120 Mbit/s    0 ms   50 sl. 2 queues (1024 buckets) droptail
00205:   3.072 Mbit/s    0 ms   50 sl. 3 queues (1024 buckets) droptail
00016: 128.000 Kbit/s    0 ms   50 sl. 14 queues (1024 buckets) droptail
00050:   9.216 Mbit/s    0 ms   50 sl. 20 queues (1024 buckets) droptail
00035:   3.072 Mbit/s    0 ms   50 sl. 276 queues (1024 buckets) droptail
00185:  10.240 Mbit/s    0 ms   50 sl. 6 queues (1024 buckets) droptail
00155:   2.048 Mbit/s    0 ms   50 sl. 56 queues (1024 buckets) droptail
00002:  20.480 Mbit/s    0 ms   50 sl. 1 queues (1 buckets) droptail
00116: 128.000 Kbit/s    0 ms   50 sl. 0 queues (1024 buckets) droptail
00003:  20.480 Mbit/s    0 ms   50 sl. 1 queues (1 buckets) droptail
00200:   3.072 Mbit/s    0 ms   50 sl. 2 queues (1024 buckets) droptail
00140:   1.024 Mbit/s    0 ms   50 sl. 23 queues (1024 buckets) droptail
00115: 128.000 Kbit/s    0 ms   50 sl. 1 queues (1024 buckets) droptail
00021: 256.000 Kbit/s    0 ms   50 sl. 22 queues (1024 buckets) droptail
00055:   9.216 Mbit/s    0 ms   50 sl. 15 queues (1024 buckets) droptail
00004:   5.120 Mbit/s    0 ms   50 sl. 132 queues (1024 buckets) droptail
00156:   9.216 Mbit/s    0 ms   50 sl. 2 queues (1024 buckets) droptail
00141:   5.120 Mbit/s    0 ms   50 sl. 4 queues (1024 buckets) droptail
00190:   6.144 Mbit/s    0 ms   50 sl. 4 queues (1024 buckets) droptail
00175:   5.120 Mbit/s    0 ms   50 sl. 27 queues (1024 buckets) droptail
00020:   1.536 Mbit/s    0 ms   50 sl. 931 queues (1024 buckets) droptail
00005:   5.120 Mbit/s    0 ms   50 sl. 97 queues (1024 buckets) droptail
00066:   4.096 Mbit/s    0 ms   50 sl. 3 queues (1024 buckets) droptail
00036: 512.000 Kbit/s    0 ms   50 sl. 58 queues (1024 buckets) droptail
00006:   2.048 Mbit/s    0 ms   50 sl. 209 queues (1024 buckets) droptail
00007:   2.048 Mbit/s    0 ms   50 sl. 188 queues (1024 buckets) droptail
00145:   1.024 Mbit/s    0 ms   50 sl. 20 queues (1024 buckets) droptail
00110: 128.000 Kbit/s    0 ms   50 sl. 5 queues (1024 buckets) droptail
00025:   1.536 Mbit/s    0 ms   50 sl. 508 queues (1024 buckets) droptail
00008: 256.000 Kbit/s    0 ms   50 sl. 38 queues (1024 buckets) droptail
00126:   1.536 Mbit/s    0 ms   50 sl. 10 queues (1024 buckets) droptail
00111: 128.000 Kbit/s    0 ms   50 sl. 0 queues (1024 buckets) droptail
00009: 256.000 Kbit/s    0 ms   50 sl. 34 queues (1024 buckets) droptail
00215:   8.192 Mbit/s    0 ms   50 sl. 1 queues (1024 buckets) droptail
00160:   4.096 Mbit/s    0 ms   50 sl. 12 queues (1024 buckets) droptail
00130: 512.000 Kbit/s    0 ms   50 sl. 14 queues (1024 buckets) droptail
00125: 256.000 Kbit/s    0 ms   50 sl. 8 queues (1024 buckets) droptail
00040:   5.120 Mbit/s    0 ms   50 sl. 121 queues (1024 buckets) droptail
00010: 128.000 Kbit/s    0 ms   50 sl. 74 queues (1024 buckets) droptail
00176:   5.120 Mbit/s    0 ms   50 sl. 0 queues (1024 buckets) droptail
00146:   5.120 Mbit/s    0 ms   50 sl. 3 queues (1024 buckets) droptail
00131:   3.072 Mbit/s    0 ms   50 sl. 16 queues (1024 buckets) droptail
00056:   2.048 Mbit/s    0 ms   50 sl. 38 queues (1024 buckets) droptail
00041:   1.024 Mbit/s    0 ms   50 sl. 39 queues (1024 buckets) droptail
00026: 256.000 Kbit/s    0 ms   50 sl. 20 queues (1024 buckets) droptail
00011: 128.000 Kbit/s    0 ms   50 sl. 15 queues (1024 buckets) droptail
00046:   1.024 Mbit/s    0 ms   50 sl. 36 queues (1024 buckets) droptail
00061:   4.096 Mbit/s    0 ms   50 sl. 4 queues (1024 buckets) droptail
00151:   9.216 Mbit/s    0 ms   50 sl. 2 queues (1024 buckets) droptail
00121:   1.536 Mbit/s    0 ms   50 sl. 10 queues (1024 buckets) droptail
00031: 512.000 Kbit/s    0 ms   50 sl. 59 queues (1024 buckets) droptail
00210:   8.192 Mbit/s    0 ms   50 sl. 1 queues (1024 buckets) droptail
00195:   6.144 Mbit/s    0 ms   50 sl. 4 queues (1024 buckets) droptail
00180:  10.240 Mbit/s    0 ms   50 sl. 7 queues (1024 buckets) droptail
00165:   4.096 Mbit/s    0 ms   50 sl. 12 queues (1024 buckets) droptail
00150:   2.048 Mbit/s    0 ms   50 sl. 57 queues (1024 buckets) droptail
00135: 512.000 Kbit/s    0 ms   50 sl. 10 queues (1024 buckets) droptail
00120: 256.000 Kbit/s    0 ms   50 sl. 12 queues (1024 buckets) droptail
00045:   5.120 Mbit/s    0 ms   50 sl. 94 queues (1024 buckets) droptail
00030:   3.072 Mbit/s    0 ms   50 sl. 328 queues (1024 buckets) droptail
00015: 128.000 Kbit/s    0 ms   50 sl. 70 queues (1024 buckets) droptail

 

Вроде бы хомячки не возмущаются. Поэтому делаю вывод, что скорости даются. Тем более, что сам проверяю вечерами. Но вчера столкнулся с одним абонентом в сети, который сидит на высоком тарифе и у него 50-60% тока было скорости почему то. Начали проверять при заявленных 10 Мбитах выкачивало до 590кбайт/сек. Поставил себе такой тариф, вроде бы качало 1,2Мбайт/сек. Перегрузок в сети нет. Сошлись пока что на то, что торрент такой.

Вообщем незнаю, мазолит этот dummynet со своими 90-100% и незнаю что ещё можно подкрутить. Вообщем посоветуйте пожалуйста. Спасибо.

 

P.S. Включил сегодня net.inet.ip.dummynet.debug: 1 посмотрим что будет в логах писать.

Показатели выложил утренние когда загрузка 57K пакетов и 41M трафика. Попробую выложить вечерние показатели.

 

P.S. Вот сейчас сделал cpuset -l 0 -p 75 и dummynet упал в 0. Посмотрим в течении дня как он будет себя вести.

Изменено 14 апреля, 2010 пользователем nerik