Dummynet Tuning

Dyr

Опубликовано 13 января, 2012 (изменено) · Жалоба

Мой выглядит так:


#!/usr/bin/perl
#
# Create pipe per user with making queue to reduce dummynet delay

use strict;
use warnings;

use FindBin;
use lib "/root/lib";

use functions;

my $config = getconfig();
my $dbh    = dbconnect();

our $ipfw = $config->{IPFW}                                 	||'/sbin/ipfw';
our $shape_ip_pcre = $config->{SHAPERS_IPADDRS_PCRE}            || die "SHAPERS_IPADDRS_PCRE not defined!";
our $ipfw_baserulenum = $config->{SHAPERS_BASERULENUM}          || '3000';
our $ipfw_table_in = $config->{SHAPERS_TABLE_IN}                || '4';
our $ipfw_table_out = $config->{SHAPERS_TABLE_OUT}              || '5';
our $rule_shift = $config->{SHAPERS_RULE_SHIFT}                             	|| '10000';
our $inet_iface = $config->{SHAPERS_IFACE}                      || $config->{INET_IFACE} || 'em0';
our $via_iface = ($inet_iface eq '-' ? '' : "via $inet_iface");
#our $dstip_pcre = $config->{DST_IP_BINAT_PCRE};

my ($sth, @row,%current,%shape_ip_in,%shape_ip_out,%gred_params);

open F, "$ipfw pipe list |"
        	or die "Cannon open pipe list: $!\n";
#Example at the end of file
#Skip non-integer part of speed
while(<F>) {
 if($_ =~ /\A0*(\d+):\s+(\d+\.\d{3})\s+([K|M])bit/o) {
       # Convert from Mbits/sec to Kbits/sec for futher comparing
       if ($3 eq "M") {
     $current{int($1)} = int($2 * 1000);
       }else {
         $current{int($1)} = int($2);
       }
 }elsif ($_ =~ /\A0*(\d+):\s+unlimited/o) {
   $current{$1} = 0;
 }
}
close F;

$sth = dbquery($dbh, "SELECT a.uid,a.actual_speed_in,a.actual_speed_out, a.ip "
                       ."FROM adaptive_shapers AS a "
                       ."ORDER BY uid");

while (@row = $sth->fetchrow_array) {
       #print Dumper(@row);
   my ($uid, $actual_speed_in, $actual_speed_out, $ip) = (@row);
   my $rule_in=$uid;
   my $rule_out=$uid+$rule_shift;
       next if !$ip;
   $ip =~ s/.*($shape_ip_pcre).*/$1/g;

   next if (!$ip);
   next if (!$actual_speed_in);
   next if (!$actual_speed_out);

   my $speed_in = int($actual_speed_in*1.05);
   my $speed_out = int($actual_speed_out*1.05);


   if(!defined($current{$rule_in})) {
     print "$ipfw pipe $rule_in config bw ${speed_in}Kb/s mask dst-ip 0xFFFFFFFF type FIFO buckets 16   && \\\n";
     print "$ipfw queue $rule_in config pipe $rule_in mask dst-ip 0xFFFFFFFF type FIFO buckets 16  && echo -n '+'\n";
   } elsif($current{$rule_in} ne $speed_in) {
     print "$ipfw pipe $rule_in config bw ${speed_in}Kb/s mask dst-ip 0xFFFFFFFF type FIFO buckets 16  && echo -n '^'\n";
   }
   delete($current{$rule_in});

   if (!defined($current{$rule_out})) {
       print "$ipfw pipe $rule_out config bw ${speed_out}Kb/s mask src-ip 0xFFFFFFFF type FIFO buckets 16  && \\\n";
       print "$ipfw queue $rule_out config pipe $rule_out mask src-ip 0xFFFFFFFF type FIFO buckets 16  && echo -n '+'\n";
   }elsif ($current{$rule_out} ne $speed_out) {
     print "$ipfw pipe $rule_out config bw ${speed_in}Kb/s mask src-ip 0xFFFFFFFF type FIFO buckets 16  && echo -n '^'\n";
   }
   delete($current{$rule_out});

       $shape_ip_in{$ip} = $rule_in;
       $shape_ip_out{$ip} = $rule_out;
}

&ipfw_table_sync($ipfw_table_in,\%shape_ip_in);
&ipfw_table_sync($ipfw_table_out,\%shape_ip_out);
print "echo ''\n";

foreach (keys %current) {
  next if (!defined($current{$_}));
  print "$ipfw pipe $_ delete && echo -n '-'\n";
  #print "$ipfw pipe $_ config bw 98Mb/s mask src-ip 0xFFFFFFFF && \\\n";
}
print "echo ''\n";

__END__

# ipfw pipe list

02244:   4.505 Mbit/s    0 ms burst 0
q67780  50 sl. 0 flows (1 buckets) sched 2244 weight 0 lmax 0 pri 0 droptail
    	sched 67780 type FIFO flags 0x1 16 buckets 0 active
	mask:  0x00 0x00000000/0x0000 -> 0xffffffff/0x0000
    	BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp
12242:   9.011 Mbit/s    0 ms burst 0
q77778  50 sl. 0 flows (1 buckets) sched 12242 weight 0 lmax 0 pri 0 droptail
         sched 77778 type FIFO flags 0x1 16 buckets 1 active
     mask:  0x00 0xffffffff/0x0000 -> 0x00000000/0x0000
         BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp

Изменено 13 января, 2012 пользователем Dyr

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 13 января, 2012 · Жалоба

А сколько клиентов и какой трафик? (pps в том числе?)

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Dyr

Опубликовано 13 января, 2012 · Жалоба

3000 клиентов, трафик 600 Мбит/сек, 80 kpps в ЧНН.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 13 января, 2012 · Жалоба

Негусто. У меня 1500 150 kpps на 1G в каждую сторону.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Dyr

Опубликовано 13 января, 2012 · Жалоба

Это что-то должно менять в конфиге dummynet, думаете?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

savago

Опубликовано 13 января, 2012 (изменено) · Жалоба

Дай увидем :

netstat -s output | grep drop

netstat -s|fgrep fragment

vmstat -z|egrep 'ITEM|mbuf'

systat -vmstat 1

netstat -m

netstat -id

ipfw pipe show

Изменено 13 января, 2012 пользователем savago

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

savago

Опубликовано 13 января, 2012 · Жалоба

Дай так:

vmstat -z | grep -v 0\$

netstat -id|grep ^igb

netstat -id|grep ^ix

sysctl -a net.inet.ip

Попробайе увеличите как подсказали kern.hz=4000 или 8000

В час пик попрабали из клиент сторона ест дроп/лаг и кокие скорости держит тарифе ?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

dimonix

Опубликовано 13 января, 2012 · Жалоба

я воспользовался рекомендациями в этой серии блогов - dummynet вылечил.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Deac

Опубликовано 13 января, 2012 (изменено) · Жалоба

У ТС явно не хватает "1" в one_pass.

Изменено 13 января, 2012 пользователем Deac

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 13 января, 2012 · Жалоба

gw01# vmstat -z | grep -v 0\$
ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS  FAILURES

32 Bucket:                280,        0,      332,        4,      332,        7
64 Bucket:                536,        0,      694,        6,      694,      242
128 Bucket:              1048,        0,     2138,        1,     2138,     1786

gw01#  netstat -id|grep ^ix
ix0    1500 <Link#3>      00:1b:21:b5:d9:15 508957431773   305     0 518824609135     0     0    0 
ix0    1500 10.11.0.0     gw01.art-telecom. 176955742313     -     - 118342755349     -     -    - 
ix1*   1500 <Link#4>      00:1b:21:b5:d9:14        0     0     0        0     0     0    0

gw01# sysctl -a net.inet.ip
net.inet.ip.portrange.randomtime: 45
net.inet.ip.portrange.randomcps: 10
net.inet.ip.portrange.randomized: 1
net.inet.ip.portrange.reservedlow: 0
net.inet.ip.portrange.reservedhigh: 1023
net.inet.ip.portrange.hilast: 65535
net.inet.ip.portrange.hifirst: 49152
net.inet.ip.portrange.last: 65535
net.inet.ip.portrange.first: 10000
net.inet.ip.portrange.lowlast: 600
net.inet.ip.portrange.lowfirst: 1023
net.inet.ip.forwarding: 1
net.inet.ip.redirect: 1
net.inet.ip.ttl: 64
net.inet.ip.rtexpire: 3600
net.inet.ip.rtminexpire: 10
net.inet.ip.rtmaxcache: 128
net.inet.ip.sourceroute: 0
net.inet.ip.intr_queue_maxlen: 256
net.inet.ip.intr_queue_drops: 0
net.inet.ip.accept_sourceroute: 0
net.inet.ip.keepfaith: 0
net.inet.ip.gifttl: 30
net.inet.ip.same_prefix_carp_only: 0
net.inet.ip.subnets_are_local: 0
net.inet.ip.random_id_total: 0
net.inet.ip.random_id_collisions: 0
net.inet.ip.random_id_period: 8192
net.inet.ip.mcast.loop: 1
net.inet.ip.mcast.maxsocksrc: 128
net.inet.ip.mcast.maxgrpsrc: 512
net.inet.ip.dummynet.io_pkt_drop: 7497118355
net.inet.ip.dummynet.io_pkt_fast: 324948080020
net.inet.ip.dummynet.io_pkt: 482988865798
net.inet.ip.dummynet.queue_count: 0
net.inet.ip.dummynet.fsk_count: 40
net.inet.ip.dummynet.si_count: 2757
net.inet.ip.dummynet.schk_count: 80
net.inet.ip.dummynet.tick_lost: 0
net.inet.ip.dummynet.tick_diff: 104901
net.inet.ip.dummynet.tick_adjustment: 155498
net.inet.ip.dummynet.tick_delta_sum: 569
net.inet.ip.dummynet.tick_delta: 0
net.inet.ip.dummynet.red_max_pkt_size: 1500
net.inet.ip.dummynet.red_avg_pkt_size: 512
net.inet.ip.dummynet.red_lookup_depth: 256
net.inet.ip.dummynet.expire_cycle: 0
net.inet.ip.dummynet.expire: 1
net.inet.ip.dummynet.debug: 0
net.inet.ip.dummynet.io_fast: 1
net.inet.ip.dummynet.pipe_byte_limit: 1048576
net.inet.ip.dummynet.pipe_slot_limit: 100
net.inet.ip.dummynet.hash_size: 65535
net.inet.ip.fastforwarding: 1
net.inet.ip.fw.static_count: 8
net.inet.ip.fw.default_to_accept: 0
net.inet.ip.fw.tables_max: 128
net.inet.ip.fw.default_rule: 65535
net.inet.ip.fw.verbose_limit: 0
net.inet.ip.fw.verbose: 1
net.inet.ip.fw.autoinc_step: 100
net.inet.ip.fw.one_pass: 1
net.inet.ip.fw.dyn_keepalive: 1
net.inet.ip.fw.dyn_short_lifetime: 5
net.inet.ip.fw.dyn_udp_lifetime: 10
net.inet.ip.fw.dyn_rst_lifetime: 1
net.inet.ip.fw.dyn_fin_lifetime: 1
net.inet.ip.fw.dyn_syn_lifetime: 20
net.inet.ip.fw.dyn_ack_lifetime: 300
net.inet.ip.fw.dyn_max: 4096
net.inet.ip.fw.dyn_count: 0
net.inet.ip.fw.curr_dyn_buckets: 256
net.inet.ip.fw.dyn_buckets: 1024
net.inet.ip.fw.enable: 1
net.inet.ip.maxfragpackets: 15625
net.inet.ip.maxfragsperpacket: 16
net.inet.ip.fragpackets: 0
net.inet.ip.check_interface: 0
net.inet.ip.random_id: 0
net.inet.ip.sendsourcequench: 0
net.inet.ip.process_options: 1

igb не используется физически.

HZ крутить можно, но я хочу вначале точно узнать как он влияет. Гугл чего-то точного ничего не сказал...

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Deac

Опубликовано 13 января, 2012 (изменено) · Жалоба

Просмотрел, извиняюсь. :(

HZ крутить можно, но я хочу вначале точно узнать как он влияет. Гугл чего-то точного ничего не сказал...

Прежде всего влияет на точность нарезки, на производительность влияет ск. отрицательно.

Был глюк, когда Луиджи начудил и при HZ=1000 больше 10Mbps не шэйпилось, сейчас поправили.

Изменено 13 января, 2012 пользователем Deac

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 14 января, 2012 · Жалоба

Чем значение HZ больше, тем меньше нагружена система, но менее точно идет нарезка каналов?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

photon

Опубликовано 14 января, 2012 · Жалоба

Чем значение HZ больше, тем меньше нагружена система, но менее точно идет нарезка каналов?

Наоборот, чем больше HZ, тем меньше интервалы времени, через которые ядро выполняет те или иные операции, и тем более точно нарезаются каналы.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 14 января, 2012 · Жалоба

Тогда какой смысл увеличивать в моем случае? Я же только нагрузку на сервер тогда увеличу?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

savago

Опубликовано 14 января, 2012 (изменено) · Жалоба

Тогда какой смысл увеличивать в моем случае? Я же только нагрузку на сервер тогда увеличу?

http://www.freebsd.org/cgi/man.cgi?query=dummynet&apropos=0&sektion=4&manpath=FreeBSD+8.2-RELEASE&arch=default&format=html

options HZ=1000 # strongly recommended ( разбираем не менше )

Additionally, one may want to increase the number of mbuf clusters (used

to store network packets) according to the sum of the bandwidth-delay

products and queue sizes of all configured pipes.

http://info.iet.unipi.it/~luigi/ip_dummynet/original.html

"Also note that all delays are approximated with a granularity of 1/HZ seconds (HZ is typically 100, but we suggest using HZ=1000 and maybe even larger values)."

>

> As a rule of thumb, to make sure that drops are not caused

> by short queues, you should set the queue size to 1/HZ seconds

> worth of data -- at HZ=1000 and 1Gbit/s this means 128Kbytes.

> Note that after the dummynet queue, there might be some other

> queue that saturates. As an example, when using the box as a router,

> packets go in bursts to the output interface, and the burst can

> be as large as 1500 packets per tick on a fully saturated Gig-E

> (the interface's queue ranges normally between 128 and 1024 slots).

> The only fix for this is probably using higher values of HZ.

>

> chers

> luigi

У вас intel moderate карточки,нагрузка на сервера перейти на карточки как interrupts :)

Увеличите kern.ipc.nmbclusters=524288,у вас ест некоторые буфера переполен.

Даите увидем vmstat -z | egrep -i 'item|netg'

Сколка рам на ето сервера ?

Изменено 14 января, 2012 пользователем savago

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 15 января, 2012 · Жалоба

gw01# vmstat -z | egrep -i 'item|netg'
ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS  FAILURES
NetGraph items:            72,    65540,       87,     1624, 229542620797,        0
NetGraph data items:       72,    32770,        0,     5220, 540744148277,        0

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 15 января, 2012 · Жалоба

3 дня назад поменял in на out в правилах ipfw. Пока что вроде лучше стало. Ждемс и смотрим...

kern.ipc.nmbclusters у меня и так 500000. Смысл его менять на 524288 есть?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

st_re

Опубликовано 15 января, 2012 · Жалоба

gred не ?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 15 января, 2012 · Жалоба

Пока не пробовал. Просто скорость задаю, выше примеры давал. После outов стало гораздо лучше. Сейчас посматриваю, но похоже уже потолок каналов стал мешать...

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

просто гред позволяет намекнуть абоненту, что нехрен так гнать трафик. Скорость получается менее пилообразная. Дропы настпуают не резко при переполнении трубы (все что не влезло, все друпнулось) а чуть раньше, но по 1. В результате и меньше длина очереди занятая, меньше нагрузка на шейпер, и у абонента график ровнее.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Hawk128

Опубликовано 15 января, 2012 · Жалоба

Надо будет попробовать, но сейчас сам работаю через радио, скорость нестабильная меньше 2 мбит. Проверить сам не могу.

Как канал к моему рабочему месту нормализуется, смогу параметры подобрать.

М.б. есть уже готовые парамерты под скорости моих тарифов?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

st_re

Опубликовано 15 января, 2012 · Жалоба

Я бы начал с ipfw pipe xxx config ... queue 99 gred 0.002/24/49/0.1

в районе мегабита

и начал двигать синхронно 99, 49 и 25 для медленных вниз и для для быстрее нескольких мегабит тоже вниз.. Почему то реакция на разных машинах и каналах бывает не совсем одинаковая потому точные цифры не посоветую.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

st_re

Опубликовано 16 января, 2012 · Жалоба

Заодно проверьте, что Вам не повезло встретить

http://www.freebsd.org/cgi/query-pr.cgi?pr=144269

http://forum.nag.ru/forum/index.php?showtopic=60205&st=0&p=537112

на 8. т.е. что трафик попадает не в те трубы, куда записано в таблицах. Не факт, что на 8 проблемы нету. Может просто реже, чем на 7 вылезает. На 7 тоже не у всех бывало.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Dyr

Опубликовано 16 января, 2012 (изменено) · Жалоба

Пока не пробовал. Просто скорость задаю, выше примеры давал. После outов стало гораздо лучше. Сейчас посматриваю, но похоже уже потолок каналов стал мешать...

То есть я-таки был прав? ;)

st_re, я сколько не проверял, на моём конфиге с простейшей FIFO-очередью график загрузки получается очень ровным, и, главное, ретрансмиттов с передающей стороны практически нет. Это по поводу gred'ов.

Изменено 16 января, 2012 пользователем Dyr

Войти

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Join the conversation