Перейти к содержимому
Калькуляторы

soft-router 36ГБит/с 4,3Мпакетов UPD: 9mpps

Ответить

martini   

martini
Опубликовано · Жалоба

а что за модуль ядерный для rate-limit ??

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

martini   

martini
Опубликовано · Жалоба

аа )) ато я думал что пропустил чтото ядерное )

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

а что за модуль ядерный для rate-limit ??

модуль для iptables - внутренняя разработка.

каждые 5 минут на вход подается конфиг из более 100 000 записей.

43.117.54.108 0k 0k 0k - без ограничения
30.127.118.108 49000k 5000k 30k - 49Мбит, 5Мб бурст, 30Кб очередь
42.54.18.108 -1 - доступ запрещен

Наш программист как-то задумывался, чтобы привести его к GPL2, но для этого нужно много требований выполнить, чтобы привести код в порядок в соответствии с лицензией. Так что в открытом доступе его нет.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

flow   

flow
Опубликовано · Жалоба

еще будем пробовать отключать FDir в драйвере intel.

А поделитесь как вы это сделаете, а то как-то в параметрах модуля FdirMode отсутствует )

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

еще будем пробовать отключать FDir в драйвере intel.

А поделитесь как вы это сделаете, а то как-то в параметрах модуля FdirMode отсутствует )

в последнем драйвере эту возможность убрали. на старых шейперах еще сохранилось:

# modinfo ixgbe
filename:       /lib/modules/2.6.32-5-686-bigmem/kernel/drivers/net/ixgb/ixgbe.ko
version:        2.0.84.11-NAPI
license:        GPL
description:    Intel(R) 10 Gigabit PCI Express Network Driver
author:         Intel Corporation, <linux.nics@intel.com>
.....
parm:           RxBufferMode:0=1 descriptor per packet,
                       1=use packet split, multiple descriptors per jumbo frame
                       2 (default)=use 1buf mode for 1500 mtu, packet split for jumbo (array of int)
parm:           FdirMode:Flow Director filtering modes:
                       0 = Filtering off
                       1 = Signature Hashing filters (SW ATR)
                       2 = Perfect Filters (array of int)
parm:           FdirPballoc:Flow Director packet buffer allocation level:
                       0 = 8k hash filters or 2k perfect filters
                       1 = 16k hash filters or 4k perfect filters
                       2 = 32k hash filters or 8k perfect filters (array of int)
parm:           AtrSampleRate:Software ATR Tx packet sample rate (array of int)
parm:           FCoE:Disable or enable FCoE Offload, default 1 (array of int)

# modinfo ixgbe
filename:       /lib/modules/2.6.32-5-686-bigmem/kernel/drivers/net/ixgbe/ixgbe.ko
version:        3.12.6
license:        GPL
description:    Intel(R) 10 Gigabit PCI Express Network Driver
author:         Intel Corporation, <linux.nics@intel.com>
........
parm:           LLISize:Low Latency Interrupt on Packet Size (0-1500) (array of int)
parm:           LLIEType:Low Latency Interrupt Ethernet Protocol Type (array of int)
parm:           LLIVLANP:Low Latency Interrupt on VLAN priority threshold (array of int)
parm:           FdirPballoc:Flow Director packet buffer allocation level:
                       1 = 8k hash filters or 2k perfect filters
                       2 = 16k hash filters or 4k perfect filters
                       3 = 32k hash filters or 8k perfect filters (array of int)
parm:           AtrSampleRate:Software ATR Tx packet sample rate (array of int)
parm:           FCoE:Disable or enable FCoE Offload, default 1 (array of int)
parm:           LRO:Large Receive Offload (0,1), default 1 = on (array of int)
parm:           allow_unsupported_sfp:Allow unsupported and untested SFP+ modules on 82599 based adapters, default 0 = Disable (array of int)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

OKyHb   

OKyHb
Опубликовано · Жалоба

Что за "модуль FAST FORWARD"? А то у меня получилось найти только ссылки на опцию net.inet.ip.fastforwarding, но это ж для FreeBSD.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

Что за "модуль FAST FORWARD"? А то у меня получилось найти только ссылки на опцию net.inet.ip.fastforwarding, но это ж для FreeBSD.

это собственно также внутренняя разработка, но более простая и вероятность поделиться им есть.

работает так:

$IPT    -t mangle -A PREROUTING -i eth6.166 -m nbset --instance 3 -j FASTROUTE --gw 172.16.17.157
$IPT    -t mangle -A PREROUTING -i eth3.165 -m nbset --instance 3 -j FASTROUTE --gw 172.16.17.169

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

OKyHb   

OKyHb
Опубликовано · Жалоба

Было б интересно посмотреть. Но для нас, наверно, такое уже сильно круто было б :)

И хоть на словах - по сколько векторов прерываний используется с каждой сетевой? И как они распределены между CPU?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

Было б интересно посмотреть. Но для нас, наверно, такое уже сильно круто было б :)

И хоть на словах - по сколько векторов прерываний используется с каждой сетевой? И как они распределены между CPU?

драйвер при инциализании создает 16 очередей соответственно по количеству ядер в системе. каждую очередь сетевой на отдельное прерывание.

 

           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       CPU8       CPU9       CPU10      CPU11      CPU12      CPU13      CPU14      CPU15
102:   20091920          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-0
103:          1   22386027          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-1
104:          1          0   23021358          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-2
105:          1          0          0   22914811          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-3
106:          1          0          0          0   23789514          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-4
107:          1          0          0          0          0   23496914          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-5                     
108:          1          0          0          0          0          0   23588287          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-6                     
109:          1          0          0          0          0          0          0   25619494          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-7                     
110:   11770018          0          0          0          0          0          0          0    8064580          0          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-8                     
111:          1   13863715          0          0          0          0          0          0          0    8311031          0          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-9                     
112:          1          0   14539644          0          0          0          0          0          0          0    8315018          0          0          0          0          0   PCI-MSI-edge      eth5-TxRx-10                    
113:          1          0          0   14347161          0          0          0          0          0          0          0    8316842          0          0          0          0   PCI-MSI-edge      eth5-TxRx-11                    
114:          1          0          0          0   15286432          0          0          0          0          0          0          0    8315536          0          0          0   PCI-MSI-edge      eth5-TxRx-12                    
115:          1          0          0          0          0   14931461          0          0          0          0          0          0          0    8312659          0          0   PCI-MSI-edge      eth5-TxRx-13                    
116:          1          0          0          0          0          0   15014104          0          0          0          0          0          0          0    8234297          0   PCI-MSI-edge      eth5-TxRx-14                    
117:          1          0          0          0          0          0          0   17134641          0          0          0          0          0          0          0    8535342   PCI-MSI-edge      eth5-TxRx-15                    
118:      13745          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth5                            
119:   20211344          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-0                     
120:          1   22428657          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-1                     
121:          1          0   23032454          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-2                     
122:          1          0          0   22922778          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-3                     
123:          1          0          0          0   23838317          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-4
124:          1          0          0          0          0   23517086          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-5
125:          1          0          0          0          0          0   23599610          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-6
126:          1          0          0          0          0          0          0   25624197          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-7
127:   11850997          0          0          0          0          0          0          0    8080942          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-8
128:          1   13891999          0          0          0          0          0          0          0    8328988          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-9
129:          1          0   14548574          0          0          0          0          0          0          0    8339693          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-10
130:          1          0          0   14384065          0          0          0          0          0          0          0    8345826          0          0          0          0   PCI-MSI-edge      eth3-TxRx-11
131:          1          0          0          0   15282985          0          0          0          0          0          0          0    8327208          0          0          0   PCI-MSI-edge      eth3-TxRx-12
132:          1          0          0          0          0   14922852          0          0          0          0          0          0          0    8333878          0          0   PCI-MSI-edge      eth3-TxRx-13
133:          1          0          0          0          0          0   15005233          0          0          0          0          0          0          0    8266893          0   PCI-MSI-edge      eth3-TxRx-14
134:          1          0          0          0          0          0          0   17122815          0          0          0          0          0          0          0    8559720   PCI-MSI-edge      eth3-TxRx-15
135:      13451          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth3
136:   20216229          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-0
137:          1   22463841          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-1
138:          1          0   23057757          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-2
139:          1          0          0   22881698          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-3
140:          1          0          0          0   23810296          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-4
141:          1          0          0          0          0   23514603          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-5
142:          1          0          0          0          0          0   23594824          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-6
143:          1          0          0          0          0          0          0   25620087          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-7
144:   11814421          0          0          0          0          0          0          0    8089968          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-8
145:          1   13878710          0          0          0          0          0          0          0    8334022          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-9
146:          1          0   14545006          0          0          0          0          0          0          0    8330638          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-10
147:          1          0          0   14371519          0          0          0          0          0          0          0    8348004          0          0          0          0   PCI-MSI-edge      eth4-TxRx-11
148:          1          0          0          0   15282905          0          0          0          0          0          0          0    8329017          0          0          0   PCI-MSI-edge      eth4-TxRx-12
149:          1          0          0          0          0   14941671          0          0          0          0          0          0          0    8324155          0          0   PCI-MSI-edge      eth4-TxRx-13
150:          1          0          0          0          0          0   15008398          0          0          0          0          0          0          0    8264270          0   PCI-MSI-edge      eth4-TxRx-14
151:          1          0          0          0          0          0          0   17107029          0          0          0          0          0          0          0    8556158   PCI-MSI-edge      eth4-TxRx-15
152:      13507          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth4
153:   19296141          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-0
154:          1   21797545          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-1
155:          1          0   22374526          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-2
156:          1          0          0   22216305          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-3
157:          1          0          0          0   23125542          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-4
158:          1          0          0          0          0   22775112          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-5
159:          1          0          0          0          0          0   22950211          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-6
160:          1          0          0          0          0          0          0   24965947          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-7
161:   11812940          0          0          0          0          0          0          0    7402185          0          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-8
162:          1   13858614          0          0          0          0          0          0          0    7627992          0          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-9
163:          1          0   14554420          0          0          0          0          0          0          0    7626592          0          0          0          0          0   PCI-MSI-edge      eth6-TxRx-10
164:          1          0          0   14330296          0          0          0          0          0          0          0    7640570          0          0          0          0   PCI-MSI-edge      eth6-TxRx-11
165:          1          0          0          0   15330523          0          0          0          0          0          0          0    7612590          0          0          0   PCI-MSI-edge      eth6-TxRx-12
166:          1          0          0          0          0   14973703          0          0          0          0          0          0          0    7628872          0          0   PCI-MSI-edge      eth6-TxRx-13
167:          1          0          0          0          0          0   15032547          0          0          0          0          0          0          0    7562973          0   PCI-MSI-edge      eth6-TxRx-14
168:          1          0          0          0          0          0          0   17126134          0          0          0          0          0          0          0    7875616   PCI-MSI-edge      eth6-TxRx-15
169:      17528          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      eth6

 

на менее мощной тачке так:

           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7
 62:  999649571          0          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-0
 63:          2 1075942076          0          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-1
 64:          2          0 1074303115          0          0          0          0          0   PCI-MSI-edge      eth2-TxRx-2
 65:          2          0          0  976004493          0          0          0          0   PCI-MSI-edge      eth2-TxRx-3
 66:          2          0          0          0  497834926          0          0          0   PCI-MSI-edge      eth2-TxRx-4
 67:          2          0          0          0          0  686996475          0          0   PCI-MSI-edge      eth2-TxRx-5
 68:          2          0          0          0          0          0  659827114          0   PCI-MSI-edge      eth2-TxRx-6
 69:          2          0          0          0          0          0          0  410040631   PCI-MSI-edge      eth2-TxRx-7
 70:    1606573          0          0          0          0          0          0          0   PCI-MSI-edge      eth2:lsc
 71:  998241260          0          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-0
 72:          2 1081003642          0          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-1
 73:          2          0 1081145821          0          0          0          0          0   PCI-MSI-edge      eth3-TxRx-2
 74:          2          0          0  980914290          0          0          0          0   PCI-MSI-edge      eth3-TxRx-3
 75:          2          0          0          0  505734599          0          0          0   PCI-MSI-edge      eth3-TxRx-4
 76:          2          0          0          0          0  694868137          0          0   PCI-MSI-edge      eth3-TxRx-5
 77:          2          0          0          0          0          0  658945281          0   PCI-MSI-edge      eth3-TxRx-6
 78:          2          0          0          0          0          0          0  407241757   PCI-MSI-edge      eth3-TxRx-7
 79:         13          0          0          0          0          0          0          0   PCI-MSI-edge      eth3:lsc

 

скрипт распределения:

set_affinity()
{
   MASK=$((1<<$VEC))
   printf "%s mask=%X for /proc/irq/%d/smp_affinity\n" $DEV $MASK $IRQ
   printf "%X" $MASK > /proc/irq/$IRQ/smp_affinity
   #echo $DEV mask=$MASK for /proc/irq/$IRQ/smp_affinity
   #echo $MASK > /proc/irq/$IRQ/smp_affinity
}

if [ "$1" = "" ] ; then
       echo "Description:"
       echo "    This script attempts to bind each queue of a multi-queue NIC"
       echo "    to the same numbered core, ie tx0|rx0 --> cpu0, tx1|rx1 --> cpu1"
       echo "usage:"
       echo "    $0 eth0 [eth1 eth2 eth3]"
fi


# check for irqbalance running
IRQBALANCE_ON=`ps ax | grep -v grep | grep -q irqbalance; echo $?`
if [ "$IRQBALANCE_ON" == "0" ] ; then
       echo " WARNING: irqbalance is running and will"
       echo "          likely override this script's affinitization."
       echo "          Please stop the irqbalance service and/or execute"
       echo "          'killall irqbalance'"
fi

#
# Set up the desired devices.
#

for DEV in $*
do
 for DIR in rx tx TxRx
 do
    MAX=`grep $DEV-$DIR /proc/interrupts | wc -l`
    if [ "$MAX" == "0" ] ; then
      MAX=`egrep -i "$DEV:.*$DIR" /proc/interrupts | wc -l`
    fi
    if [ "$MAX" == "0" ] ; then
      echo no $DIR vectors found on $DEV
      continue
      #exit 1
    fi
    for VEC in `seq 0 1 $MAX`
    do
       IRQ=`cat /proc/interrupts | grep -i $DEV-$DIR-$VEC"$"  | cut  -d:  -f1 | sed "s/ //g"`
       if [ -n  "$IRQ" ]; then
         set_affinity
       else
          IRQ=`cat /proc/interrupts | egrep -i $DEV:v$VEC-$DIR"$"  | cut  -d:  -f1 | sed "s/ //g"`
          if [ -n  "$IRQ" ]; then
            set_affinity
          fi
       fi
    done
 done
done

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

OKyHb   

OKyHb
Опубликовано · Жалоба

Спасибо.

И какая оперативная память используется? По вашим наблюдениям, если ли разница между 2х/3х канальной для роутинга на таких объёмах?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

4.3Mpps / 36Gbit при аккаунтинге трафиковых абонентов (на безлимитчиков просто один счетчик) и шейпинге.

 

счетчик пакетов начал переполняться.

потери по mtr около 0.7% - будем думать, как с ними бороться...

 

root@test:~# iptables -nvL -t mangle
Chain PREROUTING (policy ACCEPT 207K packets, 88M bytes)
pkts bytes target     prot opt in     out     source               destination         
1756K 1281M ACC        all  --  eth3.165 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 4 GT 0  0 ACC: MARK set 0x0 
2128K 1837M ACC        all  --  eth4.163 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 4 GT 0  0 ACC: MARK set 0x0 
1487K 1340M ACC        all  --  eth5.162 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 4 GT 0  0 ACC: MARK set 0x0 
749M  666G HDMARK     all  --  eth3.165 *       0.0.0.0/0            0.0.0.0/0           HDMARK target instance 0 
736M  652G HDMARK     all  --  eth4.163 *       0.0.0.0/0            0.0.0.0/0           HDMARK target instance 0 
742M  657G HDMARK     all  --  eth5.162 *       0.0.0.0/0            0.0.0.0/0           HDMARK target instance 0 
999M  689G HDMARK     all  --  eth6.166 *       0.0.0.0/0            0.0.0.0/0           HDMARK target instance 1 by source 
1032M  712G HDMARK     all  --  eth7.145 *       0.0.0.0/0            0.0.0.0/0           HDMARK target instance 1 by source 
733M  646G FASTROUTE  all  --  eth5.162 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 3 GT 0  0 FASTROUTE: gw  32.34.93.193
728M  642G FASTROUTE  all  --  eth4.163 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 3 GT 0  0 FASTROUTE: gw  32.34.93.201
740M  655G FASTROUTE  all  --  eth3.165 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 3 GT 0  0 FASTROUTE: gw  172.16.17.169
998M  688G FASTROUTE  all  --  eth6.166 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 3 GT 0  0 by-source FASTROUTE: gw  172.16.17.157
1030M  711G FASTROUTE  all  --  eth7.145 *       0.0.0.0/0            0.0.0.0/0           nbset match instance 3 GT 0  0 by-source FASTROUTE: gw  32.34.93.126


      eth3                eth4                eth5                eth6                eth7               Total       
Kbps in  Kbps out   Kbps in  Kbps out   Kbps in  Kbps out   Kbps in  Kbps out   Kbps in  Kbps out   Kbps in  Kbps out
7.91e+06  7.90e+06  7.08e+06  7.07e+06  7.85e+06  7.85e+06  6.21e+06  6.23e+06  6.47e+06  6.45e+06  3.55e+07  3.55e+07
7.85e+06  7.85e+06  7.21e+06  7.14e+06  8.19e+06  8.18e+06  6.14e+06  6.13e+06  6.58e+06  6.56e+06  3.60e+07  3.59e+07
7.73e+06  7.73e+06  6.42e+06  6.47e+06  8.16e+06  8.15e+06  6.23e+06  6.22e+06  6.35e+06  6.33e+06  3.49e+07  3.49e+07
7.28e+06  7.28e+06  6.93e+06  6.93e+06  8.16e+06  8.16e+06  6.27e+06  6.25e+06  6.46e+06  6.44e+06  3.51e+07  3.51e+07
7.39e+06  7.38e+06  6.73e+06  6.73e+06  7.67e+06  7.61e+06  6.20e+06  6.18e+06  6.27e+06  6.25e+06  3.43e+07  3.42e+07
7.56e+06  7.54e+06  5.95e+06  5.94e+06  7.96e+06  7.91e+06  6.33e+06  6.32e+06  6.05e+06  6.03e+06  3.38e+07  3.37e+07
7.70e+06  7.68e+06  6.66e+06  6.65e+06  8.13e+06  8.17e+06  6.36e+06  6.35e+06  6.15e+06  6.14e+06  3.50e+07  3.50e+07
7.40e+06  7.41e+06  7.16e+06  7.15e+06  7.36e+06  7.14e+06  6.42e+06  6.39e+06  6.16e+06  6.14e+06  3.45e+07  3.42e+07
7.46e+06  7.45e+06  7.49e+06  7.48e+06  7.24e+06  7.23e+06  6.48e+06  6.48e+06  6.20e+06  6.19e+06  3.49e+07  3.48e+07
7.59e+06  7.58e+06  7.25e+06  7.25e+06  7.30e+06  7.29e+06  5.85e+06  5.80e+06  6.31e+06  6.29e+06  3.43e+07  3.42e+07
7.67e+06  7.66e+06  7.58e+06  7.57e+06  7.46e+06  7.46e+06  5.84e+06  5.81e+06  6.45e+06  6.44e+06  3.50e+07  3.49e+07

--net/eth3----net/eth4----net/eth5----net/eth6----net/eth7---net/total- ----total-cpu-usage----
recv  send: recv  send: recv  send: recv  send: recv  send: recv  send|usr sys idl wai hiq siq
920M  919M: 852M  851M: 937M  937M: 753M  751M: 739M  737M: 105M   99M|  0   0  94   0   0   6
916M  915M: 900M  900M: 943M  943M: 744M  740M: 729M  727M: 136M  128M|  0   0  93   0   0   7
881M  881M: 859M  859M: 917M  916M: 705M  700M: 676M  674M:4038M 4030M|  0   0  93   0   0   6
905M  904M: 862M  860M: 914M  914M: 717M  713M: 710M  709M:  13M 3813k|  0   0  95   0   0   5
893M  893M: 917M  918M: 910M  907M: 722M  717M: 755M  754M: 102M 4187M|  0   0  91   0   0   9
921M  920M: 878M  877M: 908M  910M: 709M  707M: 730M  728M:  50M   46M|  0   0  93   0   0   7
909M  908M: 901M  901M: 941M  940M: 742M  740M: 770M  768M:4262M 4256M|  0   0  94   0   0   6
916M  915M: 899M  898M: 927M  926M: 748M  746M: 735M  733M: 129M  122M|  0   0  89   0   0  11
955M  954M: 824M  823M: 874M  870M: 749M  748M: 736M  734M:  42M 4130M|  0   0  94   0   0   6
916M  915M: 900M  900M: 920M  920M: 773M  771M: 791M  789M: 205M    - |  0   0  92   0   0   7
933M  932M: 857M  857M: 920M  919M: 760M  758M: 794M  792M:4264M 4258M|  0   0  93   0   0   7
938M  936M: 919M  919M: 888M  886M: 775M  773M: 773M  772M:4294M  191M|  0   0  91   0   0   9
941M  940M: 867M  866M: 906M  904M: 739M  734M: 794M  792M: 151M  141M|  0   0  91   0   0   9
920M  919M: 902M  900M: 880M  876M: 747M  746M: 786M  783M: 139M 4224M|  0   0  96   0   0   4
908M  907M: 923M  923M: 905M  905M: 783M  781M: 727M  726M: 149M    - |  0   0  93   0   0   7
924M  923M: 907M  907M: 903M  897M: 755M  751M: 673M  671M:4162M 4149M|  0   0  94   0   0   5
981M  980M: 805M  804M: 942M  945M: 756M  754M: 703M  701M:4186M   89M|  0   0  93   0   0   7
967M  966M: 876M  876M: 926M  926M: 773M  771M: 792M  790M: 238M 4328M|  0   0  93   0   0   7
927M  927M: 854M  853M: 928M  928M: 774M  771M: 714M  712M: 101M    - |  0   0  93   0   0   7
927M  926M: 877M  877M: 963M  963M: 748M  746M: 733M  732M: 153M 4244M|  0   0  89   0   0  11
961M  960M: 756M  755M: 945M  943M: 785M  782M: 697M  695M:4144M   40M|  0   0  93   0   0   6
990M  990M: 847M  846M: 954M  953M: 774M  772M: 757M  755M: 226M  220M|  0   0  88   0   0  11
942M  941M: 886M  886M: 947M  947M: 784M  782M: 764M  762M:4323M 4318M|  1   0  86   0   0  13
907M  906M: 926M  925M: 925M  925M: 779M  777M: 767M  765M:4304M  202M|  2   0  80   0   0  18

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

OKyHb   

OKyHb
Опубликовано · Жалоба

А в режиме bridge пока не пробовали использовать? А то я когда-то пытался сделать 10G бридж - и у меня ничерта не получилось разделить RSS.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

martini   

martini
Опубликовано · Жалоба

так RSS тут не нужен, главное чтобы ядер ЦПУ хватало, и прибиваешь ручками или скриптом очереди к ядрам

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

bridge в планах. Но для этого нужно решить задачу про хитрую маршрутизацию через этот bridge конкретного трафика, не трогая служебный.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

OKyHb   

OKyHb
Опубликовано · Жалоба

так RSS тут не нужен, главное чтобы ядер ЦПУ хватало, и прибиваешь ручками или скриптом очереди к ядрам

 

Так в том то и проблема. Прибиваю очереди к разным cpu - начинают расти rx_missed_errors, прибиваю к одному cpu - никаких потерь, но этот cpu в полке. Может быть, это из-за каких-то патчей, но пока не разобрался. Поэтому так и интересен чужой опыт.

 

И касательно роутинга - тут, на удивление, я не нашёл обсуждений route cache и настройки. Попробовали менять настройки по примеру из статьи от Vincent Bernat - довольно интересно получается. Таки тоже захотелось отключить route cache.

 

Можете поделиться своим модулем FAST FORWARD? Не обязательно в публичный доступ, можно просто на почту :)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Igor Diakonov   

Igor Diakonov
Опубликовано · Жалоба

В 3.6+ route-cache вообще выпилен полностью за ненадобностью.

Правда, прироста производительности от этого, по сравнению с 3.2, я особо не заметил :(

https://lkml.org/lkml/2012/7/24/40

 

http://marc.info/?l=linux-netdev&m=134281976104977&w=2 местами интересно почитать.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

1U тазик за 30000р на supermicro intel c202 и Intel® Xeon® CPU E3-1240 V2 @ 3.40GHz

показал результат 9mpps на одном порту.

 

# dstat -n -N eth4  --net-packets
--net/eth4- --pkt/eth4-
recv  send|#recv #send
  0     0 |   0     0 
518M  518M|9001k 9001k
518M  518M|9083k 9083k
518M  518M|9060k 9060k
518M  518M|9028k 9028k
517M  517M|9064k 9064k
517M  517M|9036k 9036k
517M  517M|9025k 9025k

 

top - 17:04:36 up  3:26,  4 users,  load average: 2.48, 1.65, 1.20
Tasks: 106 total,   6 running, 100 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.1 us,  0.0 sy,  0.0 ni, 12.2 id,  0.0 wa,  0.0 hi, 87.8 si,  0.0 st
KiB Mem:   8282160 total,   189220 used,  8092940 free,    10756 buffers
KiB Swap:  9765884 total,        0 used,  9765884 free,   118784 cached

 PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM     TIME+ COMMAND                                                                             
  10 root      20   0     0    0    0 R  35.5  0.0  13:19.20 ksoftirqd/1                                                                         
  15 root      20   0     0    0    0 R  31.5  0.0  12:10.60 ksoftirqd/2                                                                         
  19 root      20   0     0    0    0 S  31.5  0.0  19:22.50 ksoftirqd/3                                                                         
  27 root      20   0     0    0    0 S  31.5  0.0  13:39.80 ksoftirqd/5                                                                         
  35 root      20   0     0    0    0 S  31.5  0.0  13:43.19 ksoftirqd/7                                                                         
  23 root      20   0     0    0    0 R  30.9  0.0  14:33.55 ksoftirqd/4                                                                         
  31 root      20   0     0    0    0 R  30.2  0.0  13:15.33 ksoftirqd/6                                                                         
   3 root      20   0     0    0    0 S  29.9  0.0  14:02.62 ksoftirqd/0                                                                         
2432 root      20   0     0    0    0 S   8.3  0.0   2:16.14 kworker/6:2                                                                         
 200 root      20   0     0    0    0 S   8.0  0.0   2:17.66 kworker/1:1                                                                         
2276 root      20   0     0    0    0 S   8.0  0.0   2:08.91 kworker/5:2                                                                         
  34 root      20   0     0    0    0 S   7.6  0.0   0:15.04 kworker/7:0                                                                         
 195 root      20   0     0    0    0 R   7.3  0.0   3:54.65 kworker/2:1                                                                         
 197 root      20   0     0    0    0 S   7.0  0.0   0:09.65 kworker/3:1                                                                         
2409 root      20   0     0    0    0 S   7.0  0.0   4:42.91 kworker/4:1                                                                         
6044 root      20   0     0    0    0 S   6.6  0.0   0:10.68 kworker/0:2                                                                         
   1 root      20   0  2280  732  628 S   0.3  0.0   0:02.30 init                                                                                
6049 root      20   0  9404 4612 2072 S   0.3  0.1   0:00.90 python                                                                              
6060 root      20   0  5160 1320  968 S   0.3  0.0   0:00.34 top                                                                                 
6063 root      20   0  5180 1380  968 R   0.3  0.0   0:00.12 top                                                                                 
   2 root      20   0     0    0    0 S   0.0  0.0   0:00.00 kthreadd                                                                            
   6 root      rt   0     0    0    0 S   0.0  0.0   0:01.13 migration/0                                                                         
   7 root      rt   0     0    0    0 S   0.0  0.0   0:03.50 watchdog/0                                                                          
   8 root      rt   0     0    0    0 S   0.0  0.0   0:01.01 migration/1                                                                         
  12 root      rt   0     0    0    0 S   0.0  0.0   0:02.42 watchdog/1                                                                          
  13 root      rt   0     0    0    0 S   0.0  0.0   0:00.77 migration/2                                                                         
  16 root      rt   0     0    0    0 S   0.0  0.0   0:03.42 watchdog/2                                                                          
  17 root      rt   0     0    0    0 S   0.0  0.0   0:00.80 migration/3                                                                         
  20 root      rt   0     0    0    0 S   0.0  0.0   0:03.05 watchdog/3                                                                          
  21 root      rt   0     0    0    0 S   0.0  0.0   0:01.20 migration/4                                                                         
  24 root      rt   0     0    0    0 S   0.0  0.0   0:03.36 watchdog/4                                                                          
  25 root      rt   0     0    0    0 S   0.0  0.0   0:00.70 migration/5                                                                         
  28 root      rt   0     0    0    0 S   0.0  0.0   0:03.32 watchdog/5                                                                          
  29 root      rt   0     0    0    0 S   0.0  0.0   0:01.05 migration/6                                                                         
  32 root      rt   0     0    0    0 S   0.0  0.0   0:03.67 watchdog/6                                                                          
  33 root      rt   0     0    0    0 S   0.0  0.0   0:00.97 migration/7                                                                         
  36 root      rt   0     0    0    0 S   0.0  0.0   0:03.58 watchdog/7

 

на этом уровне уже flow-control тормозит. Т.е. коммуатор больше не наливает.

 

Core 2 Quad прожевал 2.4mpps.

Тест провели на Debian 7.0 с ядром 3.2 и модулем FASTROUTE для обхода L3-lookup.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

telecom   

telecom
Опубликовано · Жалоба

 

Тест провели на Debian 7.0 с ядром 3.2 и модулем FASTROUTE для обхода L3-lookup.

Можно, плиз, подробнее про этот модуль?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

shicoy   

shicoy
Опубликовано · Жалоба

Вы как-то хотели поделится модулями FASTROUTE и rate-limit.

Общественность ждет )

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

Коллега, занимающийся разработкой в отпуске еще 2 недели. Как вернется - напомню. Основная сложность - подготовить код к публикации, написание инструкции и сопутствующего...

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dmvy   

dmvy
Опубликовано · Жалоба

Коллеги, разработчик модулей вышел из отпуска. Кто заинтересован - пишите личное сообщение - в ответ дам контактный адрес для связи.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

ThreeDHead   

ThreeDHead
Опубликовано · Жалоба

dmvy, Вы тут прибиваете очереди сетевой к разным процессорам. Я всегда считал что этого делать нельзя.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vlad11   

vlad11
Опубликовано · Жалоба

dmvy, Вы тут прибиваете очереди сетевой к разным процессорам. Я всегда считал что этого делать нельзя.

 

Я тоже прибиваю. Только трубы шейперов на Фряхе :)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Подписчики 0
Перейти к списку тем Активное оборудование Ethernet, IP, MPLS, SDN/NFV...