Бордер не может отдать больше траффика

[vlad11]

Бордер на FreeBSD 8.2-CURRENT соединен с гигабитом с аплинком

Другой сетевухой он соединен в гиговый свитч, в который воткнуты 4 BRAS, но на FreeBSD 7.1-7.2

 

На бордере загрузка LA ~0.5, на Брасах в пиках не более 2

Везде стоят гигабитки от Интел.

В чем может быть затык?

 

Edited December 5, 2011 by vlad11

[xxxupg]

оператор даёт вам 50Мбит ? :)

а если серьёзно - как ходят пинги и где затыки в трассировках в пиках?

[vlad11]

оператор даёт вам 50Мбит ? :)

То графики в мегабайтах.

Этот аплинк дает 400Мбит мир и 500Мбит Украины

 

а если серьёзно - как ходят пинги и где затыки в трассировках в пиках?

Есть периодические потери на выходе у аплинка.

 

И еще мы точно знаем, что нас аплинк фильтрует кол-во сессий и udp траффик.

[kayot]

Судя по графику - планки у ВАС нет, упираться трафику не во что. Может аплинки у вышестоящего провайдера завалены.

[vlad11]

Благодарю.

Мы все равно попробуем нагрузить линки между брасами и бордерами, а также еще попробуем сымитировать клиентские подключения и нагрузим их.

[Ilya Evseev]

На бордере загрузка LA ~0.5, на Брасах в пиках не более 2

LA показывает длину очереди в userspace.

Если бордер и брасы настроены правильно, то вся обработка должна производиться в ядре, т.е. LA д.б. близким к нулю.

 

Например, NAT на Core i3, загрузка cpu 2*55%, ~1gbps+300mbps:

$ uptime
18:20:43 up 33 days, 15:38,  1 user,  load average: 0.00, 0.00, 0.00

Shaping+netflow на Core2duo, до 800+250mbps, cpu до 200%:

> uptime
7:24PM  up 144 days, 15:36, 1 user, load averages: 0.06, 0.13, 0.08

 

Т.е. LA настораживает. Покажите top.

[Hawk128]

LA во фре и линухе по разному показывают.

У меня во фре ЛА и системные тоже показывает. (У меня все в ядре).

[Ilya Evseev]

LA во фре и линухе по разному показывают.

У меня во фре ЛА и системные тоже показывает. (У меня все в ядре).

Я специально привёл LA с разных систем.

Бордер под Линуксом, шейпер под FreeBSD 8.2.

[Hawk128]

У меня бордер и шейпер в одном флаконе.

 

last pid: 53166;  load averages:  2.18,  2.50,  2.52          up 4+03:06:46  21:25:44
203 processes: 18 running, 125 sleeping, 60 waiting
CPU 0:   0.4% user,  0.0% nice,  4.9% system, 35.0% interrupt, 59.8% idle
CPU 1:   0.8% user,  0.0% nice, 11.3% system,  8.6% interrupt, 79.3% idle
CPU 2:   0.0% user,  0.0% nice,  7.1% system, 12.7% interrupt, 80.1% idle
CPU 3:   0.8% user,  0.0% nice,  5.3% system, 10.2% interrupt, 83.8% idle
CPU 4:   0.0% user,  0.0% nice, 39.5% system, 12.4% interrupt, 48.1% idle
CPU 5:   0.0% user,  0.0% nice,  4.9% system, 20.3% interrupt, 74.8% idle
CPU 6:   0.7% user,  0.0% nice, 18.0% system, 13.9% interrupt, 67.4% idle
CPU 7:   0.4% user,  0.0% nice, 15.7% system, 18.0% interrupt, 65.9% idle
CPU 8:   0.4% user,  0.0% nice, 18.0% system,  0.0% interrupt, 81.6% idle
CPU 9:   0.0% user,  0.0% nice, 13.2% system,  0.0% interrupt, 86.8% idle
CPU 10:  0.4% user,  0.0% nice,  9.0% system,  0.0% interrupt, 90.6% idle
CPU 11:  0.0% user,  0.0% nice, 15.4% system,  0.0% interrupt, 84.6% idle
Mem: 95M Active, 82M Inact, 1005M Wired, 36K Cache, 1231M Buf, 10G Free
Swap: 6144M Total, 6144M Free

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root     171 ki31     0K   192K CPU11  11  90.7H 95.36% {idle: cpu11}
  11 root     171 ki31     0K   192K RUN     8  84.7H 88.67% {idle: cpu8}
  11 root     171 ki31     0K   192K CPU10  10  89.6H 87.70% {idle: cpu10}
  11 root     171 ki31     0K   192K CPU9    9  87.5H 87.16% {idle: cpu9}
  11 root     171 ki31     0K   192K CPU3    3  86.8H 85.99% {idle: cpu3}
  11 root     171 ki31     0K   192K CPU5    5  88.5H 83.89% {idle: cpu5}
   0 root     -68    0     0K   544K CPU4    4  22.7H 77.49% {dummynet}
  11 root     171 ki31     0K   192K CPU1    1  80.5H 76.95% {idle: cpu1}
  11 root     171 ki31     0K   192K RUN     2  83.7H 75.68% {idle: cpu2}
  11 root     171 ki31     0K   192K CPU7    7  78.9H 75.39% {idle: cpu7}
  11 root     171 ki31     0K   192K RUN     6  77.6H 68.55% {idle: cpu6}
  11 root     171 ki31     0K   192K CPU0    0  64.2H 54.20% {idle: cpu0}
  12 root     -68    -     0K   992K CPU0    0  27.9H 41.26% {irq266: ix0:que }
  12 root     -68    -     0K   992K WAIT    7 658:43 17.48% {irq273: ix0:que }
  12 root     -68    -     0K   992K RUN     4 418:16 17.19% {irq270: ix0:que }
  12 root     -68    -     0K   992K WAIT    6 547:14 13.96% {irq272: ix0:que }
  12 root     -68    -     0K   992K WAIT    2 524:35 13.67% {irq268: ix0:que }
  12 root     -68    -     0K   992K WAIT    1 474:03 13.67% {irq267: ix0:que }
   0 root     -68    0     0K   544K -       8 611:38 12.60% {ix0 que}
  12 root     -68    -     0K   992K WAIT    5 542:37 12.60% {irq271: ix0:que }
  12 root     -68    -     0K   992K WAIT    3 487:33 11.77% {irq269: ix0:que }
  13 root     -16    -     0K   192K sleep   9 342:58  9.47% {ng_queue2}
  13 root     -16    -     0K   192K sleep   9 343:38  9.28% {ng_queue10}
  13 root     -16    -     0K   192K CPU7    6 342:52  9.28% {ng_queue4}
  13 root     -16    -     0K   192K CPU10  10 342:36  9.08% {ng_queue1}
  13 root     -16    -     0K   192K sleep   8 342:49  8.98% {ng_queue6}
  13 root     -16    -     0K   192K sleep  11 342:55  8.89% {ng_queue5}
  13 root     -16    -     0K   192K sleep   7 342:39  8.89% {ng_queue3}
  13 root     -16    -     0K   192K sleep   1 342:31  8.89% {ng_queue11}
  13 root     -16    -     0K   192K sleep  10 342:41  8.79% {ng_queue7}
  13 root     -16    -     0K   192K sleep   0 342:38  8.79% {ng_queue0}
  13 root     -16    -     0K   192K sleep   3 342:41  8.59% {ng_queue9}
5455 root      49    0   128M 69348K select  1 372:11  8.50% {mpd5}
  13 root     -16    -     0K   192K sleep   6 342:49  8.50% {ng_queue8}
  11 root     171 ki31     0K   192K RUN     4  68.8H  8.15% {idle: cpu4}
3191 root      45    0 11324K  4040K select  7   7:01  1.27% zebra
   0 root     -68    0     0K   544K -       1  10:08  0.20% {ix0 que}
   0 root     -68    0     0K   544K -       7  25:10  0.10% {ix0 que}
   0 root     -68    0     0K   544K -      11  19:44  0.10% {ix0 que}
   0 root     -68    0     0K   544K -       1  15:21  0.10% {ix0 que}

[vlad11]

На бордере в минимуме:

 

# top -PS

last pid: 92361;  load averages:  0.12,  0.23,  0.23    up 6+10:39:24  02:57:30
285 processes: 5 running, 263 sleeping, 17 waiting
CPU 0:  0.0% user,  0.0% nice,  0.0% system,  1.1% interrupt, 98.9% idle
CPU 1:  0.0% user,  0.0% nice,  0.4% system,  0.0% interrupt, 99.6% idle
CPU 2:  0.0% user,  0.0% nice,  8.7% system,  0.0% interrupt, 91.3% idle
CPU 3:  0.0% user,  0.0% nice,  0.0% system,  9.1% interrupt, 90.9% idle
Mem: 368M Active, 6220K Inact, 1760M Wired, 1116K Cache, 1743M Free
Swap: 8192M Total, 8192M Free

 PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root        4 171 ki31     0K    64K CPU0    0 555.2H 372.80% idle
  12 root       17 -48    -     0K   272K WAIT    0  29.8H 14.45% intr
   0 root      177  -8    0     0K  2816K -       3  26.3H 11.47% kernel
 598 root        1  44    0   238M   231M select  0  79:18  0.00% bgpd
  14 root        1 -16    -     0K    16K -       2  14:11  0.00% yarrow
  21 root        1  20    -     0K    16K syncer  3   2:50  0.00% syncer

 

 

# vmstat -i
interrupt                          total       rate
irq0:                                  1          0
stray irq0                             1          0
irq18: atapci0                   9995625         17
irq21: ehci0                      824974          1
irq23: ehci1                     1098517          1
cpu0: timer                   1095694265       1967
irq256: em0                   3341446271       5999
irq257: em1:rx 0              2932746579       5266
irq258: em1:tx 0              3292247005       5911
irq259: em1:link                       2          0
cpu1: timer                   1095695510       1967
cpu2: timer                   1095693278       1967
cpu3: timer                   1095694096       1967
Total                        13961136124      25068

Edited December 8, 2011 by vlad11