[st_re]

Ну так проверьте

 

egrep '^dev\.em\.' /etc/sysctl.conf | while read line; do sysctl $line; done

 

Хуже не будет. :-)

[wsimons]

Еще раз присвоил,

dev.em.1.rx_int_delay: 1000

dev.em.1.tx_int_delay: 1000

dev.em.1.rx_abs_int_delay: 2000

dev.em.1.tx_abs_int_delay: 2000

 

Systat -v:

 

 2 users    Load  1.05  1.17  1.32                  Mar 22 00:21

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act   57412   11456   150392    13288 2489580  count
All   92048   12492 12794856    16544          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        cow   12569 total
             42       65k  798 7116 5054  665  599    532 zfod        atkbd0 1
                                                          ozfod       ata0 irq14
50.0%Sys  12.5%Intr  0.0%User  0.0%Nice 37.5%Idle        %ozfod       uhci0 16
|    |    |    |    |    |    |    |    |    |    |       daefr       uhci2 18
=========================++++++                           prcfr       uart0 21
                                        25 dtbuf          totfr       ehci0+ 23
Namei     Name-cache   Dir-cache    100000 desvn          react       amr0 irq46
   Calls    hits   %    hits   %     66308 numvn          pdwak  4722 em0 irq64
       4       4 100                 24997 frevn          pdpgs   399 em1 irq65
                                                          intrn  1862 cpu0: time
Disks amrd0                                        346196 wire   1862 cpu1: time
KB/t   0.00                                         46300 act    1862 cpu2: time
tps       0                                        159204 inact  1862 cpu3: time
MB/s   0.00                                           108 cache
%busy     0                                       2489480 free
                                                   323360 buf

 

Top -SP:

 

last pid: 52717;  load averages:  1.44,  1.25,  1.34                       up 6+05:01:05  00:22:37
103 processes: 5 running, 81 sleeping, 17 waiting
CPU 0:  0.0% user,  0.0% nice, 24.0% system,  1.1% interrupt, 74.9% idle
CPU 1:  0.0% user,  0.0% nice, 28.1% system,  1.5% interrupt, 70.4% idle
CPU 2:  1.1% user,  0.0% nice, 25.8% system,  5.2% interrupt, 67.8% idle
CPU 3:  0.0% user,  0.0% nice, 24.0% system,  0.0% interrupt, 76.0% idle
Mem: 45M Active, 155M Inact, 338M Wired, 108K Cache, 316M Buf, 2431M Free
Swap: 5120M Total, 5120M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root          1 171 ki31     0K    16K CPU3   3  95.7H 82.08% idle: cpu3
   14 root          1 171 ki31     0K    16K CPU0   0  89.1H 79.59% idle: cpu0
   13 root          1 171 ki31     0K    16K RUN    1  99.7H 78.76% idle: cpu1
   12 root          1 171 ki31     0K    16K CPU2   2  88.1H 62.35% idle: cpu2
    4 root          1 -68    -     0K    16K sleep  0  33.1H 17.68% ng_queue2
    2 root          1 -68    -     0K    16K sleep  2  33.1H 17.38% ng_queue0
    3 root          1 -68    -     0K    16K sleep  2  33.0H 17.38% ng_queue1
    5 root          1 -68    -     0K    16K sleep  3  33.0H 16.99% ng_queue3
   33 root          1  43    -     0K    16K WAIT   3 888:44  7.37% em0_rx_kthread_1
   32 root          1  43    -     0K    16K WAIT   0 889:39  7.08% em0_rx_kthread_0
   16 root          1 -32    -     0K    16K WAIT   0 547:55  5.86% swi4: clock sio
   37 root          1  43    -     0K    16K WAIT   2 867:18  5.37% em1_rx_kthread_1
   36 root          1  43    -     0K    16K WAIT   1 865:59  5.08% em1_rx_kthread_0
   35 root          1 -68    -     0K    16K WAIT   3  92:13  0.00% em1_txcleaner

Изменено 21 марта, 2010 пользователем wsimons

[st_re]

Во. на em1 прерывания упали в 10 раз...

[[GP]Villi]

Вы думаете 8 тысяч прерываний могу вообще какую-либо из современных машин напрячь?

[st_re]

Наверное это зависит от того, че в обработчик запхали. Там для сети обычно не просто return бывает.

 

А так машину - не машину, а тупо не успеть выгрести трафик из сетевой, запросто. А потом ОЙ!!! Ащмпки на интерфейсе. Да и тупо 90% ЦПУ на обработчике прерывания от сетки сбацать не вопрос. Правда оно не сильно меньше будет при уменьшении количества прерывпаний.. Процентов гдето 5-10 общей загрузки. не больше. Но при большой нагрузке они не лишние.

 

 

[apm]

stat# ngctl msg ng1:inet.0-0-m getconf

Rec'd response "getconf" (4) from "[3d5c0]:":

Args: { upstream={ cbs=393216 ebs=786432 cir=3145728 greenAction=1 yellowAction=1 redAction=2 mode=2 } downstream={ cbs=393216 ebs=786432 cir=3145728 greenAction=1 yellowAction=1 redAction=2 mode=2 } }

Это какая скорость? 3мбита?

Изменено 23 марта, 2010 пользователем apm

[Hawk128]

Да.

[apm]

А почему cbs и ebs такие, можете пояснить? У меня не хватает мозгов понять эти параметры в ng_car

[Hawk128]

Потому что MPD5 так решила. Я ей скармливаю только саму скорость, остальное оно само дополняет. А так в вики и яндексе вроде все хорошо объяснено.

[wsimons]

Поставили родные дрова для em и включили поллинг, ппс возросли до 30-50 тысяч (а раньше 5-11), прокачка возросла до 600-700мбит (iperf, раньше было 450 максимум).

[AntonS]

полинг на SMP не работал

точнее работал через одно место

 

хотя если одно ядро один проц

то и SMP не нужно

[wsimons]

Хм, откуда такие данные? С 7 версии он точно нормально воркает:)

[AntonS]

у тебя один проц? одно ядро?

если да, то и работает все ок

[wsimons]

last pid: 44565;  load averages:  0.73,  0.73,  0.65      up 0+17:08:21  18:54:42
91 processes:  5 running, 73 sleeping, 13 waiting
CPU 0:  0.4% user,  0.0% nice, 14.8% system,  7.4% interrupt, 77.3% idle
CPU 1:  0.0% user,  0.0% nice, 13.3% system,  6.6% interrupt, 80.1% idle
CPU 2:  0.0% user,  0.0% nice, 30.5% system, 12.5% interrupt, 57.0% idle
CPU 3:  0.0% user,  0.0% nice, 29.3% system, 14.1% interrupt, 56.6% idle
Mem: 32M Active, 153M Inact, 324M Wired, 200K Cache, 316M Buf, 2463M Free
Swap: 5120M Total, 5120M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   13 root          1 171 ki31     0K    16K CPU1    1 916:44 78.96% idle: cpu1
   14 root          1 171 ki31     0K    16K CPU0    0 886:23 74.37% idle: cpu0
   11 root          1 171 ki31     0K    16K RUN     3 828:55 63.23% idle: cpu3
   12 root          1 171 ki31     0K    16K RUN     2 884:53 55.52% idle: cpu2
   15 root          1 -44    -     0K    16K WAIT    2 264:09 28.86% swi1: net
    4 root          1 -68    -     0K    16K sleep   1  68:32 23.93% ng_queue2
    2 root          1 -68    -     0K    16K sleep   1  68:33 23.83% ng_queue0
    3 root          1 -68    -     0K    16K sleep   0  68:32 21.78% ng_queue1
    5 root          1 -68    -     0K    16K sleep   2  68:26 21.73% ng_queue3
   16 root          1 -32    -     0K    16K WAIT    0  27:01  3.12% swi4: clock

 

 4 users    Load  0.48  0.66  0.63                  Mar 27 18:55

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act   43068    7180   556516     8516 2521964  count
All   78872    9584 1074363k    15516          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        cow   17580 total
             44       87k  683 6272       14k  469    469 zfod        atkbd0 1
                                                          ozfod       ata0 irq14
66.7%Sys   8.3%Intr  0.0%User  0.0%Nice 25.0%Idle        %ozfod       atapci0 23
|    |    |    |    |    |    |    |    |    |    |       daefr       amr0 irq46
=================================+++++                    prcfr       em0 irq64
                                        60 dtbuf          totfr       em1 irq65
Namei     Name-cache   Dir-cache    100000 desvn          react  4395 cpu0: time
   Calls    hits   %    hits   %     68664 numvn          pdwak  4395 cpu1: time
       4       4 100                 24062 frevn          pdpgs  4395 cpu2: time
                                                          intrn  4395 cpu3: time
Disks amrd0                                        331360 wire
KB/t   0.00                                         32824 act
tps       0                                        156296 inact
MB/s   0.00                                           200 cache
%busy     0                                       2521772 free
                                                   323472 buf

В общем с поллингом работает интереснее, чем без.

Изменено 27 марта, 2010 пользователем wsimons

[AntonS]

дык у тебя все равно по прерываниям много

last pid: 76975; load averages: 14.56, 13.79, 13.22 up 4+10:30:48 18:59:17

129 processes: 1 running, 128 sleeping

CPU 0: 3.8% user, 0.0% nice, 72.6% system, 0.0% interrupt, 23.7% idle

CPU 1: 2.6% user, 0.0% nice, 54.5% system, 1.1% interrupt, 41.7% idle

CPU 2: 2.3% user, 0.0% nice, 72.9% system, 0.4% interrupt, 24.4% idle

CPU 3: 2.3% user, 0.0% nice, 54.5% system, 0.0% interrupt, 43.2% idle

CPU 4: 2.6% user, 0.0% nice, 75.6% system, 0.0% interrupt, 21.8% idle

CPU 5: 3.0% user, 0.0% nice, 52.6% system, 0.0% interrupt, 44.4% idle

CPU 6: 3.4% user, 0.0% nice, 66.2% system, 0.4% interrupt, 30.1% idle

CPU 7: 2.6% user, 0.0% nice, 58.6% system, 0.0% interrupt, 38.7% idle

CPU 8: 4.1% user, 0.0% nice, 66.5% system, 0.4% interrupt, 28.9% idle

CPU 9: 3.0% user, 0.0% nice, 55.6% system, 0.0% interrupt, 41.4% idle

CPU 10: 1.9% user, 0.0% nice, 72.6% system, 0.4% interrupt, 25.2% idle

CPU 11: 1.5% user, 0.0% nice, 61.7% system, 0.4% interrupt, 36.5% idle

CPU 12: 2.3% user, 0.0% nice, 62.8% system, 0.0% interrupt, 35.0% idle

CPU 13: 4.1% user, 0.0% nice, 61.7% system, 0.4% interrupt, 33.8% idle

CPU 14: 2.6% user, 0.0% nice, 69.5% system, 1.1% interrupt, 26.7% idle

CPU 15: 4.1% user, 0.0% nice, 67.7% system, 0.4% interrupt, 27.8% idle

Mem: 502M Active, 625M Inact, 1214M Wired, 376K Cache, 1236M Buf, 9534M Free

Swap: 32G Total, 32G Free

 

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

1067 root 2 71 0 240M 158M select 11 0:00 36.47% mpd5

1082 root 4 88 -15 26800K 20896K select 4 36.4H 36.18% ipcad

1076 root 1 47 0 42940K 23952K select 9 299:44 4.39% snmpd

989 bind 19 4 0 404M 342M kqread 5 86:13 3.66% named

918 root 1 44 0 5728K 1396K select 2 2:50 0.00% syslogd

 

 

router# netstat -w 1

input (Total) output

packets errs bytes packets errs bytes colls

317142 0 159226781 312723 0 180063496 0

310939 0 156392490 305705 0 174406307 0

 

ну и щас 3653 сессии

 

никакого полинга нету!

[wsimons]

полинг на SMP не работал

точнее работал через одно место

Ну дык мы разговаривали и о поллинге а не о прерываниях, в итоге-то работает:)

 

[_longhorn_]

в итоге-то работает:)

В итоге работает одно ядро. Поздравляю.

[wsimons]

полинг на SMP не работал

точнее работал через одно место

Вопрос стоял не о прерываниях, а о некоректной работе полинга на SMP.

обоснуйте именно это.

С дровами от яндекса прерываний конечно на много меньше, только результат плачевный с загрузкой одного ядра до 100% ng_queue.

Складывается впечатление, чо яндекс дрова слишком перехваливают. В яндексе я думаю не писали эти дрова для ISP в цепочке ng + nat, а для своих веб серверов, которые ничего не натят и не ограничивают.

При работе с полингом таких проблем нет.

 

в итоге-то работает:)

В итоге работает одно ядро. Поздравляю.

Укажите на одно ядро. че то не очень этого вижу.

Изменено 27 марта, 2010 пользователем wsimons

[jab]

Вопрос стоял не о прерываниях, а о некоректной работе полинга на SMP.

обоснуйте именно это.

У меня восемь лет работает, и без SMP и на SMP. Что я делаю не так ?

[AntonS]

в свое время не работал на 6-ке

сыпались ошибки на интерфейсе

 

сейчас просто не использую

может быть когда нибудь протестирую

сначала подожду когда побольше народу полинг поврубает на много процесорных тачках с большой нагрузкой

чтобы не быть пионером

 

в семерке в свое время и нетргаф с даминет не работал

щас тоже боюсь делать такое сочетание

[jab]

в свое время не работал на 6-ке

сыпались ошибки на интерфейсе

У меня до сих пор работает на 6-ке. Может дело в прокладке ?

[AntonS]

сочетание опций ядра с функционалом крутящимся на сервере

 

и что может дать полинг, если загрузка по прерываниям практически отсутсвует?

[jab]

 

Поллинг на данном этапе дает только возможность удаленно управлять роутером при превышении нагрузки ( например при DDoS ). :-) Без слайд-шоу.

[_longhorn_]

Укажите на одно ядро. че то не очень этого вижу.

15 root 1 -44 - 0K 16K WAIT 2 264:09 28.86% swi1: net

[wsimons]

Укажите на одно ядро. че то не очень этого вижу.

15 root 1 -44 - 0K 16K WAIT 2 264:09 28.86% swi1: net

А вы хоть в курсе за что отвечает этот процесс и где этот процесс показывает, что полинг работает на одном ядре?