[jab]

Ну не хотите отвечать. Не надо.

 

Но я бы начал с покупки нормальной pcie сетевухи.

[dsk]

Не заметил первого вопроса.

Поллинга в ядре сейчас нет.

 

net.inet.ip.intr_queue_maxlen: 1000

 

dev.em.0.%desc: Intel® PRO/1000 Network Connection Version - 6.6.6

dev.em.0.%driver: em

dev.em.0.%location: slot=25 function=0 handle=\_SB_.PCI0.ILAN

dev.em.0.%pnpinfo: vendor=0x8086 device=0x294c subvendor=0x8086 subdevice=0x0001 class=0x020000

dev.em.0.%parent: pci0

dev.em.0.debug_info: -1

dev.em.0.stats: -1

dev.em.0.rx_int_delay: 0

dev.em.0.tx_int_delay: 66

dev.em.0.rx_abs_int_delay: 66

dev.em.0.tx_abs_int_delay: 66

dev.em.0.rx_processing_limit: 100

dev.em.0.wake: 0

 

При эксперименте было

#kern.polling.enable=1

#kern.polling.idle_poll=1

#kern.polling.reg_frac=40

#kern.polling.each_burst=20

#kern.polling.user_frac=0

#kern.polling.burst_max=1000

 

Ошибки кстати есть всегда, что с POLLING-ом, что с FAST-ом.

Изменено 8 февраля, 2008 пользователем dsk

[jab]

dev.em.0.rx_int_delay: 0

dev.em.0.tx_int_delay: 66

dev.em.0.rx_abs_int_delay: 66

dev.em.0.tx_abs_int_delay: 66

dev.em.0.rx_processing_limit: 100

dev.em.0.wake: 0

И сколько интерраптов на один пакет при таких таймаутах ?

 

Ошибки кстати есть всегда, что с POLLING-ом, что с FAST-ом.

Как я уже писал выше - для начала я бы сменил сетевуху на pcie.

[dsk]

И сколько интерраптов на один пакет при таких таймаутах ?

22kpps поровну в обе стороны, 7700 интерраптов. Это дефолтные значения.

Изменено 10 февраля, 2008 пользователем dsk

[jab]

 

То есть при 200kpps будет 80k интерраптов ? Увеличивайте таймауты, если ошибки не пропадут - меняйте сетевуху.

[dsk]

dev.em.0.rx_int_delay: 1500

dev.em.0.tx_int_delay: 1500

dev.em.0.rx_abs_int_delay: 2000

dev.em.0.tx_abs_int_delay: 2000

 

 

1030-1050 интерраптов

 

   packets  errs      bytes    packets  errs      bytes colls
    151039     4   73000803     150941     0   72977720     0
    149300    10   71761406     149266     0   71739683     0
    151245     8   72989610     151250     0   72967589     0
    150218     0   72341372     150118     0   72318851     0
    151137     0   73122608     151073     0   73096815     0
    149645     0   71632226     149579     0   71611218     0
    153656     0   75507882     153659     0   75484595     0
    151229     0   73238963     151138     0   73217716     0
    150407     0   72422611     150371     0   72399639     0

Изменено 11 февраля, 2008 пользователем dsk

[glat]

А как бороться с ошибками на BGE? кто то с таким сталкивался?

при команде netstat -I bge0 -w 1

 

            input         (bge0)           output
   packets  errs      bytes    packets  errs      bytes colls
     21822   764   17627673      27335     0   16352345     0
     21706   625   17480872      26536     0   16087454     0
     21177   458   18105983      25317     0   14178432     0
     21589   767   17947001      26902     0   15989540     0
     21026   754   17610183      26181     0   15674706     0
     21458   603   17711420      26296     0   14662730     0

 

Что интересно после полного ребута сервера все нормализуется и производительность вырастает в 1.5-2 раза и ошибок 1-2 или 0, по прошествии 40минут-1го часа снова начинаются ошибки, сперва прыгает то 2-10 то 100, потом до 200-300 вырастает а уже через пару-тройку часов до 1000 доходит,

 

подскажете куда копать?

Изменено 17 февраля, 2008 пользователем glat

[dsk]

Это все из той же оперы что и у меня, только у вас с производительностью совсем как-то печально...

Вообще у вас судя по всему что-то ресурсы начинает сжирать после некоторой работы, в top -S посмотрите когда ошибки появятся.

Изменено 17 февраля, 2008 пользователем dsk

[glat]

в общем то в топе ничего такого не видно

last pid: 23602;  load averages:  1.56,  2.48,  2.96    up 0+01:58:07  15:46:33
199 processes: 14 running, 170 sleeping, 15 waiting
CPU states:  5.3% user,  0.0% nice, 15.4% system, 32.2% interrupt, 47.1% idle
Mem: 282M Active, 367M Inact, 173M Wired, 40K Cache, 112M Buf, 1180M Free
Swap: 4069M Total, 4069M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   14 root        1 171   52     0K     8K RUN    3  90:38 76.66% idle: cpu3
   13 root        1 171   52     0K     8K CPU4   4  78:19 68.41% idle: cpu4
   15 root        1 171   52     0K     8K RUN    2  86:50 66.89% idle: cpu2
   31 root        1 -68 -187     0K     8K WAIT   1  97:03 66.16% irq24: bge0
   12 root        1 171   52     0K     8K RUN    5  81:19 62.40% idle: cpu5
   28 root        1 -68 -187     0K     8K WAIT   6  39:30 42.82% irq16: em0
   29 root        1 -68 -187     0K     8K CPU7   7  79:41 42.09% irq18: em1 ar
   18 root        1 -44 -163     0K     8K CPU6   6  25:12 38.33% swi1: net
   10 root        1 171   52     0K     8K RUN    7  48:18 34.57% idle: cpu7
   17 root        1 171   52     0K     8K CPU0   0  37:55 30.81% idle: cpu0
   16 root        1 171   52     0K     8K RUN    1  47:48 26.27% idle: cpu1
   11 root        1 171   52     0K     8K RUN    6  21:53 24.02% idle: cpu6
   30 root        1 -68 -187     0K     8K WAIT   0  60:58 23.29% irq19: em2
  911 root        1  87    0  6912K  6452K RUN    0  23:35 14.26% natd
   37 root        1 -68    0     0K     8K -      6  12:16 14.26% dummynet
1686 mysql      14  20    0   151M 55284K kserel 2  38:46 12.70% mysqld
  917 root        1  80    0  5408K  4884K select 7  11:59  5.22% natd
1809 root        1   8    0   103M 82844K nanslp 3   4:53  2.25% perl
1648 root       13  76  -15 39432K 37704K CPU3   0  29:03  0.00% ipcad
1555 icecast    22  20    0 11964K  6644K kserel 0   5:45  0.00% icecast
   19 root        1 -32 -151     0K     8K WAIT   0   1:58  0.00% swi4: clock s
1460 bind        1  76    0 17352K 16540K select 0   0:49  0.00% named

 

но вот что заметил, снижает количество ошибок если я вместо

add 4950 allow ip from "table(20)" to "table(20)"

ставлю

add 4950 pipe 15 ip from "table(20)" to "table(20)"

pipe 15 config bw 10000Kbit/s mask dst-ip 0XFFFFFFFF

в таблице 20 список внутренних адресов с маской 32, всего около 1500-2000 штук

и еще когда прут ошибки, здесь топ когда мало ошибок, то строка

31 root 1 -68 -187 0K 8K WAIT 1 97:03 66.16% irq24: bge0

показывает загрузку 80-98%

Изменено 17 февраля, 2008 пользователем glat

[jab]

 

Это прям из анекдота про авиалайнер "а теперь со всей этой ***ней мы попробуем взлететь".

[dsk]

Фильм ужасов какой-то прям а не top...

[glat]

Это прям из анекдота про авиалайнер "а теперь со всей этой ***ней мы попробуем взлететь".

как решу проблему обязательно с вами посмеюсь.

[glat]

я конечно новичок в этом, но может хоть намек дадите куда копать, система freebsd 6.3, используется ipfw + dammynet + natd,

[jab]

 

Копать надо могилу... тому кто это проектировал...

[dsk]

Соскочите с natd на pf nat.

Далее на em включите fast_intr или поллинг на крайняк.

Далее рихтуйте файрвол.

Попробуйте после еще каким-то образом убрать трафик с bge (или развланить какой-то из em или воткнуть еще один).

Далее копать могилу как уже выше сказали...

 

[glat]

как на em включить fast_intr

[dsk]

Поллинг из ядра уберите, оно включится.

Дальше читайте man em играйтесь с sysctl:

 

dev.em.X.rx_int_delay

dev.em.X.tx_int_delay

dev.em.X.rx_abs_int_delay

dev.em.X.tx_abs_int_delay

 

 

 

 

[jab]

 

У него там и нет поллинга, судя по всему...

[glat]

что тут другое, вчера перешел с natd на pf нина грам не улучшилось

сейчас утром нагрузка на интерфейса такая же, а работает идеально.

и еще вот что меня настораживает, раньше когда вводил шейп на внутренний трафик серв начинал тормозить, правда система была 6.2, а сейчас 6.3 и получается полностью наоборот, включаю шейп, пусть даже ставлю там ограничение по 100 мбит на каждого работает лучше чем с правилом allow from any to any

кстати для проверки правил ipfw ставил такую строку в самом начале после ната, ничего не менялось.

ничё не понимаю, в какомто тупике просто.

Изменено 18 февраля, 2008 пользователем glat

[jab]

 

Сначала разберитесь с интерраптами на сетевухах, все остальное - потом...

[glat]

Сначала разберитесь с интерраптами на сетевухах, все остальное - потом...

Как это можно сделать?

 

прошу прощения за глупый вопрос,

[glat]

Можно ли как то в tcpdump захватить пакеты определенного размера или до какогото размера, например все пакеты до 64 байт

[jab]

Можно ли как то в tcpdump захватить пакеты определенного размера или до какогото размера, например все пакеты до 64 байт

less 64

 

man tcpdump пять раз

[dsk]

Как это можно сделать?

 

прошу прощения за глупый вопрос,

В этом посте достаточно много информации как раз по теме этих интерраптов...

[mikevlz]

А кто из гуру может откомментировать такую картинку в топе:

PID USERNAME THR PRI NICE SIZE RES STATE C TIME CPU COMMAND

12 root 1 171 52 0K 8K RUN 0 136.9H 48.93% idle: cpu0

11 root 1 171 52 0K 8K CPU1 1 144.0H 45.61% idle: cpu1

15 root 1 -44 -163 0K 8K WAIT 1 49.3H 32.03% swi1: net

 

 

BSD6.1. IPFW, ng_netflow, ng_nat.

Кто такой этот зверь swi1:net ?