kernel процес в freebsd

[doubtpoint]

Есть несколько серверов i7-3770K freebsd 9.1-PRERELEASE выполняющих nat(ipfw), shaper(ipfw с таблицами), подсчет трафика(ipcad) и BGP(quagga).

 

На одном из них в момент максимальной нагрузки резко(не пропорционально трафику) возрастает загрузка процессом kernel c 5-10% до 200-300%. Увеличиваются ping до 10-20мс. Было бы логично ставить еще один сервер, но есть несколько с аналогичной конфигурацией и трафиком на 20-40% больше, на которых загрузка кернела в пределах 20%.

Очевидно, что или картина трафика другая или какие-то хеш счетчики переполняются. Что именно делает кернел в задачах роутинга и куда смотреть?

 

PS: Железо было поменяно. Пробовал отключать шейпер - не помогло.

netstat -w 1 -h
           input        (Total)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
     1.0M     0     0       866M         1M     0       864M     0
     1.0M     0     0       865M         1M     0       863M     0

last pid: 71101;  load averages: 12.40,  8.94,  9.49   up 10+11:27:45  21:56:19
48 processes:  3 running, 44 sleeping, 1 waiting
CPU:  3.1% user,  0.0% nice, 28.3% system, 57.9% interrupt, 10.7% idle
Mem: 921M Active, 808M Inact, 951M Wired, 15M Cache, 407M Buf, 1139M Free
Swap: 4096M Total, 320K Used, 4096M Free

 PID USERNAME      THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  12 root           37 -84    -     0K   592K WAIT    0 771.9H 471.68% intr
   0 root           29 -92    0     0K   464K -       0 156.4H 212.60% kernel
  11 root            8 155 ki31     0K   128K RUN     7 1026.8 92.29% idle
3886 root            3  35  -15   859M   792M CPU1    0  28.7H 18.65% ipcad
3792 bind           11  20    0   195M   139M kqread  0  22.1H  8.30% named
1293 root            1  20    0   350M   338M select  1 219:10  0.29% bgpd

cat /boot/loader.conf
ixgbe_load="YES"
kern.ipc.nmbclusters=1024000
hw.ixgbe.rxd=2048
hw.ixgbe.txd=2048
hw.ixgbe.num_queues=8

[apm]

ipcad?

[doubtpoint]

ipcad?

ipcad отдельным процессом и вроде его пробовал отключить. Вечером еще раз попробую.

Мне больше кажется у нат где-то переполняется таблица. Но что именно?

 

01100 71106585287 68159638110438 nat tablearg ip from any to table(11) in

41000 60836709318 42648105685095 nat tablearg ip from table(10) to any out

где 10 и 11 таблицы содержат по 255 IP по 1 на каждые /24 пользователей

[doubtpoint]

Отключение ipcad ни как не изменило нагрузку. Что еще может быть?

[Hawk128]

Выведите top -SHP

[doubtpoint]

Сейчас еще не пик загрузки. Причем процессы 23.68% kernel{ix0 que} выросли буквально на глазах(за 5 минут, без соответствующего изменения трафика) с 1 процента до 24

 

last pid:  9957;  load averages:  7.44,  6.66,  5.58                                                                                up 16+09:14:29  19:43:03
145 processes: 28 running, 87 sleeping, 30 waiting
CPU 0:  3.7% user,  0.0% nice, 19.5% system, 51.2% interrupt, 25.6% idle
CPU 1:  1.2% user,  0.0% nice, 28.0% system, 50.0% interrupt, 20.7% idle
CPU 2:  0.0% user,  0.0% nice, 11.0% system, 68.3% interrupt, 20.7% idle
CPU 3:  1.2% user,  0.0% nice, 19.5% system, 65.9% interrupt, 13.4% idle
CPU 4:  4.9% user,  0.0% nice, 19.5% system, 58.5% interrupt, 17.1% idle
CPU 5:  3.7% user,  0.0% nice, 20.7% system, 51.2% interrupt, 24.4% idle
CPU 6:  0.0% user,  0.0% nice, 18.3% system, 50.0% interrupt, 31.7% idle
CPU 7:  0.0% user,  0.0% nice, 22.0% system, 48.8% interrupt, 29.3% idle
Mem: 760M Active, 727M Inact, 994M Wired, 6260K Cache, 407M Buf, 1347M Free
Swap: 4096M Total, 2084K Used, 4094M Free

 PID USERNAME     PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  12 root         -92    -     0K   592K CPU2    2 128.8H 64.16% intr{irq266: ix0:que }
  12 root         -92    -     0K   592K RUN     3 130.8H 58.89% intr{irq267: ix0:que }
  12 root         -92    -     0K   592K RUN     7 119.0H 53.66% intr{irq271: ix0:que }
  12 root         -92    -     0K   592K WAIT    4 118.6H 53.27% intr{irq268: ix0:que }
  12 root         -92    -     0K   592K CPU0    0 119.3H 53.08% intr{irq264: ix0:que }
  12 root         -92    -     0K   592K WAIT    5 119.0H 52.69% intr{irq269: ix0:que }
  12 root         -92    -     0K   592K WAIT    6 120.4H 52.49% intr{irq270: ix0:que }
  12 root         -92    -     0K   592K CPU1    1 119.6H 49.07% intr{irq265: ix0:que }
  12 root         -88    -     0K   592K RUN     4 194.7H 40.77% intr{irq16: xhci0 ehc}
  11 root         155 ki31     0K   128K RUN     1 225.6H 27.49% idle{idle: cpu1}
  11 root         155 ki31     0K   128K RUN     5 225.7H 27.39% idle{idle: cpu5}
  11 root         155 ki31     0K   128K RUN     6 225.3H 26.95% idle{idle: cpu6}
  11 root         155 ki31     0K   128K RUN     4 226.2H 26.17% idle{idle: cpu4}
  11 root         155 ki31     0K   128K RUN     0 225.5H 25.49% idle{idle: cpu0}
  11 root         155 ki31     0K   128K RUN     7 225.9H 24.76% idle{idle: cpu7}
   0 root         -92    0     0K   464K -       6  24.7H 23.68% kernel{ix0 que}
  11 root         155 ki31     0K   128K RUN     2 221.9H 19.78% idle{idle: cpu2}
   0 root         -92    0     0K   464K -       3  25.5H 19.09% kernel{ix0 que}
90323 root         -74  -15   527M   459M RUN     4 454:19 17.38% ipcad{ipcad}
   0 root         -92    0     0K   464K CPU4    6  24.2H 17.29% kernel{ix0 que}
   0 root         -92    0     0K   464K CPU7    1  25.1H 17.19% kernel{ix0 que}
   0 root         -92    0     0K   464K -       4  24.7H 15.87% kernel{ix0 que}
   0 root         -92    0     0K   464K -       6  24.5H 15.87% kernel{ix0 que}
   0 root         -92    0     0K   464K -       6  24.3H 15.19% kernel{ix0 que}
   0 root         -92    0     0K   464K CPU3    5  24.5H 13.87% kernel{ix0 que}
  11 root         155 ki31     0K   128K RUN     3 112.1H 12.16% idle{idle: cpu3}
1293 root          20    0   351M   339M select  2 349:32  0.88% bgpd
3792 bind          20    0   203M   142M RUN     7 241:42  0.78% named{named}
3792 bind          20    0   203M   142M RUN     5 241:41  0.68% named{named}
3792 bind          20    0   203M   142M RUN     5 241:35  0.68% named{named}
3792 bind          20    0   203M   142M RUN     1 241:38  0.59% named{named}
3792 bind          20    0   203M   142M RUN     4 241:35  0.59% named{named}
3792 bind          20    0   203M   142M RUN     4 241:32  0.59% named{named}
3792 bind          20    0   203M   142M CPU5    5 241:28  0.59% named{named}
3792 bind          20    0   203M   142M RUN     1 241:33  0.49% named{named}
3792 bind          20    0   203M   142M kqread  5  92:17  0.10% named{named}
3837 root          20    0   191M 81128K select  5  52:44  0.00% snmpd
  12 root         -60    -     0K   592K RUN     6  48:42  0.00% intr{swi4: clock}
   0 root         -92    0     0K   464K -       6  45:24  0.00% kernel{dummynet}
  17 root          16    -     0K    16K syncer  4  12:39  0.00% syncer
1288 root          20    0   158M   148M select  2   6:08  0.00% zebra
  12 root         -72    -     0K   592K WAIT    2   4:02  0.00% intr{swi1: netisr 0}
3870 root          20    0 22196K  2844K select  4   2:37  0.00% ntpd

[doubtpoint]

PS: Еще удивило большое кол-во прерываний USB (xhci0: <Intel Panther Point USB 3.0 controller> mem 0xf7e00000-0xf7e0ffff irq 16 at device 20.0 on pci0).

к усб вроде ни чего не подключено и клавиатура даже PS/2

[Hawk128]

USB3 глючит, ребутнишь - нормально.

Попробуйте выключить в биосе HT и USB3