Jump to content
Калькуляторы

kernel процес в freebsd

Есть несколько серверов i7-3770K freebsd 9.1-PRERELEASE выполняющих nat(ipfw), shaper(ipfw с таблицами), подсчет трафика(ipcad) и BGP(quagga).

 

На одном из них в момент максимальной нагрузки резко(не пропорционально трафику) возрастает загрузка процессом kernel c 5-10% до 200-300%. Увеличиваются ping до 10-20мс. Было бы логично ставить еще один сервер, но есть несколько с аналогичной конфигурацией и трафиком на 20-40% больше, на которых загрузка кернела в пределах 20%.

Очевидно, что или картина трафика другая или какие-то хеш счетчики переполняются. Что именно делает кернел в задачах роутинга и куда смотреть?

 

PS: Железо было поменяно. Пробовал отключать шейпер - не помогло.

netstat -w 1 -h
           input        (Total)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
     1.0M     0     0       866M         1M     0       864M     0
     1.0M     0     0       865M         1M     0       863M     0

last pid: 71101;  load averages: 12.40,  8.94,  9.49   up 10+11:27:45  21:56:19
48 processes:  3 running, 44 sleeping, 1 waiting
CPU:  3.1% user,  0.0% nice, 28.3% system, 57.9% interrupt, 10.7% idle
Mem: 921M Active, 808M Inact, 951M Wired, 15M Cache, 407M Buf, 1139M Free
Swap: 4096M Total, 320K Used, 4096M Free

 PID USERNAME      THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  12 root           37 -84    -     0K   592K WAIT    0 771.9H 471.68% intr
   0 root           29 -92    0     0K   464K -       0 156.4H 212.60% kernel
  11 root            8 155 ki31     0K   128K RUN     7 1026.8 92.29% idle
3886 root            3  35  -15   859M   792M CPU1    0  28.7H 18.65% ipcad
3792 bind           11  20    0   195M   139M kqread  0  22.1H  8.30% named
1293 root            1  20    0   350M   338M select  1 219:10  0.29% bgpd

cat /boot/loader.conf
ixgbe_load="YES"
kern.ipc.nmbclusters=1024000
hw.ixgbe.rxd=2048
hw.ixgbe.txd=2048
hw.ixgbe.num_queues=8

Share this post


Link to post
Share on other sites

ipcad?

ipcad отдельным процессом и вроде его пробовал отключить. Вечером еще раз попробую.

Мне больше кажется у нат где-то переполняется таблица. Но что именно?

 

01100 71106585287 68159638110438 nat tablearg ip from any to table(11) in

41000 60836709318 42648105685095 nat tablearg ip from table(10) to any out

где 10 и 11 таблицы содержат по 255 IP по 1 на каждые /24 пользователей

Share this post


Link to post
Share on other sites

Отключение ipcad ни как не изменило нагрузку. Что еще может быть?

Share this post


Link to post
Share on other sites

Сейчас еще не пик загрузки. Причем процессы 23.68% kernel{ix0 que} выросли буквально на глазах(за 5 минут, без соответствующего изменения трафика) с 1 процента до 24

 

last pid:  9957;  load averages:  7.44,  6.66,  5.58                                                                                up 16+09:14:29  19:43:03
145 processes: 28 running, 87 sleeping, 30 waiting
CPU 0:  3.7% user,  0.0% nice, 19.5% system, 51.2% interrupt, 25.6% idle
CPU 1:  1.2% user,  0.0% nice, 28.0% system, 50.0% interrupt, 20.7% idle
CPU 2:  0.0% user,  0.0% nice, 11.0% system, 68.3% interrupt, 20.7% idle
CPU 3:  1.2% user,  0.0% nice, 19.5% system, 65.9% interrupt, 13.4% idle
CPU 4:  4.9% user,  0.0% nice, 19.5% system, 58.5% interrupt, 17.1% idle
CPU 5:  3.7% user,  0.0% nice, 20.7% system, 51.2% interrupt, 24.4% idle
CPU 6:  0.0% user,  0.0% nice, 18.3% system, 50.0% interrupt, 31.7% idle
CPU 7:  0.0% user,  0.0% nice, 22.0% system, 48.8% interrupt, 29.3% idle
Mem: 760M Active, 727M Inact, 994M Wired, 6260K Cache, 407M Buf, 1347M Free
Swap: 4096M Total, 2084K Used, 4094M Free

 PID USERNAME     PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  12 root         -92    -     0K   592K CPU2    2 128.8H 64.16% intr{irq266: ix0:que }
  12 root         -92    -     0K   592K RUN     3 130.8H 58.89% intr{irq267: ix0:que }
  12 root         -92    -     0K   592K RUN     7 119.0H 53.66% intr{irq271: ix0:que }
  12 root         -92    -     0K   592K WAIT    4 118.6H 53.27% intr{irq268: ix0:que }
  12 root         -92    -     0K   592K CPU0    0 119.3H 53.08% intr{irq264: ix0:que }
  12 root         -92    -     0K   592K WAIT    5 119.0H 52.69% intr{irq269: ix0:que }
  12 root         -92    -     0K   592K WAIT    6 120.4H 52.49% intr{irq270: ix0:que }
  12 root         -92    -     0K   592K CPU1    1 119.6H 49.07% intr{irq265: ix0:que }
  12 root         -88    -     0K   592K RUN     4 194.7H 40.77% intr{irq16: xhci0 ehc}
  11 root         155 ki31     0K   128K RUN     1 225.6H 27.49% idle{idle: cpu1}
  11 root         155 ki31     0K   128K RUN     5 225.7H 27.39% idle{idle: cpu5}
  11 root         155 ki31     0K   128K RUN     6 225.3H 26.95% idle{idle: cpu6}
  11 root         155 ki31     0K   128K RUN     4 226.2H 26.17% idle{idle: cpu4}
  11 root         155 ki31     0K   128K RUN     0 225.5H 25.49% idle{idle: cpu0}
  11 root         155 ki31     0K   128K RUN     7 225.9H 24.76% idle{idle: cpu7}
   0 root         -92    0     0K   464K -       6  24.7H 23.68% kernel{ix0 que}
  11 root         155 ki31     0K   128K RUN     2 221.9H 19.78% idle{idle: cpu2}
   0 root         -92    0     0K   464K -       3  25.5H 19.09% kernel{ix0 que}
90323 root         -74  -15   527M   459M RUN     4 454:19 17.38% ipcad{ipcad}
   0 root         -92    0     0K   464K CPU4    6  24.2H 17.29% kernel{ix0 que}
   0 root         -92    0     0K   464K CPU7    1  25.1H 17.19% kernel{ix0 que}
   0 root         -92    0     0K   464K -       4  24.7H 15.87% kernel{ix0 que}
   0 root         -92    0     0K   464K -       6  24.5H 15.87% kernel{ix0 que}
   0 root         -92    0     0K   464K -       6  24.3H 15.19% kernel{ix0 que}
   0 root         -92    0     0K   464K CPU3    5  24.5H 13.87% kernel{ix0 que}
  11 root         155 ki31     0K   128K RUN     3 112.1H 12.16% idle{idle: cpu3}
1293 root          20    0   351M   339M select  2 349:32  0.88% bgpd
3792 bind          20    0   203M   142M RUN     7 241:42  0.78% named{named}
3792 bind          20    0   203M   142M RUN     5 241:41  0.68% named{named}
3792 bind          20    0   203M   142M RUN     5 241:35  0.68% named{named}
3792 bind          20    0   203M   142M RUN     1 241:38  0.59% named{named}
3792 bind          20    0   203M   142M RUN     4 241:35  0.59% named{named}
3792 bind          20    0   203M   142M RUN     4 241:32  0.59% named{named}
3792 bind          20    0   203M   142M CPU5    5 241:28  0.59% named{named}
3792 bind          20    0   203M   142M RUN     1 241:33  0.49% named{named}
3792 bind          20    0   203M   142M kqread  5  92:17  0.10% named{named}
3837 root          20    0   191M 81128K select  5  52:44  0.00% snmpd
  12 root         -60    -     0K   592K RUN     6  48:42  0.00% intr{swi4: clock}
   0 root         -92    0     0K   464K -       6  45:24  0.00% kernel{dummynet}
  17 root          16    -     0K    16K syncer  4  12:39  0.00% syncer
1288 root          20    0   158M   148M select  2   6:08  0.00% zebra
  12 root         -72    -     0K   592K WAIT    2   4:02  0.00% intr{swi1: netisr 0}
3870 root          20    0 22196K  2844K select  4   2:37  0.00% ntpd

Share this post


Link to post
Share on other sites

PS: Еще удивило большое кол-во прерываний USB (xhci0: <Intel Panther Point USB 3.0 controller> mem 0xf7e00000-0xf7e0ffff irq 16 at device 20.0 on pci0).

к усб вроде ни чего не подключено и клавиатура даже PS/2

Share this post


Link to post
Share on other sites

USB3 глючит, ребутнишь - нормально.

Попробуйте выключить в биосе HT и USB3

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this