Перейти к содержимому
Калькуляторы

NAS на FreeBSD Нормальна ли нагрузка?

Ответить

em0   

em0
Опубликовано (изменено) · Жалоба

Сервер:

Xeon 3440 @ 2.53GHz

2 Gb ram

2 x igb сетевых

FreeBSD 8.2 RELEASE i386

 

Выполняет роль сервера доступа для ~1000 активных абонентов. Все абоненты NAT-яться ipfw nat, шейплятся при помощи dummynet, там же собирается для биллинга netflow при помощи softflowd и рисуются графики по загрузке каждого абонента при помощи bandwidthd, плюс небольшая приблуда от биллинга контролирующая весь этот велосипед реалтайм, но она ресурсов не жрет. Ядра прогружены полностью равномерно. Тюнинга по минимуму. Трафик в пиках пока что до ~500Mbit/s. pps выглядит следующим образом:

 

           input        (Total)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
    41632     0     0   36568684      41098     0   36788550     0
    42497     0     0   37505464      41981     0   37814438     0
    42205     0     0   37689784      41507     0   37811250     0
    44832     0     0   40007310      44223     0   40176508     0
    42855     0     0   37909549      42245     0   38045378     0
    43302     0     0   38589937      42615     0   38825755     0
    42898     0     0   38338991      42381     0   38519907     0
    42312     0     0   37922744      41891     0   38056938     0
    44703     0     0   40322144      44083     0   40333146     0
    40386     0     0   35812164      40017     0   36113636     0
    43717     0     0   38671354      42823     0   38625661     0
    45550     0     0   40994500      45196     0   41333186     0

 

 

load.png

 

Возникает вопрос - для таких задач, и на таком железе является ли такая загрузка нормальной? Есть ли практический смысл переходить на x64? Есть ли на данный момент глубинная потребность на тему перфоманса, обновляться до 8.3 если текущая стабильность устраивает?

Изменено пользователем em0

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

IMPERATOR   

IMPERATOR
Опубликовано · Жалоба

hyper threading включен ? Просто у нас он включен и нагрузка никогда не показывается выше 50% по графикам .

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

em0   

em0
Опубликовано · Жалоба
hyper threading включен ?

да

 

Просто у нас он включен и нагрузка никогда не показывается выше 50% по графикам .

значит какие-то ядра не догружены.

 

 

Сейчас при потоке ~200 мбит картина у нас выглядит следующим образом:

 

last pid: 26742;  load averages:  0.18,  0.20,  0.22                                                                                                                                                                up 53+00:15:47  12:40:44
135 processes: 10 running, 79 sleeping, 4 zombie, 42 waiting
CPU 0:  0.8% user,  0.0% nice,  0.4% system, 18.8% interrupt, 80.1% idle
CPU 1:  0.4% user,  0.0% nice,  0.8% system, 16.5% interrupt, 82.3% idle
CPU 2:  2.3% user,  0.0% nice,  0.4% system, 18.0% interrupt, 79.3% idle
CPU 3:  4.1% user,  0.0% nice,  0.0% system, 12.7% interrupt, 83.1% idle
CPU 4:  3.4% user,  0.0% nice,  0.4% system, 13.9% interrupt, 82.3% idle
CPU 5:  0.8% user,  0.0% nice,  0.0% system, 14.7% interrupt, 84.6% idle
CPU 6:  1.9% user,  0.0% nice,  0.0% system, 12.7% interrupt, 85.4% idle
CPU 7:  1.1% user,  0.0% nice,  0.0% system, 16.2% interrupt, 82.7% idle
Mem: 706M Active, 851M Inact, 283M Wired, 58M Cache, 112M Buf, 56M Free
Swap: 3973M Total, 3973M Free

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root     171 ki31     0K    64K CPU3    3 1032.9 88.38% {idle: cpu3}
  11 root     171 ki31     0K    64K RUN     6 1037.3 87.79% {idle: cpu6}
  11 root     171 ki31     0K    64K CPU5    5 1039.9 87.60% {idle: cpu5}
  11 root     171 ki31     0K    64K CPU0    0 977.5H 86.57% {idle: cpu0}
  11 root     171 ki31     0K    64K CPU1    1 1037.4 83.40% {idle: cpu1}
  11 root     171 ki31     0K    64K CPU4    4 1027.0 81.40% {idle: cpu4}
  11 root     171 ki31     0K    64K CPU7    7 1046.1 80.47% {idle: cpu7}
  11 root     171 ki31     0K    64K RUN     2 1020.8 79.98% {idle: cpu2}
  12 root     -68    -     0K   344K WAIT    7 107.4H 12.99% {irq272: igb1:que}
  12 root     -68    -     0K   344K WAIT    2 107.9H 12.16% {irq267: igb1:que}
  12 root     -68    -     0K   344K WAIT    0 102.5H 11.57% {irq265: igb1:que}
  12 root     -68    -     0K   344K WAIT    3  84.6H 10.89% {irq259: igb0:que}
  12 root     -68    -     0K   344K WAIT    5 108.2H  9.86% {irq270: igb1:que}
  12 root     -68    -     0K   344K WAIT    1 107.7H  8.79% {irq266: igb1:que}
  12 root     -68    -     0K   344K WAIT    5  83.0H  8.15% {irq261: igb0:que}
  12 root     -68    -     0K   344K WAIT    1  84.2H  7.86% {irq257: igb0:que}
  12 root     -68    -     0K   344K WAIT    4 108.5H  7.76% {irq269: igb1:que}
  12 root     -68    -     0K   344K WAIT    4  84.5H  7.67% {irq260: igb0:que}
  12 root     -68    -     0K   344K WAIT    2  82.5H  7.67% {irq258: igb0:que}
  12 root     -68    -     0K   344K CPU6    6 108.3H  7.18% {irq271: igb1:que}
 934 nobody    48    0  4500K  2420K select  4  93.9H  7.18% softflowd
  12 root     -68    -     0K   344K WAIT    7  82.9H  5.66% {irq263: igb0:que}
  12 root     -68    -     0K   344K WAIT    0  79.8H  5.66% {irq256: last pid: 26742;  load averages:  0.18,  0.20,  0.22                                                                                                                                                                up 53+00:15:47  12:40:44
135 processes: 10 running, 79 sleeping, 4 zombie, 42 waiting
CPU 0:  0.8% user,  0.0% nice,  0.4% system, 18.8% interrupt, 80.1% idle
CPU 1:  0.4% user,  0.0% nice,  0.8% system, 16.5% interrupt, 82.3% idle
CPU 2:  2.3% user,  0.0% nice,  0.4% system, 18.0% interrupt, 79.3% idle
CPU 3:  4.1% user,  0.0% nice,  0.0% system, 12.7% interrupt, 83.1% idle
CPU 4:  3.4% user,  0.0% nice,  0.4% system, 13.9% interrupt, 82.3% idle
CPU 5:  0.8% user,  0.0% nice,  0.0% system, 14.7% interrupt, 84.6% idle
CPU 6:  1.9% user,  0.0% nice,  0.0% system, 12.7% interrupt, 85.4% idle
CPU 7:  1.1% user,  0.0% nice,  0.0% system, 16.2% interrupt, 82.7% idle
Mem: 706M Active, 851M Inact, 283M Wired, 58M Cache, 112M Buf, 56M Free
Swap: 3973M Total, 3973M Free

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root     171 ki31     0K    64K CPU3    3 1032.9 88.38% {idle: cpu3}
  11 root     171 ki31     0K    64K RUN     6 1037.3 87.79% {idle: cpu6}
  11 root     171 ki31     0K    64K CPU5    5 1039.9 87.60% {idle: cpu5}
  11 root     171 ki31     0K    64K CPU0    0 977.5H 86.57% {idle: cpu0}
  11 root     171 ki31     0K    64K CPU1    1 1037.4 83.40% {idle: cpu1}
  11 root     171 ki31     0K    64K CPU4    4 1027.0 81.40% {idle: cpu4}
  11 root     171 ki31     0K    64K CPU7    7 1046.1 80.47% {idle: cpu7}
  11 root     171 ki31     0K    64K RUN     2 1020.8 79.98% {idle: cpu2}
  12 root     -68    -     0K   344K WAIT    7 107.4H 12.99% {irq272: igb1:que}
  12 root     -68    -     0K   344K WAIT    2 107.9H 12.16% {irq267: igb1:que}
  12 root     -68    -     0K   344K WAIT    0 102.5H 11.57% {irq265: igb1:que}
  12 root     -68    -     0K   344K WAIT    3  84.6H 10.89% {irq259: igb0:que}
  12 root     -68    -     0K   344K WAIT    5 108.2H  9.86% {irq270: igb1:que}
  12 root     -68    -     0K   344K WAIT    1 107.7H  8.79% {irq266: igb1:que}
  12 root     -68    -     0K   344K WAIT    5  83.0H  8.15% {irq261: igb0:que}
  12 root     -68    -     0K   344K WAIT    1  84.2H  7.86% {irq257: igb0:que}
  12 root     -68    -     0K   344K WAIT    4 108.5H  7.76% {irq269: igb1:que}
  12 root     -68    -     0K   344K WAIT    4  84.5H  7.67% {irq260: igb0:que}
  12 root     -68    -     0K   344K WAIT    2  82.5H  7.67% {irq258: igb0:que}
  12 root     -68    -     0K   344K CPU6    6 108.3H  7.18% {irq271: igb1:que}
 934 nobody    48    0  4500K  2420K select  4  93.9H  7.18% softflowd
  12 root     -68    -     0K   344K WAIT    7  82.9H  5.66% {irq263: igb0:que}
  12 root     -68    -     0K   344K WAIT    0  79.8H  5.66% {irq256: igb0:que}
  12 root     -68    -     0K   344K WAIT    6  82.5H  5.08% {irq262: igb0:que}
  12 root     -68    -     0K   344K WAIT    3 109.7H  4.05% {irq268: igb1:que}
1427 root      45    0   185M   179M bpf     2  19.5H  1.66% bandwidthd
1428 root      45    0   250M   226M bpf     7  59.9H  1.07% bandwidthd
1426 root      45    0   170M   166M bpf     3 727:51  0.88% bandwidthd
1425 root      44    0   127M   123M bpf     3 661:45  0.59% bandwidthd
igb0:que}
  12 root     -68    -     0K   344K WAIT    6  82.5H  5.08% {irq262: igb0:que}
  12 root     -68    -     0K   344K WAIT    3 109.7H  4.05% {irq268: igb1:que}
1427 root      45    0   185M   179M bpf     2  19.5H  1.66% bandwidthd
1428 root      45    0   250M   226M bpf     7  59.9H  1.07% bandwidthd
1426 root      45    0   170M   166M bpf     3 727:51  0.88% bandwidthd
1425 root      44    0   127M   123M bpf     3 661:45  0.59% bandwidthd

 

Соответственно cacti говорит о 19% утилизации CPU, что если смотреть эмпирически действительно соответствует загрузке всех ядер на 19-20%

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ilya Evseev   

Ilya Evseev
Опубликовано · Жалоба

для таких задач, и на таком железе является ли такая загрузка нормальной?

Высоковата.

Как минимум, имеет смысл заменить softflowd на ng_netflow.

 

Нормально настроенный шлюз выглядит примерно так:

# netstat -W 1
           input        (Total)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
   106224     0     0   57272501     101760     0   55992862     0
    76591   476     0   54790096      74961     0   54698460     0
    80216     0     0   62090822      77742     0   60661962     0
    80224     0     0   62047957      78731     0   61725873     0

# sysctl hw.model
hw.model: Intel(R) Core(TM)2 Duo CPU     E7200  @ 2.53GHz

# top -aSHCP | grep -v ' 0.00% '
last pid: 15994;  load averages:  0.01,  0.05,  0.08  up 225+06:40:54    23:13:05
191 processes: 3 running, 166 sleeping, 22 waiting

Mem: 1436M Active, 126M Inact, 310M Wired, 55M Cache, 112M Buf, 66M Free
Swap: 2048M Total, 34M Used, 2014M Free, 1% Inuse

 PID USERNAME  PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
  11 root      171 ki31     0K    16K RUN     0 4774.7 94.38% {idle: cpu0}
  12 root      -68    -     0K   176K WAIT    1 1762.1 53.96% {irq259: bge0}
  11 root      171 ki31     0K    16K CPU1    1 3571.4 48.78% {idle: cpu1}
10802 root       45    0  1302M  1259M select  0 103.2H  1.81% /usr/local/sbin/snmpd -p /var/run/snmpd.pid
  12 root      -32    -     0K   176K WAIT    0  94.8H  1.51% {swi4: clock}
   0 root      -68    0     0K    72K -       0 367.6H  0.39% {dummynet}
5937 bind       44    0 37136K 29132K select  0  27.5H  0.20% /usr/local/sbin/unbound

Все vlan'ы разруливаются через встроенный BCM5721.

Клиентов в шейпере примерно 1.5к.

 

Есть ли практический смысл переходить на x64?

Нет, пока таблицы состояний для NAT умещаются в 4 гигабайта ОЗУ.

 

Есть ли на данный момент глубинная потребность на тему перфоманса, обновляться до 8.3 если текущая стабильность устраивает?

Нет.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

em0   

em0
Опубликовано (изменено) · Жалоба
load averages: 0.01, 0.05, 0.08

Это с NAT-ом? Оо

 

Нет, пока таблицы состояний для NAT умещаются в 4 гигабайта ОЗУ.

Насколько помню для x32 потолок вобще всей памяти доступной ядру - около 2 гиг, по дефолту что-то около 320 мег (vm.kmem_size_max: 335544320). Для x64 заявлено до 6Гиг доступных кернелспейсу. Все верно?

 

В связи с этим возникает вопрос - а как узнать сколько реально жрет NAT? ipfw nat show выдает категорически невнятную и абстрактную стату.

 

Как минимум, имеет смысл заменить softflowd на ng_netflow.

заметано.

 

Клиентов в шейпере примерно 1.5к.

Шейп по tablearg или отдельными пайпами? Есть какие-то наблюдения сколько в процентном соотношении прироста в скорости может дать шейпинг табличками и будет ли это отображаться на загрузке dummynet (который прибит к 0-му ядру и практически невидим в топе) или должна снизиться нагрузка порождаемая обработчиками прерываний?

 

Заранее благодарен за советы.

Просто мы сейчас находимся в поисках оптимальной политики шейпа и ната в плане гибкость/скорость а автор биллинга отнекивается, что "тюнинг серверов доступа это не его проблемы и все в наших руках".

Изменено пользователем em0

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

IMPERATOR   

IMPERATOR
Опубликовано · Жалоба

присоединяюсь к вопросу , из приведенного видно что основную нагрузку дают прерывания , как её снизить , что использовать. Потому что у нас при 80к pps севаку уже становится не очень хорошо

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ilya Evseev   

Ilya Evseev
Опубликовано · Жалоба

load averages: 0.01, 0.05, 0.08

 

Это с NAT-ом? Оо

Ядерный NAT не отображается в LA.

 

Шейп по tablearg или отдельными пайпами?

# ipfw list | grep pipe

00501 pipe tablearg ip from any to table(100) out

00502 pipe tablearg ip from table(101) to any out

 

будет ли это отображаться на загрузке dummynet (который прибит к 0-му ядру и практически невидим в топе) или должна снизиться нагрузка порождаемая обработчиками прерываний?

Если dummynet настроен правильно, вся нагрузка уходит в прерывания.

 

основную нагрузку дают прерывания , как её снизить , что использовать.

Нормальные сетевые карты, в первую очередь.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Azamat   

Azamat
Опубликовано · Жалоба

А что есть более нормальное, чем 576 (igb) - в качестве сетевых карт ?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

snark   

snark
Опубликовано · Жалоба

Тащемта если это не нагрузка снятая с .1.3.6.1.2.1.25.3.3.1.2.768, то cacti + snmpd для фряхи рисуют нагрузку в попугаях.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

IMPERATOR   

IMPERATOR
Опубликовано · Жалоба

и все же непонятно что делать когда загрузка interrputs для 8 ядерного проца доходит до 80-90% при 60к ppc . Шейпер ng_car + IPFW

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

make.kernel   

make.kernel
Опубликовано · Жалоба

и все же непонятно что делать когда загрузка interrputs для 8 ядерного проца доходит до 80-90% при 60к ppc . Шейпер ng_car + IPFW

А он точно восьмиядерный или hyperthreading включен?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

IMPERATOR   

IMPERATOR
Опубликовано (изменено) · Жалоба

и все же непонятно что делать когда загрузка interrputs для 8 ядерного проца доходит до 80-90% при 60к ppc . Шейпер ng_car + IPFW

А он точно восьмиядерный или hyperthreading включен?

он точно 8 ядерный (2 проца ) , HT сейчас включен с ним все 16.

 

Вот такая картника вечером , это еще не пик нагрузки:

last pid: 76063; load averages: 0.62, 0.88, 0.88 up 12+05:31:30 21:17:34

185 processes: 24 running, 104 sleeping, 57 waiting

CPU 0: 0.0% user, 0.0% nice, 10.4% system, 54.4% interrupt, 35.1% idle

CPU 1: 0.0% user, 0.0% nice, 0.8% system, 52.3% interrupt, 46.9% idle

CPU 2: 0.0% user, 0.0% nice, 10.5% system, 41.5% interrupt, 48.1% idle

CPU 3: 0.0% user, 0.0% nice, 1.2% system, 43.4% interrupt, 55.4% idle

CPU 4: 0.0% user, 0.0% nice, 1.9% system, 47.7% interrupt, 50.4% idle

CPU 5: 0.0% user, 0.0% nice, 1.2% system, 45.3% interrupt, 53.5% idle

CPU 6: 0.0% user, 0.0% nice, 3.5% system, 46.9% interrupt, 49.6% idle

CPU 7: 0.0% user, 0.0% nice, 0.0% system, 53.5% interrupt, 46.5% idle

CPU 8: 0.0% user, 0.0% nice, 4.7% system, 61.6% interrupt, 33.7% idle

CPU 9: 0.0% user, 0.0% nice, 1.5% system, 51.7% interrupt, 46.7% idle

CPU 10: 0.0% user, 0.0% nice, 2.7% system, 53.1% interrupt, 44.2% idle

CPU 11: 0.0% user, 0.0% nice, 0.8% system, 53.5% interrupt, 45.7% idle

CPU 12: 0.0% user, 0.0% nice, 1.2% system, 47.5% interrupt, 51.4% idle

CPU 13: 0.0% user, 0.0% nice, 0.0% system, 55.0% interrupt, 45.0% idle

CPU 14: 0.0% user, 0.0% nice, 23.3% system, 0.0% interrupt, 76.7% idle

CPU 15: 0.0% user, 0.0% nice, 29.8% system, 0.0% interrupt, 70.2% idle

Mem: 153M Active, 394M Inact, 805M Wired, 184K Cache, 622M Buf, 4565M Free

Swap: 4096M Total, 4096M Free

 

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND

11 root 171 ki31 0K 256K CPU15 15 251.7H 78.96% {idle: cpu15}

11 root 171 ki31 0K 256K CPU14 14 250.3H 78.66% {idle: cpu14}

11 root 171 ki31 0K 256K CPU3 3 214.3H 61.87% {idle: cpu3}

12 root -68 - 0K 1008K WAIT 9 87.9H 59.03% {irq282: igb3:que}

12 root -68 - 0K 1008K CPU8 8 91.3H 58.79% {irq281: igb3:que}

12 root -68 - 0K 1008K CPU0 0 79.6H 58.25% {irq272: igb2:que}

11 root 171 ki31 0K 256K CPU6 6 212.6H 55.32% {idle: cpu6}

12 root -68 - 0K 1008K WAIT 7 92.6H 54.93% {irq280: igb3:que}

12 root -68 - 0K 1008K WAIT 13 87.9H 54.79% {irq286: igb3:que}

11 root 171 ki31 0K 256K CPU5 5 213.2H 54.30% {idle: cpu5}

12 root -68 - 0K 1008K WAIT 10 85.9H 54.10% {irq283: igb3:que}

11 root 171 ki31 0K 256K RUN 4 211.7H 52.73% {idle: cpu4}

11 root 171 ki31 0K 256K CPU2 2 211.6H 51.76% {idle: cpu2}

11 root 171 ki31 0K 256K CPU12 12 202.6H 51.76% {idle: cpu12}

12 root -68 - 0K 1008K CPU1 1 81.3H 51.71% {irq273: igb2:que}

11 root 171 ki31 0K 256K CPU7 7 199.4H 50.88% {idle: cpu7}

12 root -68 - 0K 1008K WAIT 11 87.7H 50.78% {irq284: igb3:que}

11 root 171 ki31 0K 256K CPU13 13 203.8H 49.61% {idle: cpu13}

12 root -68 - 0K 1008K CPU2 2 75.0H 49.17% {irq274: igb2:que}

12 root -68 - 0K 1008K WAIT 12 87.0H 49.07% {irq285: igb3:que}

11 root 171 ki31 0K 256K RUN 1 207.7H 49.02% {idle: cpu1}

11 root 171 ki31 0K 256K RUN 11 203.2H 48.78% {idle: cpu11}

12 root -68 - 0K 1008K RUN 4 76.7H 48.00% {irq276: igb2:que}

11 root 171 ki31 0K 256K CPU10 10 202.3H 46.34% {idle: cpu10}

12 root -68 - 0K 1008K CPU5 5 78.1H 46.09% {irq277: igb2:que}

11 root 171 ki31 0K 256K CPU9 9 201.6H 44.97% {idle: cpu9}

12 root -68 - 0K 1008K WAIT 3 76.0H 44.92% {irq275: igb2:que}

Изменено пользователем IMPERATOR

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

murzik_one   

murzik_one
Опубликовано · Жалоба

Народ, порекомендуйте мать и сетевые, на тазик с freebsd под камень Core 2 Quad Q8400.

Задача - nat + bgp (ipfw nat + openbgpd).

 

В наличии есть уже работчая система, но выжать больше чем 40/30 kpps - 350/150 mbit не удается.

 

Или порекомендуйте что можно еще сделать из этого утиля, что-бы исправить ситуацию.

Сетевые - intel gigabit ct desktop adapter (EXPI 9301 CTBLK).

Камень - Core 2 Quad Q8400 2.66GHz

Мозги - 2x 2gb DDRII

 

зы. Сам знаю что проблема в сетевых, потому вопрос, на что их лучше поменять, так сказать с минимальным финансовым ущербом.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

roysbike   

roysbike
Опубликовано · Жалоба

Народ, порекомендуйте мать и сетевые, на тазик с freebsd под камень Core 2 Quad Q8400.

Задача - nat + bgp (ipfw nat + openbgpd).

 

В наличии есть уже работчая система, но выжать больше чем 40/30 kpps - 350/150 mbit не удается.

 

Или порекомендуйте что можно еще сделать из этого утиля, что-бы исправить ситуацию.

Сетевые - intel gigabit ct desktop adapter (EXPI 9301 CTBLK).

Камень - Core 2 Quad Q8400 2.66GHz

Мозги - 2x 2gb DDRII

 

зы. Сам знаю что проблема в сетевых, потому вопрос, на что их лучше поменять, так сказать с минимальным финансовым ущербом.

на Intel 82576 2-х портовая. цена около 5 К рублей

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

murzik_one   

murzik_one
Опубликовано · Жалоба

на Intel 82576 2-х портовая. цена около 5 К рублей

тогда второй вопрос, какую мать лучше взять, у меня мать не держит pci-e (x4) только (x1), под камень - Core 2 Quad Q8400 2.66GHz (LGA775)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

murzik_one   

murzik_one
Опубликовано · Жалоба

в х16 вставьте

Авторитетно заявляете что будет работать? =) В смысле имеется опыт такого тестирования?

 

По крайней мере x1 в x16 работает. Но будет ли x4 в слоте x16 работать именно как x4 ?

 

ЗЫ. Кстати всем премного благодарен за советы.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Alex/AT   

Alex/AT
Опубликовано · Жалоба
будет ли x4 в слоте x16 работать именно как x4

Будет.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба

У меня, лично, интеловая десктопная х1 в х16 не заработала, но это скорее кривость матери.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

murzik_one   

murzik_one
Опубликовано · Жалоба

рисуются графики по загрузке каждого абонента при помощи bandwidthd

 

Вот это у вас CPU нещадно жрет при высоком трафике.

Попробуйте в ЧНН остановить его и посмотреть загрузку.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ilya Evseev   

Ilya Evseev
Опубликовано · Жалоба

выжать больше чем 40/30 kpps - 350/150 mbit не удается.

Сетевые - intel gigabit ct desktop adapter (EXPI 9301 CTBLK).

Сам знаю что проблема в сетевых

Проблема не в сетевых.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

murzik_one   

murzik_one
Опубликовано · Жалоба

Сам знаю что проблема в сетевых

Проблема не в сетевых.

Если не сложно поделись своей гипотезой.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ilya Evseev   

Ilya Evseev
Опубликовано · Жалоба

Если не сложно поделись своей гипотезой.

/boot/loader.conf

/etc/rc.conf

/etc/rc.local

/etc/sysctl.conf

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

murzik_one   

murzik_one
Опубликовано (изменено) · Жалоба

/boot/loader.conf

/etc/rc.conf

/etc/rc.local

/etc/sysctl.conf

 

Ну как то так:

 

cat /boot/loader.conf

net.isr.maxthreads=4
net.route.netisr_maxqlen=4096
net.isr.defaultqlimit=4096
net.inet.ip.intr_queue_maxlen=4096
hw.bge.allow_asf=1
net.inet.tcp.tcbhashsize=4096
hw.em.rxd=4096
hw.em.txd=4096

 

cat /etc/rc.conf

hostname="bgp.xxx.xxx"
gateway_enable="YES"
inetd_enable="NO"
linux_enable="YES"
sshd_enable="YES"
snmpd_enable="YES"
openbgpd_enable="YES"
openbgpd_flags="-v"
named_enable="YES"
apache22_enable="YES"
ntpd_enable="YES"
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"
zabbix_agentd_enable="YES"
ifconfig_em0="inet xxx.xxx.xxx.1  netmask 255.255.255.252"
ifconfig_em0_alias0="inet xxx.xxx.xxx.100 netmask 255.255.255.252"
ifconfig_em0_alias1="inet xxx.xxx.xxx.xxx netmask 255.255.255.252"
defaultrouter="xxx.xxx.xxx.214"
ifconfig_em1="up"
cloned_interfaces="vlan90 vlan91 vlan507 vlan92"
ifconfig_vlan90="inet xxx.xxx.xxx.253 netmask 255.255.255.252 vlan 90 vlandev em1"
ifconfig_vlan90_alias0="inet xxx.xxx.xxx.213 netmask 255.255.255.252"
ifconfig_vlan507="inet xxx.xxx.xxx.166 netmask 255.255.255.252 vlan 507 vlandev em1"
ifconfig_vlan92="inet xxx.xxx.xxx.102 netmask 255.255.255.252 vlan 92 vlandev em1"
ifconfig_vlan91="inet xxx.xxx.xxx.114 netmask 255.255.255.252 vlan 91 vlandev em1"

 

cat /etc/rc.local

cat: /etc/rc.local: No such file or directory

 

cat /etc/sysctl.conf

net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1
net.inet.ip.redirect=0
net.inet.ip.fw.one_pass=0
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
hw.pci.enable_msix=0
hw.pci.enable_msi=0
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.isr.direct=1
net.isr.direct_force=0
net.inet.tcp.msl=7500
net.inet.icmp.icmplim=100 
kern.ipc.somaxconn=1024 
kern.ipc.maxsockets=204800 
net.inet.tcp.tcbhashsize=4096
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
net.inet.udp.recvspace=65536

Изменено пользователем murzik_one

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

murzik_one   

murzik_one
Опубликовано · Жалоба

в чем может быть косяк, а то как вечер, у меня рутер захлебывается.

 

при чем нагрузка на камень не меняется, но появляются дикие задержки и ппс и трафик падает.

клиенты начинают не то что бы пищать, а выть.

канал у меня динамический, то есть порт открыт на гигабит, но режу скорость сам на L3.

 

могу пару-тройку графиков кинуть, в момент проблемы.

кстати в момент лагов подпрыгивает нагрузка на swi1: netisr 1

 

(пока лагов нет) сейчас картина такая: 

last pid: 15516; load averages: 0.20, 0.06, 0.01 up 0+23:14:38 17:46:16
130 processes: 7 running, 95 sleeping, 28 waiting
CPU 0: 0.0% user, 0.0% nice, 0.4% system, 61.3% interrupt, 38.3% idle
CPU 1: 0.0% user, 0.0% nice, 0.8% system, 54.1% interrupt, 45.1% idle
CPU 2: 0.0% user, 0.0% nice, 0.4% system, 32.7% interrupt, 66.9% idle
CPU 3: 0.0% user, 0.0% nice, 1.1% system, 20.7% interrupt, 78.2% idle
Mem: 107M Active, 463M Inact, 694M Wired, 252K Cache, 418M Buf, 2684M Free
Swap: 4096M Total, 4096M Free 

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  12 root     -44    -     0K   480K CPU1    1 572:17 84.38% {swi1: netisr 1}
  11 root     171 ki31     0K    64K RUN     3  20.8H 78.08% {idle: cpu3}
  11 root     171 ki31     0K    64K CPU2    2  20.0H 74.66% {idle: cpu2}
  12 root     -68    -     0K   480K CPU0    0 343:41 49.17% {irq256: em0:rx 0}
  11 root     171 ki31     0K    64K RUN     0 969:51 46.09% {idle: cpu0}
  11 root     171 ki31     0K    64K RUN     1 989:32 43.95% {idle: cpu1}
  12 root     -68    -     0K   480K WAIT    3 103:03 12.35% {irq259: em1:rx 0}
  12 root     -44    -     0K   480K WAIT    2  11:49  6.54% {swi1: netisr 2}
  12 root     -68    -     0K   480K WAIT    1  19:39  2.15% {irq257: em0:tx 0}
  12 root     -68    -     0K   480K WAIT    2  17:27  2.10% {irq260: em1:tx 0}
   0 root     -68    0     0K   208K -       0   9:16  0.78% {em0 txq}
   0 root     -68    0     0K   208K -       2   7:16  0.29% {em1 txq}
  12 root     -32    -     0K   480K WAIT    1   9:24  0.20% {swi4: clock}
  12 root     -44    -     0K   480K WAIT    2  37:47  0.00% {swi1: netisr 3}
   0 root     -68    0     0K   208K -       3   6:17  0.00% {dummynet}
1576 root      44    0 25292K  6844K select  1   2:30  0.00% snmpd
  13 root      44    -     0K    16K -       2   2:22  0.00% yarrow
   0 root     -68    0     0K   208K -       1   1:33  0.00% {em0 rxq}
  15 root      44    -     0K    16K syncer  2   1:28  0.00% syncer
1702 _bgpd     44    0   148M   144M select  3   1:18  0.00% bgpd
  12 root     -24    -     0K   480K WAIT    3   0:59  0.00% {swi6: task queue}
   0 root      76    0     0K   208K sched   2   0:57  0.00% {swapper}
1341 root      44    0  7048K  1572K select  0   0:33  0.00% syslogd
2341 zabbix    49    5 11924K  2392K accept  3   0:25  0.00% zabbix_agentd
2342 zabbix    49    5 11924K  2392K select  3   0:24  0.00% zabbix_agentd
2340 zabbix     4    5 11924K  2392K select  1   0:23  0.00% zabbix_agentd
1703 _bgpd     44    0  5828K  2192K select  2   0:23  0.00% bgpd
1696 root      44    0 32452K 29308K select  2   0:20  0.00% bgpd
3156 root      44    0 39084K 30960K ucond   2   0:09  0.00% {named}
3156 root      44    0 39084K 30960K ucond   1   0:09  0.00% {named}
3156 root      44    0 39084K 30960K ucond   3   0:09  0.00% {named}
3156 root      44    0 39084K 30960K ucond   1   0:09  0.00% {named}
3156 root      44    0 39084K 30960K kqread  3   0:08  0.00% {named}
2339 zabbix    49    5 11924K  2148K nanslp  3   0:05  0.00% zabbix_agentd
   4 root      -8    -     0K    16K -       2   0:04  0.00% g_down
   2 root      -8    -     0K    16K -       1   0:04  0.00% g_event
  12 root     -32    -     0K   480K WAIT    3   0:03  0.00% {swi4: clock}
   3 root      -8    -     0K    16K -       3   0:03  0.00% g_up
3181 root      44    0 85636K 11316K select  0   0:03  0.00% httpd
2343 zabbix    49    5 11924K  2076K nanslp  0   0:03  0.00% zabbix_agentd
  12 root     -32    -     0K   480K WAIT    1   0:03  0.00% {swi4: clock}
  12 root     -32    -     0K   480K WAIT    2   0:02  0.00% {swi4: clock}
  12 root     -64    -     0K   480K WAIT    3   0:02  0.00% {irq14: ata0}
1800 root      44    0 26260K  4572K select  2   0:01  0.00% sshd
   0 root     -68    0     0K   208K -       2   0:01  0.00% {em1 rxq}
  12 root     -44    -     0K   480K WAIT    2   0:01  0.00% {swi1: netisr 0}
  17 root     -16    -     0K    16K sdflus  1   0:00  0.00% softdepflush
  16 root     -16    -     0K    16K vlruwt  1   0:00  0.00% vnlru
14320 www       44    0 87684K 13364K select  3   0:00  0.00% httpd
  14 root     -16    -     0K    16K psleep  0   0:00  0.00% bufdaemon
3156 root      44    0 39084K 30960K ucond   1   0:00  0.00% {named}
13334 www       45    0 87684K 13356K accept  3   0:00  0.00% httpd

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Подписчики 0
Перейти к списку тем Программное обеспечение, биллинг и *unix системы