[Mechanic]

уже много раз поднималась похожая тема, но пока не получил вариантов решения проблемы:

сущ несколько машин, выполняющих терминирование абонентов по vpn, нат используется ng_nat, на всех машинах , после 600 тунелей наблюдаютя потери вход трафика:

vpn3# ifconfig | grep ng | wc -l
     722

 

vpn3# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
     20214  1006    9027446      21268     0    9221616     0
     19930   980    8672893      20840     0    8765516     0
     20113   735    9042887      20713     0    8858830     0
     20915   845    9607522      21633     0    9585258     0
     20877   663    9972427      21614     0    9911107     0
     19856   984    8749606      20934     0    9024679     0
     19576  1197    8368530      20683     0    8553453     0
     20013   542    9238972      20660     0    9089945     0
     20002   953    8775838      20829     0    8833445     0
     20002     0    8717107      20924     0    8786714     0
     19797   842    8842725      20773     0    9028968     0
     20209   903    9100553      21043     0    9080303     0
     19986   898    9084412      20857     0    8964788     0
     19825   775    8926393      20815     0    9097883     0
     19648  1054    8465060      20441     0    8461177     0
4294927685   790    3562759 4294914572     0 4222583806     0
     19924   770    9002781      20897     0    9073607     0
     20194  1043    9100182      21039     0    9192298     0
     19669   837    8875193      20547     0    8906856     0
     19821   976    8555308      20733     0    8657379     0

 

vpn1# ifconfig | grep ng | wc -l
     666

 

vpn1# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
     21483   337   11756268      22434     0   11732063     0
     21196   636   11336747      22214     0   11528124     0
     21426   580   11679202      22402     0   11639606     0
     20827   438   11207562      21530     0   11128154     0
     20656   538   11004439      21632     0   11028521     0
     20844   547   11324824      22107     0   11594683     0
     21468   435   11807160      22434     0   11783512     0
     21425   576   11758787      22246     0   11661420     0

 

В связи с чем может быть такое ???

 

чуть позже запостю другую картинку.

[Mechanic]

вот картинка после уменьшения кол-ва абонентов:

vpn1# ifconfig | grep ng | wc -l
     522
vpn1# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
     24172     0   15546694      25174     0   15373595     0
     23501     0   14748636      24656     0   14932160     0
     24105     0   15024268      25024     0   14940758     0
     23878     0   14850057      24924     0   14773565     0
     20303     0   14465678      22762     0   13874206     0
     23485     0   14708851      24638     0   14861361     0
     24181   104   15044501      25071     0   14972253     0
     23741     0   14781958      25007     0   14978367     0
     23300   150   14315498      24473     0   14388325     0
     24001   112   14817206      25151     0   14910421     0
     23239     0   14643093      24413     0   14678458     0
     23869     0   14849961      25053     0   14898190     0
     22664   123   14023864      23748     0   14109723     0
     24578    27   15350537      25420     0   15150493     0
     23337     0   14581826      24529     0   14639862     0

[jab]

меняйте прокладку

[Mechanic]

Ув. jab . если вам нечего посоветовать или Вы просто не хотите это делать, зачем тратите свои силы на нажатие кнопок ?

 

Есть ли другие дополнения по вопросу ?!

[Alexandr Ovcharenko]

Машинка не вытягивает pps. :) это все рано или поздно проходят.

Юзайте карты Интел (em), поставьте FreeBSD >= 7.0 и отключите поллинг. И будет все нормально.

[make.kernel]

Юзайте карты Интел (em), поставьте FreeBSD >= 7.0 и отключите поллинг. И будет все нормально.

em0@pci0:1:0:0: class=0x020000 card=0x115e8086 chip=0x105e8086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = 'PRO/1000 PT'

class = network

subclass = ethernet

em1@pci0:1:0:1: class=0x020000 card=0x115e8086 chip=0x105e8086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = 'PRO/1000 PT'

class = network

subclass = ethernet

 

Это двухголовая pci-express x4, драйвер стандартный, яндекса пробовал роняет машину, полинга нет, hw.em.rxd/txd = 4096 в loader.conf

 

ОС 7.1-RELEASE FreeBSD 7.1-RELEASE #14

 

На em0 - uplink, на em1 крутится 2 десятка вланов, на которых слушает mpd5, isc-dhcp, named (кеширует)

Фаервол ipfw спартанский - десяток правил, шейпер ng_car, ната нет.

 

                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   ||

                    /0%  /10  /20  /30  /40  /50  /60  /70  /80  /90  /100
root     idle: cpu2 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
root     idle: cpu1 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
root     idle: cpu0 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
root     idle: cpu3 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
root      em0 taskq XXXXXXXXXXX
root      em1 taskq XXXXXXXX
root      swi1: net XX
bind          named X

 

# ifconfig | grep -c POINT

467

 

Вопрос собственно немного не в тему, потому как рррое используется, но, почему em0 грузит процессор больше? В час Х на 60 кппс чуть больше 500 мбит, 1800 тунелей, em0 taskq выжирает ядро процессора и начинает терять пакеты, em1 стоит в 60%. При этом em0 просто сетевой интерфейс, на em1 пачка вланов и нетграф с рррое, есть ощущение, что должно быть наоборот. ЧЯДНТ?

[IvanI]

то make.kernel

top -SP

 

то Mechanic

http://forum.nag.ru/forum/index.php?showto...st&p=382621

я так думаю дело в фаерволе

[make.kernel]

top -SP

last pid: 28018;  load averages:  0.40,  0.45,  0.44                                                                                                                                   up 5+02:46:38  18:35:51
266 processes: 5 running, 248 sleeping, 13 waiting
CPU 0:  3.8% user,  0.0% nice, 18.8% system,  3.0% interrupt, 74.4% idle
CPU 1:  2.3% user,  0.0% nice,  3.8% system,  1.5% interrupt, 92.5% idle
CPU 2:  1.1% user,  0.0% nice,  1.5% system,  0.0% interrupt, 97.4% idle
CPU 3:  0.4% user,  0.0% nice, 24.4% system,  0.4% interrupt, 74.8% idle
Mem: 741M Active, 934M Inact, 225M Wired, 90M Cache, 112M Buf, 11M Free
Swap: 2048M Total, 108K Used, 2048M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   12 root          1 171 ki31     0K     8K CPU2   2 119.0H 95.75% idle: cpu2
   13 root          1 171 ki31     0K     8K RUN    1 115.6H 91.60% idle: cpu1
   11 root          1 171 ki31     0K     8K CPU3   3  93.1H 73.29% idle: cpu3
   14 root          1 171 ki31     0K     8K CPU0   0  95.5H 71.88% idle: cpu0
   23 root          1 -68    -     0K     8K -      3  28.7H 23.19% em0 taskq
   24 root          1 -68    -     0K     8K -      0  18.7H 18.21% em1 taskq
   15 root          1 -44    -     0K     8K WAIT   0 442:35  5.57% swi1: net
2919 bind          7  96    0   484M   401M select 2 132:54  1.17% named
20902 root          2   4    0 98336K 24020K select 1   0:00  0.49% mpd5
   16 root          1 -32    -     0K     8K WAIT   0  26:06  0.00% swi4: clock sio
   18 root          1  96    -     0K     8K -      1  15:51  0.00% yarrow
2449 root          1  96    0  3184K  1056K select 0  10:20  0.00% syslogd
   36 root          1  20    -     0K     8K syncer 1   6:57  0.00% syncer
7777 dhcpd         1  96    0  7224K  6308K select 1   2:51  0.00% dhcpd
   26 root          1 -64    -     0K     8K WAIT   2   2:09  0.00% irq19: atapci1+
    3 root          1  -8    -     0K     8K -      0   2:08  0.00% g_up
    4 root          1  -8    -     0K     8K -      0   1:34  0.00% g_down
   39 root          1 -16    -     0K     8K -      1   0:48  0.00% schedcpu
   40 root          1  -8    -     0K     8K m:w1   1   0:44  0.00% g_mirror gm0s1
    2 root          1  -8    -     0K     8K -      1   0:23  0.00% g_event
86149 www           1  20    0 29912K 19860K lockf  0   0:17  0.00% httpd
3008 zabbix        1   8    5  3820K  1236K nanslp 1   0:14  0.00% zabbix_agentd
3013 root          1  96    0  3560K  2932K select 1   0:12  0.00% zebra
87157 www           1  20    0 28888K 18880K lockf  2   0:12  0.00% httpd
3276 root          1  96    0 22744K 11280K select 1   0:09  0.00% httpd
3009 zabbix        1 101    5  3820K  1216K select 2   0:07  0.00% zabbix_agentd
3010 zabbix        1   4    5  3820K  1216K accept 1   0:07  0.00% zabbix_agentd
3012 zabbix        1   4    5  3820K  1216K accept 0   0:07  0.00% zabbix_agentd
3011 zabbix        1   4    5  3820K  1216K accept 0   0:07  0.00% zabbix_agentd
96515 www           1  20    0 27864K 17076K lockf  1   0:05  0.00% httpd
   38 root          1 -16    -     0K     8K sdflus 1   0:05  0.00% softdepflush
2388 root          1  96    0  1888K   420K select 2   0:05  0.00% devd
25679 www           1  20    0 26840K 16836K lockf  1   0:04  0.00% httpd
3222 root          1   4    0  5624K  2288K kqread 1   0:04  0.00% master
3288 root          1   4    0  5752K  2616K select 0   0:04  0.00% sshd

 

ifconfig | grep -c POINT

585

            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
     22618     0   11894704      22138     0    9088530     0
     20581     0   11667094      20242     0    9187535     0
     21865     0   11653643      21375     0    8815096     0
     20313     0   11331542      20102     0    9300125     0
     21952     0   11871998      21547     0    8860872     0

 

Пока решил проблему воткнув второй брас, просто обидно, как почитаешь гуру 500 кппс и гигабит трафика выжимают, я что ни пробовал сдыхает на 60 кппс 500 мбит.

 

 

А, да, нагрузка боевая, не стенд, пакеты у юзеров в основном безлимиты от мегабита до 5.

Изменено 4 марта, 2009 пользователем make.kernel

[IvanI]

top -SP в момент потерь, могу предположить что тоже фаервол

net.inet.ip.fw.dyn_max: 65000
net.inet.ip.fw.dyn_count: 6445
по умолчанию 
net.inet.ip.fw.dyn_max: 4096

или нат, у меня 30 нод NG_NAT

 

[make.kernel]

top -SP в момент потерь, могу предположить что тоже фаервол

ipfw flush ситуацию не меняет, по крайней мере это не заметно. Попробую ядро без него вообще. Потери показать тяжело, зарэжут, савсэм мертвый буду.

 

А, ната нет вообще, у всех паблик ИП.

[IvanI]

А как ng_nat без ipfw прикручен?

[mikevlz]

ng_nat можно на интерфейс повесить.

[Mechanic]

Машинка не вытягивает pps. :) это все рано или поздно проходят.

Юзайте карты Интел (em), поставьте FreeBSD >= 7.0 и отключите поллинг. И будет все нормально.

ерунда , что ппс не вытягивает

на одной машине 6.3 , а на другой 7.0

поллинг есть, карты интел em

em0 net поднимается до 50-60%, что похоже на некорректную работу ipfw, но правила ipfw я вроде оптимизировал по мах, только шейпер dummynet на скорость и заворот в ng_nat

шейпер режет по 14 таблицам , по 2 на каждую скорость (вход и выход) 128,256,512,1М,2М,4М,8М.

[Dm1try]

Без конфигурации железа говрить нет смысла.

[Mechanic]

1

FreeBSD 6.3-RELEASE-p5 #2: Tue Oct 21 20:09:55 EEST 2008

root@inet:/usr/obj/usr/src/sys/smp

Timecounter "i8254" frequency 1193182 Hz quality 0

CPU: Intel® Core™2 Duo CPU E6750 @ 2.66GHz (2667.96-MHz 686-class CPU)

Origin = "GenuineIntel" Id = 0x6fb Stepping = 11

Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLU

SH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>

Features2=0xe3fd<SSE3,RSVD2,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM>

AMD Features=0x20100000<NX,LM>

AMD Features2=0x1<LAHF>

Cores per package: 2

real memory = 1042784256 (994 MB)

avail memory = 1008746496 (962 MB)

ACPI APIC Table: <INTEL DQ3510J >

FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs

cpu0 (BSP): APIC ID: 0

cpu1 (AP): APIC ID: 1

2

FreeBSD 7.0-RELEASE-p5 #0: Wed Dec 3 23:19:36 UTC 2008

root@vpn3:/usr/obj/usr/src/sys/smp-vpn3

module_register: module g_label already exists!

Module g_label failed to register: 17

Timecounter "i8254" frequency 1193182 Hz quality 0

CPU: Intel® Core™2 Quad CPU Q6600 @ 2.40GHz (2397.57-MHz 686-class CPU)

Origin = "GenuineIntel" Id = 0x6fb Stepping = 11

Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLU

SH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>

Features2=0xe3bd<SSE3,RSVD2,MON,DS_CPL,VMX,EST,TM2,SSSE3,CX16,xTPR,PDCM>

AMD Features=0x20100000<NX,LM>

AMD Features2=0x1<LAHF>

Cores per package: 4

real memory = 2099748864 (2002 MB)

avail memory = 2048167936 (1953 MB)

ACPI APIC Table: <INTEL DQ3510J >

FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs

cpu0 (BSP): APIC ID: 0

cpu1 (AP): APIC ID: 1

cpu2 (AP): APIC ID: 2

cpu3 (AP): APIC ID: 3

ioapic0: Changing APIC ID to 2

ioapic0 <Version 2.0> irqs 0-23 on motherboard

kbd1 at kbdmux0

hptrr: HPT RocketRAID controller driver v1.1 (Dec 3 2008 23:19:19)

acpi0: <INTEL DQ3510J> on motherboard

acpi0: [iTHREAD]

acpi0: Power Button (fixed)

[Dm1try]

Больше интересны сетевые карты/их настройки/количество правил в ipfw и сами правила.