Mechanic Опубликовано 1 марта, 2009 · Жалоба уже много раз поднималась похожая тема, но пока не получил вариантов решения проблемы: сущ несколько машин, выполняющих терминирование абонентов по vpn, нат используется ng_nat, на всех машинах , после 600 тунелей наблюдаютя потери вход трафика: vpn3# ifconfig | grep ng | wc -l 722 vpn3# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 20214 1006 9027446 21268 0 9221616 0 19930 980 8672893 20840 0 8765516 0 20113 735 9042887 20713 0 8858830 0 20915 845 9607522 21633 0 9585258 0 20877 663 9972427 21614 0 9911107 0 19856 984 8749606 20934 0 9024679 0 19576 1197 8368530 20683 0 8553453 0 20013 542 9238972 20660 0 9089945 0 20002 953 8775838 20829 0 8833445 0 20002 0 8717107 20924 0 8786714 0 19797 842 8842725 20773 0 9028968 0 20209 903 9100553 21043 0 9080303 0 19986 898 9084412 20857 0 8964788 0 19825 775 8926393 20815 0 9097883 0 19648 1054 8465060 20441 0 8461177 0 4294927685 790 3562759 4294914572 0 4222583806 0 19924 770 9002781 20897 0 9073607 0 20194 1043 9100182 21039 0 9192298 0 19669 837 8875193 20547 0 8906856 0 19821 976 8555308 20733 0 8657379 0 vpn1# ifconfig | grep ng | wc -l 666 vpn1# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 21483 337 11756268 22434 0 11732063 0 21196 636 11336747 22214 0 11528124 0 21426 580 11679202 22402 0 11639606 0 20827 438 11207562 21530 0 11128154 0 20656 538 11004439 21632 0 11028521 0 20844 547 11324824 22107 0 11594683 0 21468 435 11807160 22434 0 11783512 0 21425 576 11758787 22246 0 11661420 0 В связи с чем может быть такое ??? чуть позже запостю другую картинку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mechanic Опубликовано 1 марта, 2009 · Жалоба вот картинка после уменьшения кол-ва абонентов: vpn1# ifconfig | grep ng | wc -l 522 vpn1# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 24172 0 15546694 25174 0 15373595 0 23501 0 14748636 24656 0 14932160 0 24105 0 15024268 25024 0 14940758 0 23878 0 14850057 24924 0 14773565 0 20303 0 14465678 22762 0 13874206 0 23485 0 14708851 24638 0 14861361 0 24181 104 15044501 25071 0 14972253 0 23741 0 14781958 25007 0 14978367 0 23300 150 14315498 24473 0 14388325 0 24001 112 14817206 25151 0 14910421 0 23239 0 14643093 24413 0 14678458 0 23869 0 14849961 25053 0 14898190 0 22664 123 14023864 23748 0 14109723 0 24578 27 15350537 25420 0 15150493 0 23337 0 14581826 24529 0 14639862 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 1 марта, 2009 · Жалоба меняйте прокладку Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mechanic Опубликовано 2 марта, 2009 · Жалоба Ув. jab . если вам нечего посоветовать или Вы просто не хотите это делать, зачем тратите свои силы на нажатие кнопок ? Есть ли другие дополнения по вопросу ?! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexandr Ovcharenko Опубликовано 4 марта, 2009 · Жалоба Машинка не вытягивает pps. :) это все рано или поздно проходят. Юзайте карты Интел (em), поставьте FreeBSD >= 7.0 и отключите поллинг. И будет все нормально. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
make.kernel Опубликовано 4 марта, 2009 · Жалоба Юзайте карты Интел (em), поставьте FreeBSD >= 7.0 и отключите поллинг. И будет все нормально.em0@pci0:1:0:0: class=0x020000 card=0x115e8086 chip=0x105e8086 rev=0x06 hdr=0x00 vendor = 'Intel Corporation' device = 'PRO/1000 PT' class = network subclass = ethernet em1@pci0:1:0:1: class=0x020000 card=0x115e8086 chip=0x105e8086 rev=0x06 hdr=0x00 vendor = 'Intel Corporation' device = 'PRO/1000 PT' class = network subclass = ethernet Это двухголовая pci-express x4, драйвер стандартный, яндекса пробовал роняет машину, полинга нет, hw.em.rxd/txd = 4096 в loader.conf ОС 7.1-RELEASE FreeBSD 7.1-RELEASE #14 На em0 - uplink, на em1 крутится 2 десятка вланов, на которых слушает mpd5, isc-dhcp, named (кеширует) Фаервол ipfw спартанский - десяток правил, шейпер ng_car, ната нет. /0 /1 /2 /3 /4 /5 /6 /7 /8 /9 /10 Load Average || /0% /10 /20 /30 /40 /50 /60 /70 /80 /90 /100 root idle: cpu2 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root idle: cpu1 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root idle: cpu0 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root idle: cpu3 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root em0 taskq XXXXXXXXXXX root em1 taskq XXXXXXXX root swi1: net XX bind named X # ifconfig | grep -c POINT 467 Вопрос собственно немного не в тему, потому как рррое используется, но, почему em0 грузит процессор больше? В час Х на 60 кппс чуть больше 500 мбит, 1800 тунелей, em0 taskq выжирает ядро процессора и начинает терять пакеты, em1 стоит в 60%. При этом em0 просто сетевой интерфейс, на em1 пачка вланов и нетграф с рррое, есть ощущение, что должно быть наоборот. ЧЯДНТ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
IvanI Опубликовано 4 марта, 2009 · Жалоба то make.kernel top -SP то Mechanic http://forum.nag.ru/forum/index.php?showto...st&p=382621 я так думаю дело в фаерволе Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
make.kernel Опубликовано 4 марта, 2009 (изменено) · Жалоба top -SP last pid: 28018; load averages: 0.40, 0.45, 0.44 up 5+02:46:38 18:35:51 266 processes: 5 running, 248 sleeping, 13 waiting CPU 0: 3.8% user, 0.0% nice, 18.8% system, 3.0% interrupt, 74.4% idle CPU 1: 2.3% user, 0.0% nice, 3.8% system, 1.5% interrupt, 92.5% idle CPU 2: 1.1% user, 0.0% nice, 1.5% system, 0.0% interrupt, 97.4% idle CPU 3: 0.4% user, 0.0% nice, 24.4% system, 0.4% interrupt, 74.8% idle Mem: 741M Active, 934M Inact, 225M Wired, 90M Cache, 112M Buf, 11M Free Swap: 2048M Total, 108K Used, 2048M Free PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root 1 171 ki31 0K 8K CPU2 2 119.0H 95.75% idle: cpu2 13 root 1 171 ki31 0K 8K RUN 1 115.6H 91.60% idle: cpu1 11 root 1 171 ki31 0K 8K CPU3 3 93.1H 73.29% idle: cpu3 14 root 1 171 ki31 0K 8K CPU0 0 95.5H 71.88% idle: cpu0 23 root 1 -68 - 0K 8K - 3 28.7H 23.19% em0 taskq 24 root 1 -68 - 0K 8K - 0 18.7H 18.21% em1 taskq 15 root 1 -44 - 0K 8K WAIT 0 442:35 5.57% swi1: net 2919 bind 7 96 0 484M 401M select 2 132:54 1.17% named 20902 root 2 4 0 98336K 24020K select 1 0:00 0.49% mpd5 16 root 1 -32 - 0K 8K WAIT 0 26:06 0.00% swi4: clock sio 18 root 1 96 - 0K 8K - 1 15:51 0.00% yarrow 2449 root 1 96 0 3184K 1056K select 0 10:20 0.00% syslogd 36 root 1 20 - 0K 8K syncer 1 6:57 0.00% syncer 7777 dhcpd 1 96 0 7224K 6308K select 1 2:51 0.00% dhcpd 26 root 1 -64 - 0K 8K WAIT 2 2:09 0.00% irq19: atapci1+ 3 root 1 -8 - 0K 8K - 0 2:08 0.00% g_up 4 root 1 -8 - 0K 8K - 0 1:34 0.00% g_down 39 root 1 -16 - 0K 8K - 1 0:48 0.00% schedcpu 40 root 1 -8 - 0K 8K m:w1 1 0:44 0.00% g_mirror gm0s1 2 root 1 -8 - 0K 8K - 1 0:23 0.00% g_event 86149 www 1 20 0 29912K 19860K lockf 0 0:17 0.00% httpd 3008 zabbix 1 8 5 3820K 1236K nanslp 1 0:14 0.00% zabbix_agentd 3013 root 1 96 0 3560K 2932K select 1 0:12 0.00% zebra 87157 www 1 20 0 28888K 18880K lockf 2 0:12 0.00% httpd 3276 root 1 96 0 22744K 11280K select 1 0:09 0.00% httpd 3009 zabbix 1 101 5 3820K 1216K select 2 0:07 0.00% zabbix_agentd 3010 zabbix 1 4 5 3820K 1216K accept 1 0:07 0.00% zabbix_agentd 3012 zabbix 1 4 5 3820K 1216K accept 0 0:07 0.00% zabbix_agentd 3011 zabbix 1 4 5 3820K 1216K accept 0 0:07 0.00% zabbix_agentd 96515 www 1 20 0 27864K 17076K lockf 1 0:05 0.00% httpd 38 root 1 -16 - 0K 8K sdflus 1 0:05 0.00% softdepflush 2388 root 1 96 0 1888K 420K select 2 0:05 0.00% devd 25679 www 1 20 0 26840K 16836K lockf 1 0:04 0.00% httpd 3222 root 1 4 0 5624K 2288K kqread 1 0:04 0.00% master 3288 root 1 4 0 5752K 2616K select 0 0:04 0.00% sshd ifconfig | grep -c POINT 585 input (em0) output packets errs bytes packets errs bytes colls 22618 0 11894704 22138 0 9088530 0 20581 0 11667094 20242 0 9187535 0 21865 0 11653643 21375 0 8815096 0 20313 0 11331542 20102 0 9300125 0 21952 0 11871998 21547 0 8860872 0 Пока решил проблему воткнув второй брас, просто обидно, как почитаешь гуру 500 кппс и гигабит трафика выжимают, я что ни пробовал сдыхает на 60 кппс 500 мбит. А, да, нагрузка боевая, не стенд, пакеты у юзеров в основном безлимиты от мегабита до 5. Изменено 4 марта, 2009 пользователем make.kernel Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
IvanI Опубликовано 4 марта, 2009 · Жалоба top -SP в момент потерь, могу предположить что тоже фаервол net.inet.ip.fw.dyn_max: 65000 net.inet.ip.fw.dyn_count: 6445 по умолчанию net.inet.ip.fw.dyn_max: 4096 или нат, у меня 30 нод NG_NAT Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
make.kernel Опубликовано 4 марта, 2009 · Жалоба top -SP в момент потерь, могу предположить что тоже фаерволipfw flush ситуацию не меняет, по крайней мере это не заметно. Попробую ядро без него вообще. Потери показать тяжело, зарэжут, савсэм мертвый буду. А, ната нет вообще, у всех паблик ИП. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
IvanI Опубликовано 4 марта, 2009 · Жалоба А как ng_nat без ipfw прикручен? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mikevlz Опубликовано 5 марта, 2009 · Жалоба ng_nat можно на интерфейс повесить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mechanic Опубликовано 5 марта, 2009 · Жалоба Машинка не вытягивает pps. :) это все рано или поздно проходят.Юзайте карты Интел (em), поставьте FreeBSD >= 7.0 и отключите поллинг. И будет все нормально. ерунда , что ппс не вытягивает на одной машине 6.3 , а на другой 7.0 поллинг есть, карты интел em em0 net поднимается до 50-60%, что похоже на некорректную работу ipfw, но правила ipfw я вроде оптимизировал по мах, только шейпер dummynet на скорость и заворот в ng_nat шейпер режет по 14 таблицам , по 2 на каждую скорость (вход и выход) 128,256,512,1М,2М,4М,8М. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dm1try Опубликовано 5 марта, 2009 · Жалоба Без конфигурации железа говрить нет смысла. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mechanic Опубликовано 5 марта, 2009 · Жалоба 1 FreeBSD 6.3-RELEASE-p5 #2: Tue Oct 21 20:09:55 EEST 2008 root@inet:/usr/obj/usr/src/sys/smp Timecounter "i8254" frequency 1193182 Hz quality 0 CPU: Intel® Core2 Duo CPU E6750 @ 2.66GHz (2667.96-MHz 686-class CPU) Origin = "GenuineIntel" Id = 0x6fb Stepping = 11 Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLU SH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE> Features2=0xe3fd<SSE3,RSVD2,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM> AMD Features=0x20100000<NX,LM> AMD Features2=0x1<LAHF> Cores per package: 2 real memory = 1042784256 (994 MB) avail memory = 1008746496 (962 MB) ACPI APIC Table: <INTEL DQ3510J > FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs cpu0 (BSP): APIC ID: 0 cpu1 (AP): APIC ID: 1 2 FreeBSD 7.0-RELEASE-p5 #0: Wed Dec 3 23:19:36 UTC 2008 root@vpn3:/usr/obj/usr/src/sys/smp-vpn3 module_register: module g_label already exists! Module g_label failed to register: 17 Timecounter "i8254" frequency 1193182 Hz quality 0 CPU: Intel® Core2 Quad CPU Q6600 @ 2.40GHz (2397.57-MHz 686-class CPU) Origin = "GenuineIntel" Id = 0x6fb Stepping = 11 Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLU SH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE> Features2=0xe3bd<SSE3,RSVD2,MON,DS_CPL,VMX,EST,TM2,SSSE3,CX16,xTPR,PDCM> AMD Features=0x20100000<NX,LM> AMD Features2=0x1<LAHF> Cores per package: 4 real memory = 2099748864 (2002 MB) avail memory = 2048167936 (1953 MB) ACPI APIC Table: <INTEL DQ3510J > FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs cpu0 (BSP): APIC ID: 0 cpu1 (AP): APIC ID: 1 cpu2 (AP): APIC ID: 2 cpu3 (AP): APIC ID: 3 ioapic0: Changing APIC ID to 2 ioapic0 <Version 2.0> irqs 0-23 on motherboard kbd1 at kbdmux0 hptrr: HPT RocketRAID controller driver v1.1 (Dec 3 2008 23:19:19) acpi0: <INTEL DQ3510J> on motherboard acpi0: [iTHREAD] acpi0: Power Button (fixed) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dm1try Опубликовано 6 марта, 2009 · Жалоба Больше интересны сетевые карты/их настройки/количество правил в ipfw и сами правила. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...