ApmeM

Под Gentoo не проходит make отсюда вопрос - возможно ли собрать lisg под гентоо? у кого-то получилось собрать под этой осью?

на момент аварии имел заметил еще один момент, в момент аварии

ip разные. отличается третий октет.

День добрый. В данный момент имеются два сервера доступа под управлении freebsd9. [root@nas-1 /]# uname -a FreeBSD nas-1.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012 root@nas-4:/usr/obj/usr/src/sys/NAS amd64 и [root@nas-4 /]# uname -a FreeBSD nas-4.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012 root@nas-4:/usr/obj/usr/src/sys/NAS amd64 на обоих серверах установлены сетевые интел, на сетевых два порта связаны через lacp и включены в агрегацию. еще два порта, также связаны в lacp, и включены в корень сети. Две недели оба сервера проработали нормально. после чего, с разницей в сутки, перестали отвечать на внешние разражители (ping, ssh и т.д.) включившись в сервер напрямую увидел, что сервера живу, но пинг на адреса соседних серверов не проходит. зато есть ответ от самого себя. вот интерфейсы одного из серверов [root@nas-4 /]# ifconfig lagg1 lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO> ether 90:e2:ba:08:90:00 inet 10.100.100.64 netmask 0xffffff00 broadcast 10.100.100.255 media: Ethernet autoselect status: active laggproto lacp laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> [root@nas-4 /]# ifconfig lagg0 lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO> ether 90:e2:ba:08:8f:a0 inet 10.100.110.64 netmask 0xffffff00 broadcast 10.100.110.255 media: Ethernet autoselect status: active laggproto lacp laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> Через несколько дней ожидаю подобного поведения. Собственно вопрос - на что обратить внимание при вознокновении проблемы? Игде можно поискать проблему до падения интерфейсов? в догонку некоторая информация [root@nas-1 /]# cat /boot/loader.conf hw.igb.rxd=2048 hw.igb.txd=2048 hw.igb.max_interrupt_rate=32000 net.graph.maxdata=65536 net.graph.maxalloc=65536 #net.link.ether.inet.log_arp_permanent_modify=0 #net.link.ether.inet.log_arp_movements=0 #net.link.ether.inet.log_arp_wrong_iface=0 #net.link.log_link_state_change=0 #net.link.ether.inet.max_age=60 kern.maxfiles=50000 net.inet.tcp.tcbhashsize=4096 ## DADV TUNING # for other protocols (IP & PPPoE?) net.isr.defaultqlimit=4096 # default outgoing interface queue length # used by lagg etc. net.link.ifqmaxlen=10240 root@nas-1 /]# cat /etc/sysctl.conf | grep -v '#' kern.ipc.somaxconn=1024 kern.ipc.maxsockbuf=83886080 kern.ipc.maxsockets=131072 net.inet.ip.intr_queue_maxlen=5000 net.inet.ip.intr_queue_drops=0 net.inet.ip.redirect=0 net.inet.ip.fw.one_pass=0 net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 net.inet.icmp.bmcastecho=1 net.inet.icmp.drop_redirect=1 net.inet.icmp.log_redirect=1 kern.ipc.nmbclusters=131072 net.link.ether.inet.log_arp_permanent_modify=0 net.link.ether.inet.log_arp_movements=0 net.link.ether.inet.log_arp_wrong_iface=0 net.link.log_link_state_change=0 net.inet.ip.dummynet.hash_size=512 dev.igb.0.rx_processing_limit=4096 dev.igb.1.rx_processing_limit=4096 dev.igb.2.rx_processing_limit=4096 dev.igb.3.rx_processing_limit=4096 [root@nas-1 /]# /etc/sysctl.conf и /boot/loader.conf одинаковы на обоих серверах.

на лету правила не меняются. шейпигн реализован через mpd-filter.

top -aSPIH в момент падения. last pid: 77768; load averages: 0.06, 0.10, 0.12 up 0+19:54:51 14:18:19 146 processes: 5 running, 108 sleeping, 33 waiting CPU 0: 0.8% user, 0.0% nice, 2.3% system, 30.6% interrupt, 66.3% idle CPU 1: 0.4% user, 0.0% nice, 3.1% system, 30.6% interrupt, 65.9% idle CPU 2: 0.0% user, 0.0% nice, 0.4% system, 8.1% interrupt, 91.5% idle CPU 3: 0.8% user, 0.0% nice, 1.9% system, 14.0% interrupt, 83.3% idle Mem: 78M Active, 225M Inact, 764M Wired, 3176K Cache, 413M Buf, 2826M Free Swap: 512M Total, 512M Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 12 root 171 ki31 0K 16K CPU2 2 17.4H 91.99% [idle: cpu2] 11 root 171 ki31 0K 16K RUN 3 17.5H 90.53% [idle: cpu3] 13 root 171 ki31 0K 16K CPU1 1 871:23 69.58% [idle: cpu1] 14 root 171 ki31 0K 16K CPU0 0 854:02 65.48% [idle: cpu0] 44 root -68 - 0K 16K WAIT 0 177:13 24.12% [irq266: igb2] 53 root -68 - 0K 16K WAIT 1 187:33 23.68% [irq271: igb3] 41 root -68 - 0K 16K WAIT 3 60:12 7.47% [irq264: igb1] 35 root -68 - 0K 16K WAIT 0 64:02 6.84% [irq261: igb1] 39 root -68 - 0K 16K WAIT 2 60:05 6.15% [irq263: igb1] 26 root -68 - 0K 16K WAIT 0 65:03 5.76% [irq256: igb0] 30 root -68 - 0K 16K WAIT 2 58:37 5.66% [irq258: igb0] 32 root -68 - 0K 16K WAIT 3 59:23 5.57% [irq259: igb0] 37 root -68 - 0K 16K WAIT 1 58:34 5.37% [irq262: igb1] 28 root -68 - 0K 16K WAIT 1 58:01 3.66% [irq257: igb0] 35575 root 45 0 96060K 60248K select 3 42:56 3.37% /usr/local/sbin/mpd5 -p /var/run/mpd5.pid -b 35575 root 48 0 96060K 60248K select 3 0:00 3.17% /usr/local/sbin/mpd5 -p /var/run/mpd5.pid -b 72 root 8 - 0K 16K pftm 3 7:47 0.44% [pfpurge] 54 root -68 - 0K 16K - 3 10:27 0.10% [igb3 que] 34534 root 44 0 18908K 6648K select 3 0:44 0.05% /usr/local/sbin/zebra -d в логах чисто. на экране имеем картинку Fatal trap 12:page fault while in kernel mode cpuid = 0; apic id = 00 fault virtual address = 0x8 fault code supervisor read data page not present instruction pointer = 0x8:0xffffffff8062a30 ac 0 stack pointer = 0x10:.... # не успел переписать frame pointer = 0x10 .... # не успел переписать code segment = base 0x0, limit 0xfffff, type 0x1b = DPL 0, pres 1, long 1 def32 0, gran 1 processor eflags = interupt enable, resume, iopl =0 current process = 44 (irq266: igb2) trap number = 12 panic page fault cpuid = 0 не может там быть петли (если я правильно понял про петлю...) все петли рубаются на уровне доступа.

на всякий случай настройки коммутаторов 3610-26G DGS3610#show running-config interface GigabitEthernet 0/19 Building configuration... Current configuration : 86 bytes ! interface GigabitEthernet 0/19 lacp port-priority 40000 port-group 4 mode active DGS3610#show running-config interface GigabitEthernet 0/20 Building configuration... Current configuration : 86 bytes ! interface GigabitEthernet 0/20 lacp port-priority 40000 port-group 4 mode active DGS3610#sho DGS3610#show lacp DGS3610#show lacp su DGS3610#show lacp summary System Id:40000, 0021.91c7.d6f7 Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs. A - Device is in active mode. P - Device is in passive mode. Aggregate port 4: Local information: LACP port Oper Port Port Port Flags State Priority Key Number State ---------------------------------------------------------------------- Gi0/19 SA bndl 40000 0x4 0x13 0x3d Gi0/20 SA bndl 40000 0x4 0x14 0x3d Partner information: LACP port Oper Port Port Port Flags Priority Dev ID Key Number State --------------------------------------------------------------------- Gi0/19 SA 32768 001b.2190.be16 0xf0 0x3 0x3d Gi0/20 SA 32768 001b.2190.be16 0xf0 0x4 0x3d DGS3610#show running-config interface Ag DGS3610#show running-config interface Aggregateport 4 Building configuration... Current configuration : 51 bytes ! interface AggregatePort 4 switchport mode trunk DGS3610# ES4626 ES4626#show running-config interface ethernet 1/15 ! Interface Ethernet1/15 description NAS64_LACP switchport mode trunk switchport trunk allowed vlan 1076 port-group 4 mode active lacp port-priority 40000 ! ES4626#show running-config interface ethernet 1/16 ! Interface Ethernet1/16 description NAS64_LACP switchport mode trunk switchport trunk allowed vlan 1076 port-group 4 mode active lacp port-priority 40000 ! ES4626#show running-config interface port-channel 4 ! Interface Port-Channel4 description nas4 load-balance dst-src-ip ! ES4626# ES4626#show port-group detail Flags: A -- LACP_Activity, B -- LACP_timeout, C -- Aggregation, D -- Synchronization, E -- Collecting, F -- Distributing, G -- Defaulted, H -- Expired Port-group number: 1, Mode: , Load-balance: dst-src-ip Port-group detail information: System ID: 0x9c40,00-12-cf-74-f9-21 Local: Port Status Priority Oper-Key Flag ----------------------------------------------------------- Remote: Actor Partner Priority Oper-Key SystemID Flag -------------------------------------------------------------------------------- Port-group number: 4, Mode: active, Load-balance: dst-src-ip Port-group detail information: System ID: 0x9c40,00-12-cf-74-f9-21 Local: Port Status Priority Oper-Key Flag ----------------------------------------------------------- Ethernet1/15 Selected 40000 4 {ACDEF} Ethernet1/16 Selected 40000 4 {ACDEF} Remote: Actor Partner Priority Oper-Key SystemID Flag -------------------------------------------------------------------------------- Ethernet1/15 2 32768 272 0x8000,00-1b-21-90-be-14 {ACDEF} Ethernet1/16 1 32768 272 0x8000,00-1b-21-90-be-14 {ACDEF} ES4626#show port-group ? <1-128> Port-group interface number <1-128> brief Brief information detail Detail information

есть предположение, что это может быть связано с LACP. на счет замены ядра - есть сомнения. дело в том, что эта карта ранее работала через bond0 с темже самым коммутатором. Правда под линуксом. а вот после перестановки в pppoe-сервер, начались проблемы. вот нашел сообшение от предыдущей смены в данный момент стоит задача определить где же он затыкается... и что ему не нравится.

на данный момент имеем 1038 pppoe сессий при netstat -i -I lagg0 -dh 1 input (lagg0) output packets errs bytes packets errs bytes colls drops 58K 0 34M 71K 0 78M 0 0 57K 0 34M 67K 0 72M 0 0 57K 0 34M 65K 0 70M 0 0 57K 0 36M 62K 0 65M 0 0 55K 0 33M 60K 0 63M 0 0 53K 0 33M 59K 0 62M 0 0 52K 0 32M 58K 0 61M 0 0 54K 0 33M 60K 0 64M 0 0 57K 0 37M 62K 0 65M 0 0 57K 0 37M 64K 0 67M 0 0 56K 0 35M 65K 0 70M 0 0 59K 0 36M 71K 0 78M 0 0 56K 0 35M 65K 0 69M 0 0 57K 0 36M 66K 0 71M 0 0 55K 0 33M 64K 0 68M 0 0 55K 0 33M 66K 0 71M 0 0 60K 0 36M 73K 0 80M 0 0 58K 0 35M 69K 0 76M 0 0 58K 0 36M 67K 0 72M 0 0 62K 0 37M 74K 0 81M 0 0 input (lagg0) output packets errs bytes packets errs bytes colls drops 68K 0 44M 71K 0 76M 0 0 59K 0 39M 68K 0 72M 0 0 имеем top -aSPIH last pid: 76840; load averages: 0.55, 0.29, 0.16 up 0+19:03:58 13:27:26 128 processes: 5 running, 90 sleeping, 33 waiting CPU 0: 0.0% user, 0.0% nice, 2.3% system, 32.2% interrupt, 65.5% idle CPU 1: 0.8% user, 0.0% nice, 1.2% system, 42.2% interrupt, 55.8% idle CPU 2: 0.8% user, 0.0% nice, 2.7% system, 10.1% interrupt, 86.4% idle CPU 3: 0.0% user, 0.0% nice, 1.9% system, 14.0% interrupt, 84.1% idle Mem: 68M Active, 223M Inact, 766M Wired, 3176K Cache, 413M Buf, 2836M Free Swap: 512M Total, 512M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 171 ki31 0K 16K CPU3 3 16.8H 89.99% [idle: cpu3] 12 root 171 ki31 0K 16K CPU2 2 16.7H 85.64% [idle: cpu2] 14 root 171 ki31 0K 16K RUN 0 823:32 65.97% [idle: cpu0] 13 root 171 ki31 0K 16K RUN 1 840:27 64.31% [idle: cpu1] 53 root -68 - 0K 16K WAIT 1 175:27 23.63% [irq271: igb3] 44 root -68 - 0K 16K WAIT 0 165:25 21.97% [irq266: igb2] 28 root -68 - 0K 16K WAIT 1 54:29 8.35% [irq257: igb0] 37 root -68 - 0K 16K WAIT 1 55:15 7.32% [irq262: igb1] 32 root -68 - 0K 16K WAIT 3 55:15 6.98% [irq259: igb0] 35 root -68 - 0K 16K WAIT 0 60:36 6.79% [irq261: igb1] 26 root -68 - 0K 16K WAIT 0 61:24 6.30% [irq256: igb0] 39 root -68 - 0K 16K WAIT 2 56:30 5.66% [irq263: igb1] 41 root -68 - 0K 16K WAIT 3 56:53 5.52% [irq264: igb1] 30 root -68 - 0K 16K WAIT 2 55:17 4.59% [irq258: igb0] 35575 root 46 0 96060K 60048K select 1 40:36 3.17% /usr/local/sbin/mpd5 -p /var/run/mpd5.pid -b 45 root -68 - 0K 16K - 1 10:19 0.39% [igb2 que] 54 root -68 - 0K 16K - 2 9:54 0.34% [igb3 que] 72 root 8 - 0K 16K pftm 2 7:18 0.15% [pfpurge]

День добрый. Прошу помощи в поиске и устранении причин перезагрузки NAS-сервера. Исходный данные таковы проц Intel® Core i5-3570 CPU @ 3.40GHz RAM 4G мать Z68A-D3H-B3 сетевые 4х портовая интел Схема включения такова - igb1 смотрит в dgs3610-26G. на этом интерфейсе подняты vlan в количестве 600. igb0 смотрит в корень сети. История болезни Сервер работал как NAS для pppoe соединений(mpd5). количество сессий, которое принимал сервер составляло 1000. присутствует NAT. В час пик нагрузка на сетевом интерфейсе порядка 800-900 мегабит. пекетов 80Кpps. CPU ifle time 75% в час пик. Так как мощностей хватает на большую нагрузук, то было принято решение использовать lacp было пересобранно ядро с переметром device lagg настройки интерфесов где x.x.x.x y.y.y.y белые адреса, я их использую для нат-а теперь в час пик имеем следующую картину количество pppoe сесий 1600-1700 трафик 1,2 -1,4G на прием и 0,6-0,8G на отдачу. cpu idle time 40-50% . Проблема в том, что сервер временами, без обьявления войны, уходит в ребут. никаких записей в логах нет. vmcore тоже нет. Перезагружается он не только в час пик, но и при минимальной нагрузке. Подскажите, в какую сторону копать? из параметров cat /boot/loader.conf | grep -v "#" net.graph.maxalloc=64000 net.link.ether.inet.log_arp_permanent_modify=0 net.link.ether.inet.log_arp_movements=0 net.link.ether.inet.log_arp_wrong_iface=0 net.link.log_link_state_change=0 net.link.ether.inet.max_age=60 kern.maxfiles=50000 if_lagg_load="YES" cat /etc/sysctl.conf | grep -v "#" kern.ipc.somaxconn=1024 kern.ipc.maxsockbuf=8388608 kern.ipc.maxsockets=131072 net.inet.ip.intr_queue_maxlen=5000 net.inet.ip.intr_queue_drops=0 net.inet.ip.redirect=0 net.inet.ip.fw.one_pass=0 net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 net.inet.icmp.bmcastecho=1 net.inet.icmp.drop_redirect=1 net.inet.icmp.log_redirect=1 net.graph.maxdgram=768000 net.graph.recvspace=768000 net.inet6.ip6.redirect=0 kern.polling.enable=0 kern.polling.user_frac=0 net.link.ether.inet.log_arp_permanent_modify=0 net.link.ether.inet.log_arp_movements=0 net.link.ether.inet.log_arp_wrong_iface=0 net.link.log_link_state_change=0 net.inet.ip.dummynet.hash_size=512 kern.ipc.nmbclusters=65536 vmstat -i interrupt total rate irq18: ehci0 7 0 irq19: atapci0+ 178161 2 irq23: ehci1 9 0 cpu0: timer 267580230 4000 irq256: igb0 492123476 7356 irq257: igb0 205995552 3079 irq258: igb0 215108537 3215 irq259: igb0 205141038 3066 irq260: igb0 5 0 irq261: igb1 509699078 7619 irq262: igb1 215899619 3227 irq263: igb1 212905420 3182 irq264: igb1 215361483 3219 irq265: igb1 6 0 irq266: igb2 509892819 7622 irq267: igb2 205148 3 irq268: igb2 204286 3 irq269: igb2 380026 5 irq270: igb2 5 0 irq271: igb3 477285468 7135 irq272: igb3 187914 2 irq273: igb3 200212 2 irq274: igb3 198526 2 irq275: igb3 6 0 cpu1: timer 267580049 4000 cpu3: timer 267580049 4000 cpu2: timer 267580049 4000 Total 4331287178 64750 netstat -m 17050/7145/24195 mbufs in use (current/cache/total) 17038/4680/21718/204800 mbuf clusters in use (current/cache/total/max) 613/667 mbuf+clusters out of packet secondary zone in use (current/cache) 0/0/0/12800 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max) 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max) 38340K/11146K/49486K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/0/0 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile 0 calls to protocol drain routines pfctl -sn No ALTQ support in kernel ALTQ related functions disabled nat pass on lagg1 inet from 10.10.0.0/16 to ! <trust_networks> -> y.y.y.y/27 source-hash 0x6b6b5d8666236378ab72de2d391bff62

понятно, что i5 может и справиться с нагрузкой в 5 гиг. но хочется иметь некоторый люфт по мощности. не хочется через полгода думать на тему нового обновления. вот поэтому один из вопросов задавался какая конфигурация у машин которые перерабатывают подобный, или близкий по значению, трафик.

касательно процессора, на что делать упор? на количество ядер или на частоту? понимаю, что лучше на все сразу, но и переплачивать не хочется. в данный момент через smp_affinity разбрасываем прерывания сетевых на 4-е ядра. Какая начинка на сервере? MB, CPU и прочее

День добрый. Возникла необходимость обновить железо на РС-маршрутизаторе. В данный момент имею следующую конфигурацию CPU model name : AMD Phenom II X4 965 Processor cpu MHz : 3415.049 памяти 3 Гига. Имеется две сетевые карты первая гигабитная интел, вторая - двухпортовая 10G, также интел. В ЧНН получаем такую загрузку проходящий трафик - 2,5-3 Гб/с CPU SI 70-75% Количество nat сессий около 1М PacketUtilization порядка 300Кpps При этом на серваке крутится NAT, BGP, OSPF Учитывая тенденции через месяц-другой трафик вырастет до 4,5-5 Гбит/с. По мониторингу вижу, что проц такую нагрузку не вынесет. Собственно вопросы следующие - если есть у кого такая-же нагрузка (~5 Гбит/с), то какие конфигурации используете на серверах? Какой проц лучше выбрать для таких задач? Заранее благодарен за ответ.

Подскажите, когда планируется выход релиза с GIS?