Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

[ApmeM]

День добрый.

В данный момент имеются два сервера доступа под управлении freebsd9.

[root@nas-1 /]# uname -a
FreeBSD nas-1.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012     root@nas-4:/usr/obj/usr/src/sys/NAS  amd64

и

[root@nas-4 /]# uname -a
FreeBSD nas-4.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012     root@nas-4:/usr/obj/usr/src/sys/NAS  amd64

на обоих серверах установлены сетевые интел, на сетевых два порта связаны через lacp и включены в агрегацию.

еще два порта, также связаны в lacp, и включены в корень сети.

Две недели оба сервера проработали нормально. после чего, с разницей в сутки, перестали отвечать на внешние разражители (ping, ssh и т.д.)

включившись в сервер напрямую увидел, что сервера живу, но пинг на адреса соседних серверов не проходит. зато есть ответ от самого себя.

вот интерфейсы одного из серверов

 

[root@nas-4 /]# ifconfig lagg1 
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
ether 90:e2:ba:08:90:00
inet 10.100.100.64 netmask 0xffffff00 broadcast 10.100.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
[root@nas-4 /]# ifconfig lagg0
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
ether 90:e2:ba:08:8f:a0
inet 10.100.110.64 netmask 0xffffff00 broadcast 10.100.110.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

Через несколько дней ожидаю подобного поведения.

Собственно вопрос - на что обратить внимание при вознокновении проблемы? Игде можно поискать проблему до падения интерфейсов?

в догонку некоторая информация

 

 

[root@nas-1 /]# cat /boot/loader.conf 
hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.max_interrupt_rate=32000

net.graph.maxdata=65536
net.graph.maxalloc=65536

#net.link.ether.inet.log_arp_permanent_modify=0
#net.link.ether.inet.log_arp_movements=0
#net.link.ether.inet.log_arp_wrong_iface=0
#net.link.log_link_state_change=0
#net.link.ether.inet.max_age=60

kern.maxfiles=50000
net.inet.tcp.tcbhashsize=4096
## DADV TUNING
# for other protocols (IP & PPPoE?)
net.isr.defaultqlimit=4096

# default outgoing interface queue length
# used by lagg etc.
net.link.ifqmaxlen=10240

 

root@nas-1 /]# cat /etc/sysctl.conf | grep -v '#'

kern.ipc.somaxconn=1024
kern.ipc.maxsockbuf=83886080
kern.ipc.maxsockets=131072
net.inet.ip.intr_queue_maxlen=5000
net.inet.ip.intr_queue_drops=0
net.inet.ip.redirect=0
net.inet.ip.fw.one_pass=0
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.bmcastecho=1
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
kern.ipc.nmbclusters=131072
net.link.ether.inet.log_arp_permanent_modify=0
net.link.ether.inet.log_arp_movements=0
net.link.ether.inet.log_arp_wrong_iface=0
net.link.log_link_state_change=0

net.inet.ip.dummynet.hash_size=512

dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
dev.igb.2.rx_processing_limit=4096
dev.igb.3.rx_processing_limit=4096
[root@nas-1 /]# 

/etc/sysctl.conf и /boot/loader.conf одинаковы на обоих серверах.

Edited January 21, 2013 by ApmeM

[roysbike]

а зачем один и тот же IP на lagg0 и lagg1?

[ApmeM]

ip разные. отличается третий октет.

[roysbike]

у меня такая же схема. Freebsd 9.1 Stable(но и на 9.0 не земачал такого) Но попробуйте убрать тюниг. Оставте только

hw.igb.rxd=2048

hw.igb.txd=2048

hw.igb.max_interrupt_rate=32000

 

net.graph.maxdata=65536

net.graph.maxalloc=65536

[st_re]

netstat -m ? в мбуфы не упирается ?

 

kern.ipc.nmbclusters=131072

 

чета мало.. оно и по умолчанию то больше у меня в 2 раза больше, а 8 сетевых на дефолте просто незавелись.

[ApmeM]

на момент аварии имел

45326/12019/57345 mbufs in use (current/cache/total)

37712/7078/44790/131072 mbuf clusters in use (current/cache/total/max)

37712/6320 mbuf+clusters out of packet secondary zone in use (current/cache)

0/0/0/12800 4k (page size) jumbo clusters in use (current/cache/total/max)

0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)

0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)

87147K/17160K/104308K bytes allocated to network (current/cache/total)

0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)

0/0/0 requests for jumbo clusters denied (4k/9k/16k)

0/0/0 sfbufs in use (current/peak/max)

0 requests for sfbufs denied

0 requests for sfbufs delayed

0 requests for I/O initiated by sendfile

0 calls to protocol drain routines

 

заметил еще один момент, в момент аварии

top -S

0 root 26 -52 0 0K 416K - 0 1:27 289,3% kernel

[dadv]

IPMI используется? Если да, тогда вам сюда: http://dadv.livejournal.com/173258.html