ApmeM Опубликовано 21 января, 2013 (изменено) · Жалоба День добрый. В данный момент имеются два сервера доступа под управлении freebsd9. [root@nas-1 /]# uname -a FreeBSD nas-1.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012 root@nas-4:/usr/obj/usr/src/sys/NAS amd64 и [root@nas-4 /]# uname -a FreeBSD nas-4.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012 root@nas-4:/usr/obj/usr/src/sys/NAS amd64 на обоих серверах установлены сетевые интел, на сетевых два порта связаны через lacp и включены в агрегацию. еще два порта, также связаны в lacp, и включены в корень сети. Две недели оба сервера проработали нормально. после чего, с разницей в сутки, перестали отвечать на внешние разражители (ping, ssh и т.д.) включившись в сервер напрямую увидел, что сервера живу, но пинг на адреса соседних серверов не проходит. зато есть ответ от самого себя. вот интерфейсы одного из серверов [root@nas-4 /]# ifconfig lagg1 lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO> ether 90:e2:ba:08:90:00 inet 10.100.100.64 netmask 0xffffff00 broadcast 10.100.100.255 media: Ethernet autoselect status: active laggproto lacp laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> [root@nas-4 /]# ifconfig lagg0 lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO> ether 90:e2:ba:08:8f:a0 inet 10.100.110.64 netmask 0xffffff00 broadcast 10.100.110.255 media: Ethernet autoselect status: active laggproto lacp laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> Через несколько дней ожидаю подобного поведения. Собственно вопрос - на что обратить внимание при вознокновении проблемы? Игде можно поискать проблему до падения интерфейсов? в догонку некоторая информация [root@nas-1 /]# cat /boot/loader.conf hw.igb.rxd=2048 hw.igb.txd=2048 hw.igb.max_interrupt_rate=32000 net.graph.maxdata=65536 net.graph.maxalloc=65536 #net.link.ether.inet.log_arp_permanent_modify=0 #net.link.ether.inet.log_arp_movements=0 #net.link.ether.inet.log_arp_wrong_iface=0 #net.link.log_link_state_change=0 #net.link.ether.inet.max_age=60 kern.maxfiles=50000 net.inet.tcp.tcbhashsize=4096 ## DADV TUNING # for other protocols (IP & PPPoE?) net.isr.defaultqlimit=4096 # default outgoing interface queue length # used by lagg etc. net.link.ifqmaxlen=10240 root@nas-1 /]# cat /etc/sysctl.conf | grep -v '#' kern.ipc.somaxconn=1024 kern.ipc.maxsockbuf=83886080 kern.ipc.maxsockets=131072 net.inet.ip.intr_queue_maxlen=5000 net.inet.ip.intr_queue_drops=0 net.inet.ip.redirect=0 net.inet.ip.fw.one_pass=0 net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 net.inet.icmp.bmcastecho=1 net.inet.icmp.drop_redirect=1 net.inet.icmp.log_redirect=1 kern.ipc.nmbclusters=131072 net.link.ether.inet.log_arp_permanent_modify=0 net.link.ether.inet.log_arp_movements=0 net.link.ether.inet.log_arp_wrong_iface=0 net.link.log_link_state_change=0 net.inet.ip.dummynet.hash_size=512 dev.igb.0.rx_processing_limit=4096 dev.igb.1.rx_processing_limit=4096 dev.igb.2.rx_processing_limit=4096 dev.igb.3.rx_processing_limit=4096 [root@nas-1 /]# /etc/sysctl.conf и /boot/loader.conf одинаковы на обоих серверах. Изменено 21 января, 2013 пользователем ApmeM Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 21 января, 2013 · Жалоба а зачем один и тот же IP на lagg0 и lagg1? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ApmeM Опубликовано 21 января, 2013 · Жалоба ip разные. отличается третий октет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 21 января, 2013 · Жалоба у меня такая же схема. Freebsd 9.1 Stable(но и на 9.0 не земачал такого) Но попробуйте убрать тюниг. Оставте только hw.igb.rxd=2048 hw.igb.txd=2048 hw.igb.max_interrupt_rate=32000 net.graph.maxdata=65536 net.graph.maxalloc=65536 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 21 января, 2013 · Жалоба netstat -m ? в мбуфы не упирается ? kern.ipc.nmbclusters=131072 чета мало.. оно и по умолчанию то больше у меня в 2 раза больше, а 8 сетевых на дефолте просто незавелись. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ApmeM Опубликовано 22 января, 2013 · Жалоба на момент аварии имел 45326/12019/57345 mbufs in use (current/cache/total)37712/7078/44790/131072 mbuf clusters in use (current/cache/total/max) 37712/6320 mbuf+clusters out of packet secondary zone in use (current/cache) 0/0/0/12800 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max) 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max) 87147K/17160K/104308K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/0/0 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile 0 calls to protocol drain routines заметил еще один момент, в момент аварии top -S 0 root 26 -52 0 0K 416K - 0 1:27 289,3% kernel Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dadv Опубликовано 1 марта, 2013 · Жалоба IPMI используется? Если да, тогда вам сюда: http://dadv.livejournal.com/173258.html Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...