FreeBSD kernel panic

[_afad]

Доброго времени суток, коллеги. Прошу совета.

Ситуация следующая:

Есть сервак 3LOGIC с мамкой ASUS такой конфигурации:

FreeBSD 10.0-STABLE #0: Wed Jun 18 20:43:29 MSK 2014
   mikki@bgp.navigator-com.ru:/usr/obj/usr/src/sys/BGP amd64
FreeBSD clang version 3.4.1 (tags/RELEASE_34/dot1-final 208032) 20140512
CPU: Intel(R) Xeon(R) CPU E3-1220 V2 @ 3.10GHz (3093.05-MHz K8-class CPU)

 

ОЗУ 8ГБ.

Сетевушки 82574L Gigabit Network Connection, драйвера стандартные.

 

На нем крутится QUAGGA. Минут через 10 работы выпадает в kernel panic bufwrite: buffer is not busy??? Пробовал разные ядра. Разные параметры тюнинга. С POLLING'ом и без Результат один.

Гонял ubench'ем часа 2(нагрузка на все четыре ядра 100%) - ок.

Грешу на сетевые.

 

Самое интересное рядом стоит тазик с реалтыками на борту, работает, зараза, как часы. Только в пике потери наблюдается.

 

VPN-терминатор, с аналогичными сетевушками, только HP Proliant, жует столько же +около 400 туннелей и NAT, работает отлично.

Edited June 18, 2014 by _afad

[DVM-Avgoor]

Мало как-то информации, дампы то сохраняются?

[DVM-Avgoor]

И что на писюке кроме квагги и роутинга ничего нет?

[vlad11]

покажите netstat -m

[_afad]

кроме квагги и роутинга ничего. Дампы не сохраняются. Но есть фото

 

покажите netstat -m

 

Сейчас он к сети не подключен.

3634/1121/4755 mbufs in use (current/cache/total)
3071/555/3626/506558 mbuf clusters in use (current/cache/total/max)
3071/554 mbuf+clusters out of packet secondary zone in use (current/cache)
0/4/4/253279 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/75045 9k jumbo clusters in use (current/cache/total/max)
0/0/0/42213 16k jumbo clusters in use (current/cache/total/max)
7050K/1406K/8456K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile

[DVM-Avgoor]

а что в ipfw? можно ли его временно выключить?

[s.lobanov]

в чём проблема оформить PR?

[DVM-Avgoor]

в чём проблема оформить PR?

 

а смысла? ситуация редкая. ставлю бутылку дешевого пива на то что это хардварная проблема.

[DVM-Avgoor]

Еще ядро кастомное, надо бы еще опции глянуть что там насобрано.

[_afad]

С ядрами пробовал разными, в том числе и GENERIC.

ipfw:

00010     0       0 deny ip from any to 10.0.0.0/8 in via em0
00011     0       0 deny ip from any to 172.16.0.0/12 in via em0
00012     0       0 deny ip from any to 172.12.0.0/16 in via em0
00013     0       0 deny ip from any to 192.168.0.0/16 in via em0
00014     0       0 deny ip from any to 169.254.0.0/16 in via em0
00015     0       0 deny ip from any to 224.0.0.0/4 in via em0
00016     0       0 deny icmp from any to any frag
00017     0       0 deny log logamount 100 icmp from any to 255.255.255.255 in via em0
00018     0       0 deny log logamount 100 icmp from any to 255.255.255.255 out via em0
00050     0       0 deny log logamount 100 ip from any to 81.191.72.0/24
00053     0       0 deny log logamount 100 ip from any to 88.80.5.157
00060     0       0 deny log logamount 10 tcp from any to any tcpoptions !mss setup
00061     0       0 deny log logamount 10 tcp from any to any tcpflags syn,fin
00070     0       0 allow icmp from any to any icmptypes 0,8,11
00071     0       0 deny icmp from any to any
65534 45869 4233350 allow ip from any to any

Почему то тоже склоняюсь к хардварной проблеме. Может ли помочь обновление BIOS?

Ставил сюда же 9.2-RELEASE - та же ерунда.

Edited June 18, 2014 by _afad

[DVM-Avgoor]

Почему то тоже склоняюсь к хардварной проблеме. Может ли помочь обновление BIOS?

 

Я бы на вашем месте полный memtest прогнал. И ядро бы GENERIC собирал. А дальше надо смотреть глубже.

[NiTr0]

Если бэктрэйсы постоянно одинаковые - память скорее всего ни при чем (можно поменять плашки местами). Если машина боевая - я так понимаю, сутки-другие мемтест на ней гонять не выйдет, замену надо подставлять.

Еще как вариант - логирование отключить в ipfw (мож в бзде где-то буфер переполняется/race condition при записи лога).

[DVM-Avgoor]

Отключить вообще ipfw ТС уже было советовано. Но судя по-всему он уже это пробовал и не вышло.

[_afad]

Кстати ipfw выключил, 2 часа полет нормальный... Будем смотреть дальше, о результатах обязательно отпишусь. Спасибо всем за участие.

[_afad]

Прошло 22 часа, полет нормальный. Включил ipfw без журналирования. Пока работает...

[DVM-Avgoor]

Ну вот, получается я теперь должен s.lobanov бутылочку пига. Ой вэй. :)

[DVM-Avgoor]

Недолго музыка играла... При включении фаера через 40 минут все пропало. Грусть-тоска...

 

А с какими правилами загружали? И какой трафик в объеме идет? Сколько роутов в системе?

[_afad]

Правила теже, только журналирование из них выкинул. Трафа порядка 200 Мбит/с, в пике - 260-270. Роутов - 91071.

[DVM-Avgoor]

Правила теже, только журналирование из них выкинул. Трафа порядка 200 Мбит/с, в пике - 260-270. Роутов - 91071.

 

 

Уберите 16, 60 и 61 на пробу.

[DVM-Avgoor]

Да и хотелось бы увидеть опции ядра, с которыми собирали.

[_afad]

В настоящий момент GENERIC. Правила уберу теперь уже после выходных. Как уберу - отпишусь

[_afad]

Доброго всем времени суток! Как то все не получалось отписаться о результатах... Вот пишу, прошло два месяца. За этот период не случилось ни одного kernel panic. Убрал по совету DVM-Avgoor правила 16,60 и 61. Надеюсь кому-то еще это поможет.