[zlolotus]

 

 

Коллеги имеется freebsd 10.3 stable, на которой радиус. Принимает пакеты 8к абонов . 

 

Железо dl360g6 

 

Сетевухи bce. Внезапно отвались сетевая карта. 

 

В логах ядра 

 

bce1: discard frame w/o leading ethernet header (len 0 pkt len 0)

 

pciconf -lv

 

bce1@pci0:2:0:1:        class=0x020000 card=0x7055103c chip=0x163914e4 rev=0x20 hdr=0x00
    vendor     = 'Broadcom Limited'
    device     = 'NetXtreme II BCM5709 Gigabit Ethernet'
    class      = network
    subclass   = ethernet

 

cat /etc/rc.conf

 

ifconfig_bce1="inet 1.1.1.1 netmask 255.255.255.0 -rxcsum -txcsum -lro -tso4 -tso6 -vlanhwtso"
 

uname -a

FreeBSD utm5-3 10.3-STABLE FreeBSD 10.3-STABLE #0 r320355: 

 

 

 netstat -m
5101/5534/10635 mbufs in use (current/cache/total)
4080/2536/6616/1019484 mbuf clusters in use (current/cache/total/max)
4080/2498 mbuf+clusters out of packet secondary zone in use (current/cache)
0/146/146/509742 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/151034 9k jumbo clusters in use (current/cache/total/max)
0/0/0/84957 16k jumbo clusters in use (current/cache/total/max)
9435K/7039K/16474K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
 

 vmstat -z
ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP

UMA Kegs:               384,      0,     105,       5,     105,   0,   0
UMA Zones:             1408,      0,     105,       1,     105,   0,   0
UMA Slabs:               80,      0,    1345,     605,    4412,   0,   0
UMA RCntSlabs:           88,      0,    3454,      11,    3631,   0,   0
UMA Hash:               256,      0,       5,      10,       9,   0,   0
4 Bucket:                32,      0,      58,    2192,   16102,   0,   0
6 Bucket:                48,      0,       0,    2573,  402457,   0,   0
8 Bucket:                64,      0,      91,    2389,  204807,  11,   0
12 Bucket:               96,      0,      37,    1193,   34112,   0,   0
16 Bucket:              128,      0,      85,    1186,    9531,   0,   0
32 Bucket:              256,      0,     313,     602,   78910,  52,   0
64 Bucket:              512,      0,     595,     317,   89694,128072,   0
128 Bucket:            1024,      0,     170,     106,    7772,   0,   0
256 Bucket:            2048,      0,     169,      81,   55060,33190,   0
vmem btag:               56,      0,    6624,   16664,  586306, 423,   0
VM OBJECT:              256,      0,  107169,    6966,  181556,   0,   0
RADIX NODE:             144,      0,  265426,    8003, 1001336,   0,   0
MAP:                    240,      0,       3,      61,       3,   0,   0
KMAP ENTRY:             128,      0,       7,     272,       7,   0,   0
MAP ENTRY:              128,      0,    1042,    2182,  179416,   0,   0
VMSPACE:                448,      0,      27,     234,    4191,   0,   0
fakepg:                 104,      0,       0,       0,       0,   0,   0
mt_zone:               4112,      0,     365,       0,     365,   0,   0
16:                      16,      0,    1973,    1792,10587722,   0,   0
32:                      32,      0,    2262,    1613,   20513,   0,   0
64:                      64,      0,    6308,   20104,54349659,   0,   0
128:                    128,      0,    5803,    3497, 1729664,   0,   0
256:                    256,      0,    1412,    3808, 1225421,   0,   0
512:                    512,      0,     862,     242,   16623,   0,   0
1024:                  1024,      0,      58,     118,   15129,   0,   0
2048:                  2048,      0,      69,     281, 1230605,   0,   0
4096:                  4096,      0,     463,      13,    6982,   0,   0
8192:                  8192,      0,      20,      11,     676,   0,   0
16384:                16384,      0,      10,       5,     973,   0,   0
32768:                32768,      0,       8,       9,    2573,   0,   0
65536:                65536,      0,      10,       1,     260,   0,   0
SLEEPQUEUE:              80,      0,     361,     538,     361,   0,   0
64 pcpu:                  8,      0,    1766,    1050,    1766,   0,   0
Files:                   80,      0,     337,     813,  341688,   0,   0
TURNSTILE:              136,      0,     361,     199,     361,   0,   0
rl_entry:                40,      0,     174,    1426,     174,   0,   0
umtx pi:                 96,      0,       0,       0,       0,   0,   0
MAC labels:              40,      0,       0,       0,       0,   0,   0
PROC:                  1368,      0,      44,      82,    4207,   0,   0
THREAD:                1280,      0,     305,      55,    1499,   0,   0
cpuset:                  72,      0,      85,     300,      85,   0,   0
audit_record:          1248,      0,       0,       0,       0,   0,   0
mbuf_packet:            256, 6524700,    4081,    2497,13960567,   0,   0
mbuf:                   256, 6524700,    1021,    3036,30165461,   0,   0
mbuf_cluster:          2048, 1019484,    6578,      38,   10120,   0,   0
mbuf_jumbo_page:       4096, 509742,       0,     146, 1491437,   0,   0
mbuf_jumbo_9k:         9216, 151034,       0,       0,       0,   0,   0
mbuf_jumbo_16k:       16384,  84957,       0,       0,       0,   0,   0
mbuf_ext_refcnt:          4,      0,       0,       0,       0,   0,   0
g_bio:                  248,      0,       3,    1533, 3673915,   0,   0
DMAR_MAP_ENTRY:         120,      0,       0,       0,       0,   0,   0
ttyinq:                 160,      0,     180,     670,    2160,   0,   0
ttyoutq:                256,      0,      95,     520,    1129,   0,   0
nvme_request:           128,      0,       0,       0,       0,   0,   0
vtnet_tx_hdr:            24,      0,       0,       0,       0,   0,   0
FPU_save_area:          512,      0,       0,       0,       0,   0,   0
VNODE:                  472,      0,  106405,   57579,  776429,   0,   0
VNODEPOLL:              112,      0,       1,     279,       3,   0,   0
BUF TRIE:               144,      0,    3853,  101447,  955972,   0,   0
S VFS Cache:            108,      0,  104719,   54601,  726396,   0,   0
STS VFS Cache:          148,      0,       0,       0,       0,   0,   0
L VFS Cache:            328,      0,    2659,    1553,   72662,   0,   0
LTS VFS Cache:          368,      0,       0,       0,       0,   0,   0
NAMEI:                 1024,      0,       0,      80, 1338051,   0,   0
DIRHASH:               1024,      0,      18,      54,    3195,   0,   0
NCLNODE:                528,      0,       0,       0,       0,   0,   0
Mountpoints:            816,      0,       2,      13,       2,   0,   0
pipe:                   744,      0,       1,      94,    1927,   0,   0
procdesc:               128,      0,       0,       0,       0,   0,   0
ksiginfo:               112,      0,     109,    1151,    2485,   0,   0
itimer:                 352,      0,       0,       0,       0,   0,   0
KNOTE:                  128,      0,       0,     651,    1173,   0,   0
socket:                 696, 523175,     113,     112,    5335,   0,   0
ipq:                     56,  31879,       0,       0,       0,   0,   0
udp_inpcb:              392, 523180,       7,     203,     880,   0,   0
udpcb:                   24, 523211,       7,    1663,     880,   0,   0
tcp_inpcb:              392, 523180,      63,     227,    1295,   0,   0
tcpcb:                 1032, 523176,      63,      81,    1295,   0,   0
tcptw:                   88,  27810,       0,     405,      75,   0,   0
syncache:               160,  15375,       0,     325,    1234,   0,   0
hostcache:              136,  15370,       6,     313,      26,   0,   0
sackhole:                32,      0,       0,     375,    1128,   0,   0
tcpreass:                40,  63800,       0,     600,      61,   0,   0
sctp_ep:               1424, 523176,       0,       0,       0,   0,   0
sctp_asoc:             2416,  40000,       0,       0,       0,   0,   0
sctp_laddr:              48,  80012,       0,     830,       6,   0,   0
sctp_raddr:             728,  80000,       0,       0,       0,   0,   0
sctp_chunk:             136, 400026,       0,       0,       0,   0,   0
sctp_readq:             104, 400026,       0,       0,       0,   0,   0
sctp_stream_msg_out:    104, 400026,       0,       0,       0,   0,   0
sctp_asconf:             40, 400000,       0,       0,       0,   0,   0
sctp_asconf_ack:         48, 400060,       0,       0,       0,   0,   0
udplite_inpcb:          392, 523180,       0,       0,       0,   0,   0
ripcb:                  392, 523180,       0,     180,      85,   0,   0
unpcb:                  240, 523184,      43,     325,    3070,   0,   0
rtentry:                200,      0,      15,     365,      17,   0,   0
selfd:                   56,      0,     236,    2107,29623782,   0,   0
SWAPMETA:               288, 2038972,       0,      65,      29,   0,   0
FFS inode:              176,      0,  106372,   78538,  776342,   0,   0
FFS1 dinode:            128,      0,       0,       0,       0,   0,   0
FFS2 dinode:            256,      0,  106372,   70793,  776342,   0,   0
IPFW dynamic rule:      120,   4125,       0,       0,       0,   0,   0
 

 

[snvoronkov]

10.3 сегодня протухла.

 

Ну и, причина легко гуглится - срабатывает встроенный L2 фильтр сетевой когда сетевая еще не имеет ip. Словил такое вчера при перезагрузке. И как-раз на радиус-сервере при обновлении 10.3 -> 10.4.

 

А вот лечения не нашел. :-( Только обход - ifconfig bceX down; sleep 3; ifconfig bceX up

[zlolotus]

1 минуту назад, snvoronkov сказал:

10.3 сегодня протухла.

 

Ну и, причина легко гуглится - срабатывает встроенный L2 фильтр сетевой когда сетевая еще не имеет ip. Словил такое вчера при перезагрузке. И как-раз на радиус-сервере при обновлении 10.3 -> 10.4.

 

А вот лечения не нашел. :-( Только обход - ifconfig bceX down; sleep 3; ifconfig bceX up

 

можете поделится sysctl.conf ?

[snvoronkov]

4 часа назад, zlolotus сказал:

 

можете поделится sysctl.conf ?

Мочь-то могу, только делу это сильно не поможет. И только 3-го, скорее всего.

[YuryD]

 Не подтвержаю. bce не лучшая карта, но сама без ip не отваливается. У меня на bce хренова куча vlan прикручена, на самом понятно ip нету. При перезагрузке из rc.conf или даже из rc.local все стартует без отвала. Версии от 7.x до 10.3 без траблем, сервера от ибм. А вот при переходе от 10.3 до 11 - имел грабли на пустом месте, типа ipfw nat. Дебага нету, сервер либо тупо вис или выключался(никакого bmc/ipm нету), дампа тоже не было. Просто откатился на пред версию, полёт нормальный. Всё понятно под amd64.

[vlad11]

Обновить БИОС и сетевую фирмваре.

[st_re]

23 часа назад, snvoronkov сказал:

10.3 сегодня протухла.

 

Ну и, причина легко гуглится - срабатывает встроенный L2 фильтр сетевой когда сетевая еще не имеет ip. Словил такое вчера при перезагрузке. И как-раз на радиус-сервере при обновлении 10.3 -> 10.4.

 

А вот лечения не нашел. :-( Только обход - ifconfig bceX down; sleep 3; ifconfig bceX up

+1 

у нас куча деллов  с bce. симптомы 1:1..

 

Биоса и фирмваре от старых до последних..

в общем бутятся редко, поэтому на глубокие раскопкм зибили.

 

Скрипт вида ping -c 1 <шлюз> || (ifconfig bce0 down ; sleep 1 ; ifconfig bce0 up) на загрузке помогает в 100% случаев...

 

Теже машины с рхел 5,6,7 проблем не имеют. фря 8,9,10,11 имеют. Деллы poweredge [4567]1[05]R, на других платформах у нас нет bce, за них не скажу.

на всех деллах, где набюдалась проблема, стоит недоiDRAC шаращий туже сетевуху.. на деллах, где полный iDRAC со своим портом, фри у нас небыло... 

[YuryD]

17 часов назад, vlad11 сказал:

Обновить БИОС и сетевую фирмваре.

 Дык, для ибм не траблема, грузишься с их диска, и она сама тянет все нужные обновления для данной модели, если найдёт или под санкции не попадет :) У свежекупленных всегда так делаю.

[vlad11]

В 01.05.2018 в 18:41, st_re сказал:

+1 

у нас куча деллов  с bce. симптомы 1:1..

 

Биоса и фирмваре от старых до последних..

Вы что-то не доделали.
Последний Делл, который я тюнинговал - r710.
Ну, не было таких симптомов.
По LAGG'у из встроенных сетевух бегало около гига трафа.

[st_re]

Оно после бута не фонит.. или загрузилось или нет, чаще грузится нормально. Дальше все работает годами. (причем иногда реально годами). втыкание-вытыкание проводов на загруженой уже машине или перенастройка интерфейсов, сборка LAGG итд, объемы трафика или еще чтото позже уже не влияет на эту проблему.. Грешим на iDRAC, висящий на той же сетевой. (там чтото типа свитча, надо полагать, причем оно с мозгами, iDRAC можно вешать на любую сетевую, и были деллы на которых оно было нерабочее изначально, месяца полтора бодания с их ТП привело к присылке инструкции по включению с досовой флешкой и какойто утилькой от броадкома и включением какойто там 1. Таких машин было десяток из одной поставки, и кажется до того как iDRAC починили оно не случалось, потом случалось.. Но оно и так чаще не случается. т.е хрен его знает, может просто не набрали нужного объема перезагрузок. их с FreeBSD было пара всего, из той поставки..). У нас специально брались недоiDRAC, а не полная версия, типа дешевле что на сотнях деллов наверное и правда дешевле, а КВМ есть в стойке всеравно, поэтму встроенным пожертвовали (это основное отличие полной версии и лайт.. правда есть еще более лайт, без веб интерфейса, только через ipmitool, но таких у нас мало и FreeBSD на них вроде нет). С полной версией может оказаться, что проблемы и нет, т.к. там эта штука имеет свой разъем езернет, и на сетевую не завязано.

[vlad11]

Вот этот недоiDRAC мне пришлось отключать. Он скорее не работал, чем работал.

[kayot]

6 часов назад, vlad11 сказал:

Вот этот недоiDRAC мне пришлось отключать. Он скорее не работал, чем работал.

И что там могло не работать? Очень удобный и функциональный он.

В принципе проблема решается элементарно - набор плат расширения iDrac extpess(мозги) + iDrac Enterprise(выделенный порт управления) нынче стоит порядка 20$.

И никто больше не разделяет порты + функционал сильно расширяется(web, remote console, virtual media).

[st_re]

У нас вроде работает везде. Зайти перегрузить или посмотреть логи, а больше там и нет ничего.. На загруженной машине оно все доступно из системы, через  ipmi, а вот перегрузить не гоняя дежурных редко, но если надо, то НАДО.