Непонятки с em

[Slad]

Имеется шейпирующий бридж на 8.0-STABLE, стоит 4 сетевушки, сделано 2 lagg по 2 сетевых в каждом. Дрова стоят 6.9.14.Yandex[$Revision: 1.36.2.17.2.6 $].

Трафика бежит порядка 1,5Гбита.

1 lagg смотрит в циску, другой в роутер на FreeBSD 7.2.

В принципе работает нормально, но раз в несколько дней (от 3 до 6) em4 сбоит, em4 смотрит в сторону роутера.

lagg1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:1b:21:4c:05:d7
        media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: em4 flags=18<COLLECTING,DISTRIBUTING>
        laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

при этом сама сетевая нормально видит кабель

em4: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:1b:21:4c:05:d7
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

em4@pci0:5:0:0: class=0x020000 card=0xa01f8086 chip=0x10d38086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    class      = network
    subclass   = ethernet

 

 

Попробовал удалить эту сетевую из lagg, повесить на нее ип и подключится в нее буком (кросовер), не пинговалось. По tcpdump на шейпере пакеты не видно было, как с шейпера на бук, так и с бука на шейпер (на буке только запросы были).

netstat -w1 показывал только прирост счетчиков в input errs, поле packets было по нулям.

В общем после ребута все восстановилось, но опять на 3-4 дня.

Подскажите куда копать с ним.

Edited April 29, 2010 by Slad

[Slad]

Поменял местами сетевушки, в em4 теперь другая карта, но хватило этого всего 2 дня.

Ребутить пришлось :(

[Slad]

Заметил странность одну, возможно из-за этого все. На сервере с бриджом сетевуха em4 всегда находится в active, при этом кабеля в карте нет. Включение в порт с разной скоростью не влияет, линк всегда в up и в 1000baseT. На роутере при этом сетевая стоит вообще в 10 мбитах, если руками менять скорости, то на 1000 линка нет, на 100 поднимается, в свитче нормально меняет скорость.

Смена скорости сетевухи на бридже не возможна, пишет что-то про то, что нельзя сменить скорость так как сетевая находится в каком-то состоянии (вывод не запомнил, в логах его нет)

Такая вот беда.

 

Upd:

нашел ошибку - Media change is blocked due to SOL/IDER session.

Edited May 8, 2010 by Slad

[Dm1try]

ИМХО, Вы выкрутили аппаратные буферы приемы на максимум, но не обеспечили достаточного количества mbuf для таких значений.

[Slad]

netstat -m

32529/31731/64260 mbufs in use (current/cache/total)

32525/30329/62854/65536 mbuf clusters in use (current/cache/total/max)

32525/30323 mbuf+clusters out of packet secondary zone in use (current/cache)

0/104/104/12800 4k (page size) jumbo clusters in use (current/cache/total/max)

0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)

0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)

76106K/69006K/145113K bytes allocated to network (current/cache/total)

0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)

0/0/0 requests for jumbo clusters denied (4k/9k/16k)

0/7/6656 sfbufs in use (current/peak/max)

0 requests for sfbufs denied

0 requests for sfbufs delayed

0 requests for I/O initiated by sendfile

0 calls to protocol drain routines

 

[Slad]

Поменял местами сетевые, отработал 1,5 дня и скис. Что интересно:

netstat -I em2 -w1             
            input          (em2)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
         0    23     0          0          0     0          0     0 
         0    24     0          0          0     0          0     0 
         0    17     0          0          0     0          0     0 
         0    22     0          0          0     0          0     0
         0    26     0          0          0     0          0     0
         0    15     0          0          0     0          0     0
         0    19     0          0          0     0          0     0
         0    39     0          0          0     0          0     0
         0    12     0          0          0     0          0     0
         0    11     0          0          0     0        124     0

em2: Excessive collisions = 0
em2: Sequence errors = 0
em2: Defer count = 0
em2: Missed Packets = 3136534
em2: Receive No Buffers = 859
em2: Receive Length Errors = 0
em2: Receive errors = 0
em2: Crc errors = 0
em2: Alignment errors = 0
em2: Collision/Carrier extension errors = 0
em2: RX overruns = 0
em2: watchdog timeouts = 0
em2: RX MSIX IRQ = 1154274932 TX MSIX IRQ = 1140487193 LINK MSIX IRQ = 1700371
em2: XON Rcvd = 0
em2: XON Xmtd = 0
em2: XOFF Rcvd = 85799
em2: XOFF Xmtd = 0
em2: Good Packets Rcvd = 12795274637
em2: Good Packets Xmtd = 11893403170
em2: TSO Contexts Xmtd = 0
em2: TSO Contexts Failed = 0

em2 включена в циску, lagg не поднимается:

laggport: em2 flags=18<COLLECTING,DISTRIBUTING>

laggport: em0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>