Jump to content
Калькуляторы

Непонятки с em

Имеется шейпирующий бридж на 8.0-STABLE, стоит 4 сетевушки, сделано 2 lagg по 2 сетевых в каждом. Дрова стоят 6.9.14.Yandex[$Revision: 1.36.2.17.2.6 $].

Трафика бежит порядка 1,5Гбита.

1 lagg смотрит в циску, другой в роутер на FreeBSD 7.2.

В принципе работает нормально, но раз в несколько дней (от 3 до 6) em4 сбоит, em4 смотрит в сторону роутера.

lagg1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:1b:21:4c:05:d7
        media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: em4 flags=18<COLLECTING,DISTRIBUTING>
        laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

при этом сама сетевая нормально видит кабель

em4: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:1b:21:4c:05:d7
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

em4@pci0:5:0:0: class=0x020000 card=0xa01f8086 chip=0x10d38086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    class      = network
    subclass   = ethernet

 

 

Попробовал удалить эту сетевую из lagg, повесить на нее ип и подключится в нее буком (кросовер), не пинговалось. По tcpdump на шейпере пакеты не видно было, как с шейпера на бук, так и с бука на шейпер (на буке только запросы были).

netstat -w1 показывал только прирост счетчиков в input errs, поле packets было по нулям.

В общем после ребута все восстановилось, но опять на 3-4 дня.

Подскажите куда копать с ним.

Edited by Slad

Share this post


Link to post
Share on other sites

Поменял местами сетевушки, в em4 теперь другая карта, но хватило этого всего 2 дня.

Ребутить пришлось :(

Share this post


Link to post
Share on other sites

Заметил странность одну, возможно из-за этого все. На сервере с бриджом сетевуха em4 всегда находится в active, при этом кабеля в карте нет. Включение в порт с разной скоростью не влияет, линк всегда в up и в 1000baseT. На роутере при этом сетевая стоит вообще в 10 мбитах, если руками менять скорости, то на 1000 линка нет, на 100 поднимается, в свитче нормально меняет скорость.

Смена скорости сетевухи на бридже не возможна, пишет что-то про то, что нельзя сменить скорость так как сетевая находится в каком-то состоянии (вывод не запомнил, в логах его нет)

Такая вот беда.

 

Upd:

нашел ошибку - Media change is blocked due to SOL/IDER session.

Edited by Slad

Share this post


Link to post
Share on other sites

ИМХО, Вы выкрутили аппаратные буферы приемы на максимум, но не обеспечили достаточного количества mbuf для таких значений.

Share this post


Link to post
Share on other sites

netstat -m

32529/31731/64260 mbufs in use (current/cache/total)

32525/30329/62854/65536 mbuf clusters in use (current/cache/total/max)

32525/30323 mbuf+clusters out of packet secondary zone in use (current/cache)

0/104/104/12800 4k (page size) jumbo clusters in use (current/cache/total/max)

0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)

0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)

76106K/69006K/145113K bytes allocated to network (current/cache/total)

0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)

0/0/0 requests for jumbo clusters denied (4k/9k/16k)

0/7/6656 sfbufs in use (current/peak/max)

0 requests for sfbufs denied

0 requests for sfbufs delayed

0 requests for I/O initiated by sendfile

0 calls to protocol drain routines

 

Share this post


Link to post
Share on other sites

Поменял местами сетевые, отработал 1,5 дня и скис. Что интересно:

netstat -I em2 -w1             
            input          (em2)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
         0    23     0          0          0     0          0     0 
         0    24     0          0          0     0          0     0 
         0    17     0          0          0     0          0     0 
         0    22     0          0          0     0          0     0
         0    26     0          0          0     0          0     0
         0    15     0          0          0     0          0     0
         0    19     0          0          0     0          0     0
         0    39     0          0          0     0          0     0
         0    12     0          0          0     0          0     0
         0    11     0          0          0     0        124     0

em2: Excessive collisions = 0
em2: Sequence errors = 0
em2: Defer count = 0
em2: Missed Packets = 3136534
em2: Receive No Buffers = 859
em2: Receive Length Errors = 0
em2: Receive errors = 0
em2: Crc errors = 0
em2: Alignment errors = 0
em2: Collision/Carrier extension errors = 0
em2: RX overruns = 0
em2: watchdog timeouts = 0
em2: RX MSIX IRQ = 1154274932 TX MSIX IRQ = 1140487193 LINK MSIX IRQ = 1700371
em2: XON Rcvd = 0
em2: XON Xmtd = 0
em2: XOFF Rcvd = 85799
em2: XOFF Xmtd = 0
em2: Good Packets Rcvd = 12795274637
em2: Good Packets Xmtd = 11893403170
em2: TSO Contexts Xmtd = 0
em2: TSO Contexts Failed = 0

em2 включена в циску, lagg не поднимается:

laggport: em2 flags=18<COLLECTING,DISTRIBUTING>

laggport: em0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this