[Tooreagen]

Здравствуйте!
Товарищи, подскажите может кто сталкивался с такой проблемой. Периодически происходит отвал LACP между сервером FreeBSD 12.1 и коммутатором D-Link DGS-3120-24TC

Когда происходит отвал, пропадает трафик на интерфейсах и в meesages пишет:

 

Quote

Mar  1 19:45:41 BRAS kernel: igb1: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:45:44 BRAS kernel: igb0: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:47:49 BRAS kernel: igb0: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:48:18 BRAS kernel: igb1: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:49:25 BRAS kernel: igb0: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:51:00 BRAS kernel: igb0: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:51:21 BRAS kernel: igb1: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:53:49 BRAS kernel: igb1: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:55:22 BRAS kernel: igb0: Interface stopped DISTRIBUTING, possible flapping
Mar  1 19:55:32 BRAS kernel: igb0: Interface stopped DISTRIBUTING, possible flapping

 

Настройки на коммутаторе:

Quote

 

DGS-3120-24TC:admin#show link_aggregation
Command: show link_aggregation

Link Aggregation Algorithm = IP-Source-Dest

Group ID      : 1
Type          : LACP
Master Port   : 1:1
Member Port   : 1:1-1:2
Active Port   : 1:1-1:2
Status        : Enabled
Flooding Port : 1:1
Trap          : Disabled

Group ID      : 2
Type          : LACP
Master Port   : 1:23
Member Port   : 1:23-1:24
Active Port   : 1:23-1:24
Status        : Enabled
Flooding Port : 1:23
Trap          : Disabled

Total Entries : 2

 

 

Настройки на FreeBSD:

 

Quote

uname -a
FreeBSD BRAS 12.1-RELEASE FreeBSD 12.1-RELEASE r354233 GENERIC  amd64

Quote

 

cat /etc/rc.conf
hostname="BRAS"

ifconfig_igb0="up -tso"
ifconfig_igb1="up -tso"

defaultrouter="195.5.153.X"

cloned_interfaces="vlan33 vlan101 vlan102 vlan500
vlan1001 vlan1002 vlan1003 vlan1004 lagg0"

create_args_lagg0="laggproto lacp laggport igb0 laggport igb1"
ifconfig_lagg0="up"

ifconfig_vlan33="vlan 33 vlandev lagg0 172.16.1.1/24"
ifconfig_vlan101="vlan 101 vlandev lagg0 10.1.0.1/24"
ifconfig_vlan102="vlan 102 vlandev lagg0 10.2.0.1/24"
ifconfig_vlan1001="vlan 1001 vlandev lagg0 10.0.1.1/24"
ifconfig_vlan1002="vlan 1002 vlandev lagg0 10.0.2.1/24"
ifconfig_vlan1003="vlan 1003 vlandev lagg0 10.0.3.1/24"
ifconfig_vlan1004="vlan 1004 vlandev lagg0 10.0.4.1/24"
ifconfig_vlan500="vlan 500 vlandev lagg0 45.15.2.X/30"

gateway_enable="YES"

 

 

Quote

 

ifconfig igb0
igb0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=e504bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,LRO,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
        ether 00:1b:21:45:da:ac
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>

ifconfig igb1
igb1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=e504bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,LRO,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
        ether 00:1b:21:45:da:ac
        hwaddr 00:1b:21:45:da:ad
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>

ifconfig lagg0
lagg0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=e504bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,LRO,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
        ether 00:1b:21:45:da:ac
        laggproto lacp lagghash l2,l3,l4
        laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        groups: lagg
        media: Ethernet autoselect
        status: active
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>

 

[Bear_UA]

 Наблюдаем похожее на 11.2

Вы нашли решение?

[Tooreagen]

26 минут назад, Bear_UA сказал:

 Наблюдаем похожее на 11.2

Вы нашли решение?

Зажал вручную скорость портов на коммутаторе и сервере. Пока вроде работает, но и времени прошло не много... 

[[anp/hsw]]

Да длинк и с линуксом в LACP не дружит. Часто наблюдал ситуацию, когда через некоторое время LACP разваливается, или перестают ходить пакеты с каких-то адресов.

[Tooreagen]

1 минуту назад, [anp/hsw] сказал:

Да длинк и с линуксом в LACP не дружит. Часто наблюдал ситуацию, когда через некоторое время LACP разваливается, или перестают ходить пакеты с каких-то адресов.

Есть опыт подружить?

[[anp/hsw]]

ТП длинка забило и все решилось сменой вендора. Коммутаторы ушли туда, где граничить с софтроутерами не будут.

[Bear_UA]

У нас схема [Dell Force10 S60]-[FreeBSD]

LAСP счастливо проработал 3 недели и потом словили такой глюк.

Погуглил - вразумительных решений которые у меня были бы не прописаны - не нашел :(

Может кто еще сталкивался и поборол?

[Ivan_83]

Заводите багу на багтрекете, чего вы тут спрашиваете!?

[sdy_moscow]

Какой смысл в наше время запускать ЛАСП на 1 Гб с софт роутером, если набор 10 Гб свитч+сетевка 10 Гиг НОВЫЕ стоят меньше 40 т.р.?

А б/у можно в половину купить...

[[anp/hsw]]

LACP это не только распределение нагрузки, но еще и резервирование. Порты дохнут не так уж редко, как вам хотелось бы на любых свичах и сетевухах, так что иметь 2 линка по 1-10G в ответственном месте лучше, чем иметь всего один, даже если там и половина канала не занята.

[passer]

Бывает нет возможности поднять 10G, а говна горят. И не пишите, что у вас такого не было, не стоит умножать зависть... 

[Tooreagen]

16 минут назад, passer сказал:

Бывает нет возможности поднять 10G, а говна горят. И не пишите, что у вас такого не было, не стоит умножать зависть... 

Совершенно верно! Особенно когда трафика чутку больше гига. 

[jffulcrum]

14 часов назад, sdy_moscow сказал:

если набор 10 Гб свитч+сетевка 10 Гиг НОВЫЕ стоят меньше 40 т.р.?

Хороший ценник, что конкретно входит в набор и где это так? Потому как 40К только какой-нибудь CRS-312 или US-16-XG. И если у тебя дальше в сети все так и остается на 1G +/-, то с горе-буферами в таком железе будет плачЪ

[[anp/hsw]]

20 часов назад, jffulcrum сказал:

Хороший ценник, что конкретно входит в набор и где это так?

Это какой-нибдуь eltex MES2324 + intel 520 имеются ввиду или подобное.

А так-то 10 гиговые сетевки 10-летней давности можно на авито по 2-3 тысячи купить.

[jffulcrum]

@[anp/hsw] Ну да, выедающие питание по пределам слота, согревая при этом окружающих теплом своего сердца. Сколько я таких трупиков первых поколений заменил...