[lxsv]

Добрый день.

 

 

 

 

Построил сеть на основе 2970-48S - Агрегация и Dlink 1228MA - доступ, так же на доступе Iscom 2110А с включенным STP.

 

 

Как выглядит.

 

 

Каждый 1228 настроен следующим образом:

1. Выключен STP (иначе не включить loopdetection)

2. включен loopdetection

3. настроен trafic-segmentation так, что коммутируются 28,27 с 1-26 и наоборот. 28,27 - аплинки.

 

Агрегация:

Который в центре

НА нем рут STP

spanning-tree mode rstp

spanning-tree loopfast

spanning-tree rstp priority 0

!

!

 

Коммутаторы на следующем уровне настроенные следующим образом:

Они разбиты по районам, в каждом районе есть один главный, у него stp cost в сторону центрального свитча 20, альтернативный линк с костом 40.

На резервном коммутаторе один линк с костом 60 , другой с 80.

 

Главные настройки stp на всех одинаковые.

spanning-tree mode rstp

spanning-tree rstp priority 8192

!

 

На все коммутаторах используется switchport protected кроме аплинков.

В сети PPPoE один влан ID 100.

 

 

При использовании такой схемы есть проблема.

Если один из коммутаторов уходит в ребут, то по его возвращении лихорадит всю сеть. не важно в каком районе бутнулся коммутатор, сетка не может сойтись.

НА портах то и появляются статусы STP (Desg FWD | Desg BLK)

Приходится тушить все порты с одной стороны от Dlink 1228 и ждать пока затихнет. утихает быстро, пару минут.

После поднимаю порты пачками по 46 штук и все работает нормально.

 

Нормальное состояние выглядит так

SG-200.2-Komar2#

Interface Role Sts Cost Pri.Nbr Type

---------------- ---- --- --------- ------- --------------------------------

G0/3 Desg FWD 20000 128.3 P2p

G0/4 Desg FWD 20000 128.4 P2p

G0/5 Desg FWD 20000 128.5 P2p

G0/6 Desg FWD 20000 128.6 P2p

G0/7 Desg FWD 20000 128.7 P2p

G0/8 Desg FWD 20000 128.8 P2p

G0/9 Desg FWD 20000 128.9 P2p

G0/10 Desg FWD 20000 128.10 P2p

G0/11 Desg FWD 20000 128.11 P2p

G0/12 Desg FWD 20000 128.12 P2p

G0/13 Desg FWD 20000 128.13 P2p

G0/14 Desg FWD 20000 128.14 P2p

G0/15 Desg FWD 20000 128.15 P2p

G0/16 Desg FWD 20000 128.16 P2p

G0/17 Desg FWD 20000 128.17 P2p

G0/18 Desg FWD 20000 128.18 P2p

G0/19 Desg FWD 20000 128.19 P2p

G0/20 Desg FWD 20000 128.20 P2p

G0/21 Desg FWD 20000 128.21 P2p

G0/22 Desg FWD 20000 128.22 P2p

G0/23 Desg FWD 20000 128.23 P2p

G0/24 Desg FWD 20000 128.24 P2p

G0/25 Desg FWD 20000 128.25 P2p

G0/26 Desg FWD 20000 128.26 P2p

G0/27 Desg FWD 20000 128.27 P2p

G0/28 Desg FWD 20000 128.28 P2p

G0/29 Desg FWD 20000 128.29 P2p

G0/30 Desg FWD 20000 128.30 P2p

G0/31 Desg FWD 20000 128.31 P2p

G0/32 Desg FWD 20000 128.32 P2p

G0/33 Desg FWD 20000 128.33 P2p

G0/34 Desg FWD 20000 128.34 P2p

G0/35 Desg FWD 20000 128.35 P2p

G0/36 Desg FWD 20000 128.36 P2p

G0/37 Desg FWD 20000 128.37 P2p

G0/38 Desg FWD 20000 128.38 P2p

G0/39 Desg FWD 20000 128.39 P2p

G0/46 Desg FWD 20000 128.46 P2p

G0/47 Altn BLK 40 128.47 P2p

G0/48 Root FWD 20 128.48 P2p

 

SG-200.3-Gvard2#

Interface Role Sts Cost Pri.Nbr Type

---------------- ---- --- --------- ------- --------------------------------

G0/3 Altn BLK 20000 128.3 P2p

G0/4 Altn BLK 20000 128.4 P2p

G0/5 Altn BLK 20000 128.5 P2p

G0/6 Altn BLK 20000 128.6 P2p

G0/7 Altn BLK 20000 128.7 P2p

G0/8 Altn BLK 20000 128.8 P2p

G0/9 Altn BLK 20000 128.9 P2p

G0/10 Altn BLK 20000 128.10 P2p

G0/11 Altn BLK 20000 128.11 P2p

G0/12 Altn BLK 20000 128.12 P2p

G0/13 Altn BLK 20000 128.13 P2p

G0/14 Altn BLK 20000 128.14 P2p

G0/15 Altn BLK 20000 128.15 P2p

G0/16 Altn BLK 20000 128.16 P2p

G0/17 Altn BLK 20000 128.17 P2p

G0/18 Altn BLK 20000 128.18 P2p

G0/19 Altn BLK 20000 128.19 P2p

G0/20 Altn BLK 20000 128.20 P2p

G0/21 Altn BLK 20000 128.21 P2p

G0/22 Altn BLK 20000 128.22 P2p

G0/23 Altn BLK 20000 128.23 P2p

G0/24 Altn BLK 20000 128.24 P2p

G0/25 Altn BLK 20000 128.25 P2p

G0/26 Altn BLK 20000 128.26 P2p

G0/27 Altn BLK 20000 128.27 P2p

G0/28 Altn BLK 20000 128.28 P2p

G0/29 Altn BLK 20000 128.29 P2p

G0/30 Altn BLK 20000 128.30 P2p

G0/31 Altn BLK 20000 128.31 P2p

G0/32 Desg FWD 20000 128.32 P2p

G0/33 Desg FWD 20000 128.33 P2p

G0/34 Desg FWD 20000 128.34 P2p

G0/35 Desg FWD 20000 128.35 P2p

G0/36 Desg FWD 20000 128.36 P2p

G0/37 Altn BLK 20000 128.37 P2p

G0/38 Altn BLK 20000 128.38 P2p

G0/39 Altn BLK 20000 128.39 P2p

G0/40 Desg FWD 20000 128.40 P2p

G0/41 Desg FWD 20000 128.41 Edge

G0/46 Altn BLK 20000 128.46 P2p

G0/47 Altn BLK 80 128.47 P2p

G0/48 Root FWD 60 128.48 P2p

 

 

У меня вопрос к спецам. Реально ли использовать такую структуру сети и ожидать от оборудования автоматического переключения на бекапные каналы и обратно ? Либо мне стоит использовать другую схему организации сети?

 

Почему STP накрывается когда один из коммутаторов возвращается после ребута ?

На последний вопрос у меня одно предположение: Возможно когда коммутатор поднимается , он форвардит все во все порты, не взирая на насройки STP и блокировку портов(sw protect). Но самое интересное, когда он поднимется, сетка не успокаивается даже через 1 час ожидания.

Edited November 19, 2012 by lxsv

[Helios]

на 27,28 портах Dlinkов которые смотрят в сторону 2970 и между собой точно прописан какой-нибудь влан untagget, включено fbdu enable? и этот влан проходит через все свитчи прозрачно?

на портах Dlinkов которые смотрят в сторону абонентов точно выключен stp и fbdu disable, а так-же стоит restricted_tsn true и restricted_role true?

на Dlink точно последняя прошивка?

 

 

А вообще конечно слишком большое физическое кольцо у вас построено. И слишком все уплощенно - влан один пользовательский на несколько тыс абонентов. Такая топология всегда будет косячить и сходиться криво, достаточно ошибиться где-нибудь на одном длинке или полусдохшему оптическому линку появиться (это когда с одной стороны порт горит, а с другой линка нет). И толку от резервирования "по физике", если сеть из-за ошибок "по логике" будет лежать в три раза чаще (и вся), чем если бы его (резервирования) вообще не было?

 

Лично мну бы такую топологию переделал. Самое простое - на портах в сторону центрального 2970 объединить каждую пару линков в свой port-channel - резервирование не пострадает, полоса пропускания поднимется в двое.

И далее бы - оптимальное количество 1228 в сосиске ну никак не 40, а 20 хотя-бы, побил бы на пару колец по 20 домовых свитчей в каждом, хотя учитывая что на самих dlinkах вы STP не включаете что выйдет из этого непонятно.

 

Можно пару-тройку инстансов MSTP в сети сделать, одно кольцо в сети будет с одним id (на агрегацию и ядро) - второе, третье, четвертое (каждое со своим id) - на каждую из гирлянд 1228. Но это уже высший пилотаж..с включением MSTP на каждом из 1228.. и всеравно будет где-то бага вылазить..

[lxsv]

на портах Dlinkов которые смотрят в сторону 2970 точно прописан какой-нибудь влан untagget и этот влан проходит через все свитчи прозрачно?

На портах аплинках прописаны два влана, управление и PPPoE влан

 

# VLAN

 

create vlan mngt tag 2

config vlan mngt add untagged 25-28

create vlan pppoe tag 100

config vlan pppoe add tagged 25-28

config vlan pppoe add untagged 1-24

 

# TRAF-SEGMENTATION

 

config traffic_segmentation 1-26 forward_list 27-28

config traffic_segmentation 27-28 forward_list 1-26

 

 

на портах Dlinkов которые смотрят в сторону абонентов точно выключен stp и fbdu disable, а так-же стоит restricted_tsn true и restricted_role true?

STP выключен, fbpdu включен.

Попробовал выключить. Получил следующее.

STP с обоих сторон перешел в состояние FWD.

Один свитч агрегации начал передавать другому все свои маки с аплинка.

В результате на соседнем свитче мак маршрутизатора стал виден через изолированный порт.

Фигня получилась :( Длинк коммутирует трафик между закрытыми портами.

 

 

на Dlink точно последняя прошивка?

В версиях не силен.

у меня вот какая

Boot PROM Version 2.00.001

Firmware Version 2.00.007

Если версия не та, подскажите какую лучше использовать ?

 

Самое простое - на портах в сторону центрального 2970 объединить каждую пару линков в свой port-channel - резервирование не пострадает, полоса пропускания поднимется в двое

Было раньше так, в голове у меня стоял вместо 48 портового SNR, 24 портовый. 24 портовый свитч к моему удивлению не мог изолировать трафик между агрегированными группами. Из за этого пришлось переделать , перейти на гиговые линки.

ТП сказала что это не исправить программно, в чем конечно я сомневаюсь.

С 48мортовым я не стал экспериментировать, оставил на гиговых линках

 

И далее бы - оптимальное количество 1228 в сосиске ну никак не 40, а 20 хотя-бы, побил бы на пару колец по 20 домовых свитчей в каждом.

Самое простое - на портах в сторону центрального 2970 объединить каждую пару линков в свой port-channel - резервирование не пострадает, полоса пропускания поднимется в двое.

Про сосиску:

у меня не 40 свитчей стоят в ряд, 40 свитчей подключены двумя линками в разные свитчи агрегации. которые не являются STP звеном.

Получается что кольца в количестве до 40 штук держат между собой два свитча 2970 которые аплинками видят рут, такой же 2790.

так же предполагалось, раз уж STP соседи только SNR то и глюков в STP не будет.

 

Собственно это выход, сделать меньше колец на одном Л2, только нужно будет докупить еще коммутаторы.

 

Я тут наткнулся на описание SNR-S2970G-48S Fast Protection Mechanism of Ethernet Ring Интересно сколько можно задействовать вланов для обработки колец? 40 можно ?:)

[Helios]

вы не поняли. Упрощенно уберите мысленно цепочку 1228 и соедините 2970 прямой линией как-буд-то 1128 в сети нет вообще. Так вот, чтобы это работало (на 1128 у вас же stp не включено) пакеты fbdu stp ( а они уходят с каждого 2970 нетегированными) от одного 2970 должны дойти до другого 2970. Уходят они нетегированными с 2970, и должны пройти через все 1228 и выйти с другой стороны "целыми". Если это не соблюсти будут глюки.

 

И я вовсе не советовал fbdu выключать на аплинковских портах 27-28, я говорил про выключение fbdu на портах абонентских, которые 1-24!

 

попробовать построить на ether-ring можно, но мхо глюков еще больше огребете, не знаю как их 1228 пропустит, да и это все-таки для чистого кольца, а не так как у вас,

[Helios]

И врядли кто-то что-то еще подскажет - как у вас сделано имхо неправильно и никто так не строит, с 2мя вланами, с изоляцией портов в ядре.. Кстати если вы изолируете порты друг от друга в центральном 2970 то вполне может быть что из-за этого, т.к. fbdu через центральный 2970 при таком раскладе не ходят.

[lxsv]

вы не поняли. Упрощенно уберите мысленно цепочку 1228 и соедините 2970 прямой линией как-буд-то 1128 в сети нет вообще. Так вот, чтобы это работало (на 1128 у вас же stp не включено) пакеты fbdu stp ( а они уходят с каждого 2970 нетегированными) от одного 2970 должны дойти до другого 2970. Уходят они нетегированными с 2970, и должны пройти через все 1228 и выйти с другой стороны "целыми". Если это не соблюсти будут глюки.

Именно так у меня и работает

1228 пропускают fbdu stp как есть.

Свитч который "с лева", приоритетный.

SG-200.4.Sport35/Visok22#sh spanning-tree

 

Spanning tree enabled protocol RSTP(2004)

 

RSTP

Root ID Priority 0

Address 00E0.0FA4.1DB7

Port GigaEthernet0/48

Cost 20

Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec

 

Bridge ID Priority 8192

Address 00E0.0FA4.1766

Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec

 

Interface Role Sts Cost Pri.Nbr Type

---------------- ---- --- --------- ------- --------------------------------

G0/2 Desg FWD 20000 128.2 P2p

G0/3 Desg FWD 20000 128.3 P2p

G0/4 Desg FWD 20000 128.4 P2p

G0/5 Desg FWD 20000 128.5 P2p

G0/6 Desg FWD 20000 128.6 P2p

G0/7 Desg FWD 20000 128.7 P2p

G0/8 Desg FWD 20000 128.8 P2p

G0/9 Desg FWD 20000 128.9 P2p

G0/10 Desg FWD 20000 128.10 P2p

G0/11 Desg FWD 20000 128.11 P2p

G0/12 Desg FWD 20000 128.12 P2p

G0/13 Desg FWD 20000 128.13 P2p

G0/14 Desg FWD 20000 128.14 P2p

G0/15 Desg FWD 20000 128.15 P2p

G0/16 Desg FWD 20000 128.16 P2p

G0/17 Desg FWD 20000 128.17 P2p

G0/18 Desg FWD 20000 128.18 P2p

G0/19 Desg FWD 20000 128.19 P2p

G0/20 Desg FWD 20000 128.20 P2p

G0/21 Desg FWD 20000 128.21 P2p

G0/22 Desg FWD 20000 128.22 P2p

G0/23 Desg FWD 20000 128.23 P2p

G0/24 Desg FWD 20000 128.24 P2p

G0/25 Desg FWD 20000 128.25 P2p

G0/26 Desg FWD 20000 128.26 P2p

G0/27 Desg FWD 20000 128.27 Edge

G0/28 Desg FWD 20000 128.28 P2p

G0/30 Desg FWD 20000 128.30 Edge

G0/31 Desg FWD 20000 128.31 P2p

G0/32 Desg FWD 20000 128.32 P2p

G0/33 Desg FWD 20000 128.33 P2p

G0/34 Desg FWD 20000 128.34 P2p

G0/35 Desg FWD 20000 128.35 P2p

G0/36 Desg FWD 20000 128.36 P2p

G0/37 Desg FWD 20000 128.37 P2p

G0/38 Desg FWD 20000 128.38 Edge

G0/39 Desg FWD 20000 128.39 P2p

G0/40 Desg FWD 20000 128.40 P2p

G0/41 Desg FWD 20000 128.41 P2p

G0/42 Desg FWD 20000 128.42 P2p

G0/43 Desg FWD 20000 128.43 P2p

G0/44 Desg FWD 20000 128.44 P2p

G0/45 Desg FWD 20000 128.45 P2p

G0/46 Desg FWD 20000 128.46 P2p

G0/47 Altn BLK 40 128.47 P2p

G0/48 Root FWD 20 128.48 P2p

 

SG-200.4.Sport35/Visok22#

 

свитч который "справа", бекапный

 

SG-200.5.Visok2#sh spanning-tree

 

Spanning tree enabled protocol RSTP(2004)

 

RSTP

Root ID Priority 0

Address 00E0.0FA4.1DB7

Port GigaEthernet0/48

Cost 60

Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec

 

Bridge ID Priority 8192

Address 00E0.0FA4.1C91

Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec

 

Interface Role Sts Cost Pri.Nbr Type

---------------- ---- --- --------- ------- --------------------------------

G0/2 Altn BLK 20000 128.2 P2p

G0/3 Altn BLK 20000 128.3 P2p

G0/4 Altn BLK 20000 128.4 P2p

G0/5 Altn BLK 20000 128.5 P2p

G0/6 Altn BLK 20000 128.6 P2p

G0/7 Altn BLK 20000 128.7 P2p

G0/8 Altn BLK 20000 128.8 P2p

G0/9 Altn BLK 20000 128.9 P2p

G0/10 Altn BLK 20000 128.10 P2p

G0/11 Altn BLK 20000 128.11 P2p

G0/12 Altn BLK 20000 128.12 P2p

G0/13 Altn BLK 20000 128.13 P2p

G0/14 Altn BLK 20000 128.14 P2p

G0/15 Altn BLK 20000 128.15 P2p

G0/16 Altn BLK 20000 128.16 P2p

G0/17 Altn BLK 20000 128.17 P2p

G0/18 Altn BLK 20000 128.18 P2p

G0/19 Desg FWD 20000 128.19 P2p

G0/20 Altn BLK 20000 128.20 P2p

G0/21 Altn BLK 20000 128.21 P2p

G0/22 Altn BLK 20000 128.22 P2p

G0/23 Altn BLK 20000 128.23 P2p

G0/24 Altn BLK 20000 128.24 P2p

G0/25 Altn BLK 20000 128.25 P2p

G0/26 Altn BLK 20000 128.26 P2p

G0/27 Desg FWD 20000 128.27 P2p

G0/28 Altn BLK 20000 128.28 P2p

G0/29 Desg FWD 20000 128.29 Edge

G0/31 Altn BLK 20000 128.31 P2p

G0/32 Altn BLK 20000 128.32 P2p

G0/33 Altn BLK 20000 128.33 P2p

G0/34 Altn BLK 20000 128.34 P2p

G0/35 Altn BLK 20000 128.35 P2p

G0/36 Altn BLK 20000 128.36 P2p

G0/37 Altn BLK 20000 128.37 P2p

G0/39 Altn BLK 20000 128.39 P2p

G0/40 Desg FWD 20000 128.40 P2p

G0/41 Altn BLK 20000 128.41 P2p

G0/43 Desg FWD 20000 128.43 Edge

G0/44 Desg FWD 20000 128.44 Edge

G0/45 Desg FWD 20000 128.45 Edge

G0/46 Desg FWD 20000 128.46 Edge

G0/47 Altn BLK 80 128.47 P2p

G0/48 Root FWD 60 128.48 P2p

 

SG-200.5.Visok2#

 

Если глянуть например на порт 2 с обеих сторон то видно

SG-200.4.Sport35/Visok22#sh spanning-tree interface gi0/2

 

Port 2 (GigaEthernet0/2) of RSTP is Forwarding

Edge port is auto-disabled, Link type is auto ptop

Port Identifier 128.2, Port role DesignatedPort

Port path cost 20000, Port priority 128

Designated root has priority 0, address 00E0.0FA4.1DB7

Designated bridge has priority 8192, address 00E0.0FA4.1766

Designated port id is 128.2, designated path cost 20

Timers: message age 1, forward delay 15, hello 2

message expires in 0 seconds

Number of transitions to forwarding state: 16

last transitions occurred 175:03:24 ago

sent BPDU : 315259

TCN: 0, RST: 315259, Config BPDU: 0

received BPDU : 327

TCN: 0, RST: 327, Config BPDU: 0

 

SG-200.4.Sport35/Visok22#

 

SG-200.5.Visok2#sh spanning-tree interface gi0/2

 

Port 2 (GigaEthernet0/2) of RSTP is Blocking

Edge port is auto-disabled, Link type is auto ptop

Port Identifier 128.2, Port role AlternatePort

Port path cost 20000, Port priority 128

Designated root has priority 0, address 00E0.0FA4.1DB7

Designated bridge has priority 8192, address 00E0.0FA4.1766

Designated port id is 128.2, designated path cost 20

Timers: message age 1, forward delay 15, hello 2

message expires in 5 seconds

Number of transitions to forwarding state: 189

last transitions occurred 174:58:44 ago

sent BPDU : 2745727

TCN: 0, RST: 2745727, Config BPDU: 0

received BPDU : 2128060

TCN: 0, RST: 2128060, Config BPDU: 0

 

SG-200.5.Visok2#

 

ROOT это свитч выше, с маком 00E0.0FA4.1DB7

И я вовсе не советовал fbdu выключать на аплинковских портах 27-28, я говорил про выключение fbdu на портах абонентских, которые 1-24!

я вас понял, выключу 1-24, правда в защиту от этого у меня включена

 

 

#

BPDU_PROTECTION

 

enable bpdu_protection

config bpdu_protection ports 1-24 state enable

 

попробовать построить на ether-ring можно, но мхо глюков еще больше огребете, не знаю как их 1228 пропустит, да и это все-таки для чистого кольца, а не так как у вас,

 

У нас при такой схеме остается только пробовать. я кстати отправил письмо на support@nag.ru с просьбой дать экспертную оценку такой схемы.

Ответа так и нет.

 

у меня ряд проблем с этимим коммутаторами, не знаю уже. приходят мысли продать их нафиг на радио рынке и купить что - нибудь получше.

Например проблема с мультикастом.

Сивитчи ставят роутер порты на абонентов, как зафильтровать - непонятно. например в Dlink 1228 есть возможность поставить фильтр, тут нету.

если не трудно посмотрите тему, может у Вас будут какие то мысли по этому поводу. Правда там сеть не кольцевая, описывается сетка другого города.

http://forum.nag.ru/forum/index.php?showtopic=79958

 

И врядли кто-то что-то еще подскажет - как у вас сделано имхо неправильно и никто так не строит, с 2мя вланами, с изоляцией портов в ядре.. Кстати если вы изолируете порты друг от друга в центральном 2970 то вполне может быть что из-за этого, т.к. fbdu через центральный 2970 при таком раскладе не ходят.

 

центральный - это полноценный STP nei. и он является рутом. там все проходит.

Количество вланов при такой схеме не должно иметь значения, при правильной работе изоляции, на свитче доступа будут только маки браса и маки свитчей стоящих выше.

Может я не совсем удачно отразил сетку в кружочках.

у меня изолированы все порты на центральной агрегации, агрегации и доступе.