[npokypop]

Доброго времени суток коллеги!

Имеем некую инфраструктуру из более чем десятка базовых станций на оборудовании Mikrotik. 

На данный момент используем смесь топологий звезда-шина, но хотелось бы увеличить надежность сети путем кольцевания участков.

Есть ли у кого опыт работы с протоколами STP в сетях wireless на базе оборудования Mikrotik? Какие есть наработки в этом направлении ? 

[UglyAdmin]

А зачем вам L2-технологии в Микротике? MPLS используйте, это гибче и надежнее. Да и адепты настаивают. :)

[Saab95]

2 часа назад, npokypop сказал:

Есть ли у кого опыт работы с протоколами STP в сетях wireless на базе оборудования Mikrotik? Какие есть наработки в этом направлении ? 

Нормально работать не будет. Потому что может случиться так, что STP потеряется просто в радио и каналы переключатся, может случиться так, что сломается один канал, а трафика в резерв побежит больше, чем он сможет передать - опять обрывы.

 

Самое правильное перейти на L3 транспорт, когда все каналы точка-точка работают в своих сегментах /29, на каждую БС выделяется отдельная подсеть. Сам интерфейс БС (сетевой порт), светится на роутере со служебной сетью, и уже БС поднимает EoIP туннель в центр и бриджует в него данные абонентов, если там PPPoE, или вланы, если схема влан на CPE. Хотя в последнем случае выгодно эти же вланы терминировать там же на БС или ближайшем роутере, и все уже по L3 пойдет в центр.

 

Тогда резервы можно держать не резервами, а передавать по ним трафик, настроив веса маршрутов.

[npokypop]

Боюсь что Hex Poe на скорости порта в L3 не прокачают. 

[Saab95]

Если на L3 не прокачает, то и на L2 тоже не прокачает.

А на практике 600-700 мегабит через такие железки бегает и никаких проблем.

[npokypop]

8 часов назад, Saab95 сказал:

Нормально работать не будет. Потому что может случиться так, что STP потеряется просто в радио и каналы переключатся, может случиться так, что сломается один канал, а трафика в резерв побежит больше, чем он сможет передать - опять обрывы.

 

Самое правильное перейти на L3 транспорт, когда все каналы точка-точка работают в своих сегментах /29, на каждую БС выделяется отдельная подсеть. Сам интерфейс БС (сетевой порт), светится на роутере со служебной сетью, и уже БС поднимает EoIP туннель в центр и бриджует в него данные абонентов, если там PPPoE, или вланы, если схема влан на CPE. Хотя в последнем случае выгодно эти же вланы терминировать там же на БС или ближайшем роутере, и все уже по L3 пойдет в центр.

 

Тогда резервы можно держать не резервами, а передавать по ним трафик, настроив веса маршрутов.

И ни слова о технологии применяемой для отказоустойчивости. 

[Saab95]

Какая технология? Я же писал про L3 сеть - это значит каждый микротик на узлах настраивается роутером с OSPF. Если он имеет связь с центром, и так же с другими роутерами через радиоканалы или оптику, то он сам построит таблицу маршрутов. Если основной канал с центром отключится, сеть перестроится в сторону оставшихся каналов в центр и продолжит работать.

 

На каждом роутере создается пустой бридж, на него вешается IP без маски, например 10.111.0.1 в центре, 10.11.0.2 на ближайшем и понеслось. Заходить на роутеры для управления будете по этим IP адресам. Т.к. если сейчас, допустим, заходите по IP из центра, то в случае обрыва этого канала то по этим адресам обмена трафика уже не будет и на роутер зайти не получится по этому адресу.

[npokypop]

Имел опыт работы с OSPF еще в 2009 году на версии 2.9.27, работало так себе, зато было удобно. Со временем ушли от избыточной маршрутизации в рамках одной локальной сети и перешли на vlan, пробрасываем БС как vlan до ядра через все коммутаторы. Что-то опять подниматься на L3 не очень горим желанием, вот почему про STP протоколы вопрос и созрел. 

[Saab95]

Сравнили тоже древнюю версию. У вас большой L2 сегмент, ведь если в цепочке 10-20 коммутаторов, то на любом может возникнуть некая странная проблема, и пол дня с ней разбираться.

У нас уже большой опыт перенастройки сетей L2 с вланов на маршрутизацию, и основное, по которой люди обращаются, это не понятные проблемы с падением скорости, потерей пакетов и т.п. Ведь в центре у них сходится порядка 200 вланов от разных точек доступа, коммутаторов и т.п. Где-то что-то прилетит и куча жалоб. После перенастройки и замены части оборудования - все проблемы уходят.

 

Вы же сейчас хотите придумать себе проблему, ведь не все коммутаторы правильно работают с STP в разных вланах, опять же не сможете загрузить резервные каналы, если основные окажутся в полочку и т.п. Не будет возможности гибко расширяться, или подоткнуть сотовый модем куда-то, если магистральный кабель оборвали.

[npokypop]

В 26.06.2019 в 15:06, Saab95 сказал:

Сравнили тоже древнюю версию. У вас большой L2 сегмент, ведь если в цепочке 10-20 коммутаторов, то на любом может возникнуть некая странная проблема, и пол дня с ней разбираться.

У нас уже большой опыт перенастройки сетей L2 с вланов на маршрутизацию, и основное, по которой люди обращаются, это не понятные проблемы с падением скорости, потерей пакетов и т.п. Ведь в центре у них сходится порядка 200 вланов от разных точек доступа, коммутаторов и т.п. Где-то что-то прилетит и куча жалоб. После перенастройки и замены части оборудования - все проблемы уходят.

 

Вы же сейчас хотите придумать себе проблему, ведь не все коммутаторы правильно работают с STP в разных вланах, опять же не сможете загрузить резервные каналы, если основные окажутся в полочку и т.п. Не будет возможности гибко расширяться, или подоткнуть сотовый модем куда-то, если магистральный кабель оборвали.

Стараемся строить с минимальным количеством хопов до ядра сети, надежность сейчас на уровне, но задача сделать 100% резервирование, что бы спать спокойно и не думать что все может сломаться в один момент. 

[user71]

У вас в микротиках есть кнопка mesh? Вот если найдете то меняйте мосты на нее и все будет. 

[npokypop]

14 часов назад, user71 сказал:

У вас в микротиках есть кнопка mesh? Вот если найдете то меняйте мосты на нее и все будет. 

Вы в здравом уме ? Может и я болен, но MESH сети тут причем ? 

[user71]

@npokypop вы не бойтесь меш это не страшно ))) это единственый способ сделать все отказоустойчивым. Стп и мосты это все малопригодно к вайфай

[user71]

Алсо существует не так много технологии которые могут избыточные линки. mpls, stp, mesh,ospf,lag самый дееспособный с вафлей меш потому что нативный и сделан под это самое. 

[npokypop]

7 минут назад, user71 сказал:

Алсо существует не так много технологии которые могут избыточные линки. mpls, stp, mesh,ospf,lag самый дееспособный с вафлей меш потому что нативный и сделан под это самое. 

Расскажите о своем опыте эксплуатации. 

[user71]

Стп я делал как файловер для провода. Если провод валится оно найдет там себе кого нибудь по вайфай и прокинет линк. Впринципе схема работает. Но во первых требуется куча времени пока канал переключится все это время связности нет. Во вторых все соединения сбрасываются. Это совсем не так как в оспф - опускаешь линк на котором сидишь и "никакой разницы" все работает так как будто ничего не произошло. Меш работает как оспф...

[npokypop]

Думаю это костыли и не решение для оператора связи.

[Saab95]

Решение для операторов это OSPF.

[user71]

10 hours ago, npokypop said:

не решение для оператора связи

 

2 hours ago, Saab95 said:

Решение для операторов это OSPF.

Как вы определяете для операторов или не для операторов?

 

Костыли не костыли а решение оказалось очень надежным. Провод длиный по пути много изгибов :) а какой нибудь вайфай всегда найдется их миллион вокруг, хоть и с деградацией производительности но работать будет.

 

А вот ваш стп в вайфай не костыли? Как бы стп он в вообще то фукнция моста, мост может что то сделать только с интерфейсом а у вафли 1 интерфейс и куча клиентов ну и как? расскажите о своем операторском костылестроении )))))

Edited June 28, 2019 by user71

[npokypop]

13 часов назад, user71 сказал:

 

Как вы определяете для операторов или не для операторов?

 

Костыли не костыли а решение оказалось очень надежным. Провод длиный по пути много изгибов :) а какой нибудь вайфай всегда найдется их миллион вокруг, хоть и с деградацией производительности но работать будет.

 

А вот ваш стп в вайфай не костыли? Как бы стп он в вообще то фукнция моста, мост может что то сделать только с интерфейсом а у вафли 1 интерфейс и куча клиентов ну и как? расскажите о своем операторском костылестроении )))))

 

Не несите чушь! 

О PtMP речь не идет, откуда вы взяли "куча клиентов"?

 

Есть мнение что STP может плохо работать из-за потерей фреймов, ведь мы знает что там широковещательные методы используются, а они без подтверждения, но это только теория.

 

Все же смотрим в сторону OSPF, и MPLS по верх. Не люблю я много слоев городить.

[user71]

@npokypop а как у вас все устроено? 

 

Ну-ну а вот ваш оспф потерятся типа не может? И ldp тоже ходит как то иначе?

 

Мнение есть только вы его не поняли -))) так и почему нужно отказатся от стп? В вайфай линках всегда все теряется. Эта абсолютно штатная история. Особеность такого вида сетей. Даже в проводных изирнетах фреймы просираются ну ни так часто конечно и тем не менее есть ненулевой шанс что посланый стп недолетит. Однако порты почему то не фапают от этого -)))

[Saab95]

29 минут назад, npokypop сказал:

Есть мнение что STP может плохо работать из-за потерей фреймов

STP вообще протокол для проводных сетей. И он уже давно устарел, есть всякие там RSTP, которые поддерживает микротик. Но у STP протоколов мало настроек, не всегда удобно указывать вес и т.п.

OSPF в этом плане гибче, предоставляет больше функционала. И самое главное - позволяет использовать для одновременной работы все каналы, а не держать их в резерве.

[npokypop]

4 минуты назад, Saab95 сказал:

STP вообще протокол для проводных сетей. И он уже давно устарел

Ой ой, блеснули умом! Для всех тут присутствующих было понятно что STP - это класс протоколов, и всякие RSTP, MSTP, PVSTP туда входят.

 

7 минут назад, Saab95 сказал:

И самое главное - позволяет использовать для одновременной работы все каналы, а не держать их в резерве.

Вот это для нас важно, надо покурить мануалы в этом направлении) 

[user71]

@Saab95 как понимать "сложно указывать вес"? У вас пальцы судорогой сводит когда цыфру вписываете или они указываются на третьем медном слое печатной платы лазером в байз64? -))))

 

Оспф не позволяет каналы. Оспф это про маршруты а не каналы. Если надо балансинг каналов есть лаг ахахахаха ну это правда забавно читать про ваши "операторские костыли" понимая что все равно пересядете на меш. Какую еще ахинею выдумаете?

[Saab95]

5 минут назад, npokypop сказал:

Вот это для нас важно, надо покурить мануалы в этом направлении) 

Не надо там ничего курить. В настройках OSPF есть раздел с интерфейсами. Там задаются веса маршрутов. По умолчанию вес 10. Это лучше не трогать и не менять (в простых случаях).

Далее на резервных интерфейсах, ставите, например, вес 5, если между ним и центром 2 роутера, тогда суммарная сумма маршрутов по нему будет тоже 10 и трафик побежит сразу по обоим каналам.

Если же надо какой-то канал сделать явно основным, просто вешаете на него вес 1 и все.

 

Все это настраивается только в сторону передачи. На другом роутере надо так же указать вес в сторону нужного канала. Основная ошибка как раз забыть везде правильно указать веса маршрутов, и трафик не так ходит.

 

2 минуты назад, user71 сказал:

как понимать "сложно указывать вес"? У вас пальцы судорогой сводит когда цыфру вписываете или они указываются на третьем медном слое печатной платы лазером в байз64? -))))

В том то и дело что мало средств для контроля, если где-то не верно указать в одном месте, сложно найти. И кроме всего от L2 трафика надо уходить.