[dengus]

Странного придумалось. Два микротика в одном офисе, два в другом офисе в другом городе. Все подключены к разным провайдерам.

В самих офисах для резервирования шлюза в локальных сетях попарно связаны через VRRP, включены RSTP bridge для подключения локальных коммутаторов. Подняты два канала l2tp между офисами. Поднят OSPF. В случае падения канала, OSPF перестраивает маршруты. Занимает 5-20 секунд.

Меняем каналы на EOIP, с двух сторон на микротиках эти каналы соединяем отдельными бриджами с RSTP, дополнительно соединив микротики в офисах физически через ethernet интерфейсы в этих бриджах. Получаем STP кольцо из четырех маршрутизаторов.

Аналогично локальным сетям связываем микротики попарно включением VRRP. Меняем маршрутизацию на статическую.

Технически все прекрасно работает. Отрубаем одного провайдера, STP переключает на другой канал. Задержка в виде потери одного-двух пакетов при переключении. Клиенты ничего не замечают.

На самом деле офисов больше и везде поднят OSPF, просто факультативно стало интересно сменить резервирование с L3 на L2 уровень, и что даже работает быстрее OSPF.

Ожидать ли подвоха от схемы?

 

[Saab95]

Конечно, когда все переведете на L2, все перестанет нормально работать.

Если у вас сейчас настроено нормальное резервирование через OSPF и вам не нравится долгое переключение, то настройте BFD. Это позволит определять падение канала хоть за пол секунды.

 

И не забудьте, что router-id центральных микротиков должны иметь адреса 0.0.0.1 и 0.0.0.2.

[semop]

Харош, @myst 

 

5-20сек еще зависит от качества канала связи и величины таблицы маршрутизации.

У нас на ЛТЕ переключение 4 пинга. На волс - 0.

 

ПС: от л2тп я бы вот отказался. Он тяжелый. Была тема тут, когда л2тп вешал процессор на 90% (в зависимости от нагрузки конечно)

Вопщем 100мбит он уже внатяг. Даже гиговый супермикротик с лсд дисплеем)

 

ПС2: я одного не понял. Вы поверх ospf катаете STP? Если да, то зачем?) У вас же оспф собран уже.

[VolanD666]

23 часа назад, Saab95 сказал:

И не забудьте, что router-id центральных микротиков должны иметь адреса 0.0.0.1 и 0.0.0.2.

И еще обязательно добавьте эти адреса в ДНС (прямую и обратную зону)....

[dengus]

20 hours ago, semop said:

 

ПС: от л2тп я бы вот отказался. Он тяжелый. Была тема тут, когда л2тп вешал процессор на 90% (в зависимости от нагрузки конечно)

Вопщем 100мбит он уже внатяг. Даже гиговый супермикротик с лсд дисплеем)

 

ПС2: я одного не понял. Вы поверх ospf катаете STP? Если да, то зачем?) У вас же оспф собран уже.

В качестве теста пробовал разные туннели l2tp, eoip. По факту eoip самый производительный по скорости передачи трафика. Может на него перейти?

 

Наоборот ospf поверх rtsp c vrrp поверх l2tp. Но это чисто эксперимент, собранный на стенде.

 

В реальности такой реализации я не встречал. RTSP кольцо внутри бриджей микротиков, широковещание внутрь кольца не попадает. Так как RSTP кольцо находится внутри l2tp с ipsec могу предположить, что BDPU пакеты провайдерских коммутаторов в цепи не будут влиять на работу дерева, также и наоборот - BDPU пакеты не выйдут на уровень провайдера и порты не заблокируются.

Могу предположить, что также в отличие от физических линков между коммутаторами сложно указать стоимости маршрутов, тонкие настройки рассылки BDPU. Ввиду разных провайдеров и нестабильности скорости каналов между роутерами, так как каналы подняты через Интернет. И все-таки в реальности почему так не делается?

 

[Saab95]

В 26.11.2019 в 13:28, myst сказал:

Может ты откроешь RFCrfc2328 например и почитаешь что такое router-id?

Я написал как надо сделать, а не теорию учить.

 

10 часов назад, dengus сказал:

И все-таки в реальности почему так не делается?

Потому что L2 хорошо работает на L2 каналах физических, когда его загоняют в туннель через L3, проблемы могут возникнуть любого плана, и отловить их будет очень сложно. Именно по этому интернет работает на L3 уровне, а не L2.

[myst]

4 часа назад, Saab95 сказал:

Я написал как надо сделать, а не теорию учить.

Заскринил. Тебе ничего сложнее метлы в руки давать нельзя. И то, там же ТБ.

[TriKS]

9 часов назад, Saab95 сказал:

Именно по этому интернет работает на L3 уровне, а не L2. 

Однозначно в мемориз!!!

[VolanD666]

Он ведь это несерьезно?

Edited November 28, 2019 by VolanD666

[pingz]

В 26.11.2019 в 11:58, dengus сказал:

На самом деле офисов больше

При 200-300 маках в одном домене вы не оцените, но когда их будет +\- 1к то железки нужны будут более нарядные. Есть очень большая вероятность поймать L2 петлю очень занимательная история.  Если при L3 петле возможно еще, что-то сделать и посмотреть, то при L2 придется просто отрубать линки. Утилизация канала будет ниже широковещательный мусор будет проходить везде. 

 

Я ухожу от L2 сегментов к L3 т.к. более предсказуемые решения при проблемах. 

[alibek]

Так L2-доступ не означает, весь доступ нужно сваливать в один широковещательный домен.

Есть сегментация, есть изоляция портов и ACL, есть шторм-контроль и прочее.

[pingz]

@alibek Друг проспись ты в ветке Mikrotik.

 

[Saab95]

5 часов назад, alibek сказал:

Есть сегментация, есть изоляция портов и ACL, есть шторм-контроль и прочее.

Если все это по итогу идет в одном кабеле, то какая разница? Петля может прилететь в любом влане, и как его отловить, если никакого оборудования на сети, кроме как в центре нет, где трафик посмотреть?

 

На микротике можно отправить снифером трафик заголовков на IP адрес тестового ноута, где админ трафик смотрит, и если прилетит что-то такое, от чего микротик подвиснет, можно успеть увидеть какой трафик предшествовал зависанию.

[TriKS]

4 минуты назад, Saab95 сказал:

Петля может прилететь в любом влане, и как его отловить, если никакого оборудования на сети, кроме как в центре нет, где трафик посмотреть?

Шо? Нормальные девайсы вполне в логах пишут влан с лупом и могут тушить даже не порт, а просто влан с лупом :) даже длинк это может :) и лог пишет, да. И лог может сливаться на сервер, да. И снифать ничего недоторчем ненадо

[Saab95]

8 минут назад, TriKS сказал:

Нормальные девайсы вполне в логах пишут влан с лупом и могут тушить даже не порт, а просто влан с лупом :)

Они это как определяют? Когда их же мак с порта придет? А если туда прилетит зеркало кучи других маков, но не мака порта, он что, так же луп увидит?

[TriKS]

Шо? То есть в порт просто так прилетело куча маков с пустого кабеля? Или как? Мне рассказывать как работают свитчи и лупдетект? И что же отошлет микротик в отзеркаленный порт когда подвиснет от бродкастшторма? кучку маков? И что в них увидит оператор на другом конце? горстку маков?

Edited November 28, 2019 by TriKS

[McSea]

@dengus 

Рабочая схема, у меня так соединены два офиса. В одном два микротика, два провайдера, в другом один микротик, два провайдера, в т.ч. LTE.

Только я не EoIP использую, а BCP/L2TP, отдельные бриджи.

Переключается очень быстро, на скриншоте видно переключение с оптики на LTE и обратно без потерь. 

 

  

 

[Saab95]

В 28.11.2019 в 17:44, TriKS сказал:

Шо? То есть в порт просто так прилетело куча маков с пустого кабеля? Или как? Мне рассказывать как работают свитчи и лупдетект?

А вы никогда не встречали ситуаций, когда сетевой адаптер в компе, или подгоревший порт коммутатора начинает зеркалить пакеты? Например на него прилетел арп пакет, а он в ответ от своего мака выдал его 10 раз обратно, или вообще не от своего.

 

И если на сети еще и вланы имеются, то вполне может прилететь чужой трафик из чужого влана в другой влан и т.п. И так же с подменой маков или случайными маками.

[TriKS]

Та не, сэр. Ты вначале дай объяснения, что увидит оператор в отзеркаленном трафике? И когда увидит? И увидет ли? Тут траф должен зеркалиться оператору постоянно и оператор должен смотреть че залетело, пока микрот на другой стороне окуклился? Или как ты себе это представляешь? Т.е. микрот сам не может потушить влан\порт, он обязательно вначале окуклится и должен быть замиррорен на оператора и оператор сидит вместо обычного лупдетекта? Ну нормальное такое решение :)

14 минут назад, Saab95 сказал:

И если на сети еще и вланы имеются, то вполне может прилететь чужой трафик из чужого влана в другой влан

Это так можно в микротике, когда бридж лагает. Ага. Например в 30\4011 когда 2 свиччипа связаны софтово. В нормальных девайсах нет софтовых бриджей для связки вланов. Там свиччип без костыльства индусов реализован.

Edited November 29, 2019 by TriKS

[semop]

В 27.11.2019 в 10:33, dengus сказал:

Может на него перейти?

Я на eoip оставил. Все хорошо вроде.