[yazero]

Доброго дня.

 

Есть мысль перенести нагрузку с 2-х  серверов PPPoE/ACCEL-PPP/BRAS  на mikrotik (80 штук  RB912) которые используются в качестве секторов для радио-абонентов  (20-30 абонентов).

Queues/firewall/ppp/ospf  протестировал , нагрузка великовата  средняя 50 /max 79   , сделал на 3-х секторах .

Если включить на 80(сеть растет)  секторах  ospf,   сеть/микротики не ляжет ?

 

 

Edited November 15, 2017 by yazero

[nkusnetsov]

yazero для ospf критично количество роутеров в одной области. Сегментируйте сеть, разделив на несколько областей(area) и используйте агрегацию и суммаризацию на границах.

[yazero]

хм. пошел читать умные слова.

 

сейчас  так

router ospf 1
 router-id 10.2.1.253
 area 0.0.0.0 authentication
 timers throttle spf 200 400 10000
 redistribute connected
 redistribute static 

passive-interface default
 no passive-interface Vlan2004
 network 10.2.1.0 0.0.0.255 area 0.0.0.0

 

 

создаю 

router ospf 3
 router-id 10.3.1.253
 area 3.0.0.0 authentication
 timers throttle spf 200 400 10000
 redistribute connected
 redistribute static 

 passive-interface default
 no passive-interface Vlan2004 (vlan тотже можно оставить ? )
 network 10.3.1.0 0.0.0.255 area 3.0.0.0

 summary-address xxxxx ?

 

и т.д на каждые 20 роутетеров свой ospf роутер?

 

 

 

Edited November 15, 2017 by yazero

[yazero]

или нужно делать  в таком виде ?

Edited November 15, 2017 by yazero

[Saab95]

6 часов назад, nkusnetsov сказал:

yazero для ospf критично количество роутеров в одной области. Сегментируйте сеть, разделив на несколько областей(area) и используйте агрегацию и суммаризацию на границах.

А это где написано? Есть сети где и 1000 роутеров в одной зоне, есть и более, все работает без проблем.

 

Самое главное это иметь 2 мощных роутера, которым присвоите минимальные ID, а не так, что главным роутером станет какой-то самый дальний RB750=)

 

В вашем случае нужно добавить в network оспф транспортную сеть, а абонентские сети анонсировать через connected маршруты. Если авторизовать будут базовые станции, то шейпера лучше переделать на PCQ (правите дефолтную запись шейпера). Все будет отлично работать.

[nkusnetsov]

11 часов назад, Saab95 сказал:

А это где написано? Есть сети где и 1000 роутеров в одной зоне, есть и более, все работает без проблем

В документации от вендора MikroTik написано "60-80 routers have to be the maximum in one area". Логичная рекомендация по оптимизации передаваемого количества обновлений.
Причем уже очень давно написано так, что все забыли  https://mikrotik.com/testdocs/ros/2.9/routing/ospf.php
Протокол ospf с тех пор существенно не изменился. Подросла только мощность применяемых процессоров в роутерах.

Edited November 16, 2017 by nkusnetsov

[nkusnetsov]

12 часов назад, yazero сказал:

или нужно делать  в таком виде ?

Что-то подобное, только без "RIP". Большой набор роутеров делится на области, между которыми передаются только суммаризованые данные.
В русской терминологии есть варианты названий: Английское слово"area" переводится как "зона" или как "область"

Цитата из Wiki OSPF:

Разделение на зоны позволяет:

• Снизить нагрузку на ЦП маршрутизаторов за счёт уменьшения количества перерасчётов по алгоритму OSPF
• Уменьшить размер таблиц маршрутизации
• Уменьшить количество пакетов обновлений состояния канала

Edited November 16, 2017 by nkusnetsov

[yazero]

2Saab95

основной роутер cisco 4948

 

сейчас настроено как указал в начале поста.

network 10.2.1.0 0.0.0.255 area 0.0.0.0

 redistribute connected
 redistribute static 

 

по поводу PCQ, по умолчанию qos type defaul-small-pfifo, достаточно поменять  kind на pcq ?

 

Edited November 16, 2017 by yazero

[yazero]

2nkusnetsov

можно ли сделать так чтобы  сектора не принимали все маршруты , а только анонсили своих connected/static на L3 switch , и в сторону l3 был маршрут по умолчанию.

 

 

Edited November 16, 2017 by yazero

[nkusnetsov]

yazero , можно. Есть фильтр ospf-in, который фильтрует устанавливаемые в систему маршруты.

Только мне смысл такого запрета неясен. Зачем?

[Saab95]

2 часа назад, yazero сказал:

по поводу PCQ, по умолчанию qos type defaul-small-pfifo, достаточно поменять  kind на pcq ?

 

Если у вас PPPoE, то при подключении клиента на БС (его авторизация), автоматически создается простое правило и у него тип буфера будет указан, обычно это default или default-small. Что бы не трогать настройки PPPoE сервера или иные параметры, достаточно поменять тип этого правила на PCQ, указав в качестве классификаторов все 4 галочки - адреса и номера портов. В этом случае в канале абонента все закачки и запросы будут выравниваться и никакая приоритезация уже не требуется.

 

2 часа назад, yazero сказал:

можно ли сделать так чтобы  сектора не принимали все маршруты , а только анонсили своих connected/static на L3 switch , и в сторону l3 был маршрут по умолчанию.

Тогда у вас центр не будет знать куда отправлять запросы на абонентские адреса, если, конечно, у вас БС не будут сразу NAT делать. Но в этом случае не нужны никакие фильтры - просто добавляете в оспф транспортные адреса.

 

5 часов назад, nkusnetsov сказал:

В документации от вендора MikroTik написано "60-80 routers have to be the maximum in one area". Логичная рекомендация по оптимизации передаваемого количества обновлений.
Причем уже очень давно написано так, что все забыли  https://mikrotik.com/testdocs/ros/2.9/routing/ospf.php
Протокол ospf с тех пор существенно не изменился. Подросла только мощность применяемых процессоров в роутерах.

Там это было написано еще лет 10 назад, с тех пор объемы памяти и мощность подросли, однако даже у RB750 хватает памяти для обслуживания порядка 10 тысяч маршрутов через OSPF. При этом все находится в одной зоне. Поэтому разбивать на зоны нет никакого смысла - это только усложнение настроек без какого-либо практического смысла.

[nkusnetsov]

6 минут назад, Saab95 сказал:

Тогда у вас центр не будет знать куда отправлять запросы на абонентские адреса,

Центр как раз будет знать. БС не будут принимать роуты и работать только по дефолту, отдавая свои сети.

Но зачем такой изврат, я не понимаю, увы.

 

10 минут назад, Saab95 сказал:

это было написано еще лет 10 назад, с тех пор объемы памяти и мощность подросли,

Так любят говорить студенты младших курсов, будущие программисты, когда системы уравнений решают методом перебора значений. "А чо, ЩИТАЕТ за секунду же, и так сойдет". Оптимизация использования ресурсов? Не, не слышали.

[Saab95]

Если брать практически любой институт, то сами преподаватели там основываются на уже устаревшие данные, и это очень хорошо видно по направлениям, которые быстро развиваются. И каждый выбирает технологию для настройки своей сети сам. Один все пустит в одной зоне и не будет знать никаких проблем, настройка тоже минимальная и простая. Другой же будет постоянно разбивать на зоны, и в скором времени все свое время и будет тратить, разве что, на постоянную настройку и поиск неисправностей.

 

То есть правильное это не следовать устаревшим мануалам, а тестировать все на практике.

[nkusnetsov]

Saab95 , Вы меня очень удивили. В других темах предлагаете строить сети изначально правильно, чтобы не переделывать. Здесь вижу, Вы советуете закапывать проблему поглубже под фундамент, надеясь что "наверное не всплывет".
Или это у Вас набивание количества постов на форуме и повод возразить хоть что-то?

Edited November 16, 2017 by nkusnetsov

[yazero]

Тогда пока остановлюсь на одной area,  и буду смотреть за нагрузкой. 

Универсальность и легкость настройки конечно хорошо , согласен с этим . Плюс  простота самого  pppoe (AAA). 

Вообще схема задумывается для перехода на ipoe. Но при  переходе на ipoe  pppoe оказался не таким плохим

(dhcp snooping, opt82,lease time, acl, что есть старт сеcсии для билинга , прерывание сессии при отриц. балансе , смена скорости на лету ). 

 

 

Edited November 16, 2017 by yazero

[yazero]

nkusnetsov  вашу схему понял. будут настраивать и тестировать. 

получается что на 10-20 роутеров мне нужно будет  выбрать ABR который будет главный для отдельной area, но  сектора ребудется  по питанию,  да  и мы сами их ребутим  к примеру при замене firmware.

 

 

 

Edited November 16, 2017 by yazero

[Saab95]

ABR не нужно выбирать, в его роли должен быть самый мощный микротик в центре.

 

4 часа назад, yazero сказал:

Тогда пока остановлюсь на одной area,  и буду смотреть за нагрузкой. 

Универсальность и легкость настройки конечно хорошо , согласен с этим . Плюс  простота самого  pppoe (AAA). 

Вообще схема задумывается для перехода на ipoe. Но при  переходе на ipoe  pppoe оказался не таким плохим

(dhcp snooping, opt82,lease time, acl, что есть старт сеcсии для билинга , прерывание сессии при отриц. балансе , смена скорости на лету ).

Что бы делать IPoE не нужны никакие опции, снупинги и т.п. Достаточно сделать влан на абонента, в каждый влан выдаете уникальный IP в количестве одной штуки, и в биллинге просто указываете его в качестве адреса клиента.

 

6 часов назад, nkusnetsov сказал:

Saab95 , Вы меня очень удивили. В других темах предлагаете строить сети изначально правильно, чтобы не переделывать. Здесь вижу, Вы советуете закапывать проблему поглубже под фундамент, надеясь что "наверное не всплывет".
Или это у Вас набивание количества постов на форуме и повод возразить хоть что-то?

Так я и показываю правильное направление. У меня много сетей где количество роутеров в одной зоне более тысячи - проблем никаких не возникает. Любая настройка должна быть простой, т.к. если в сети 10 роутеров еще можно позволить себе тратить время на всякие там хитрые конфиги или подстройки. Когда 1000 роутеров, любая лишняя секунда, требующая внимания, выливается в многочасовые сидения за компьютером.

[yazero]

В схеме c-vlan да не нужно.  На Mikrotike в схеме БС----АК , при условии что абонент может цепляться к любой доступной БС(в сторону абонента смотрит несколько БС, после авторизации скрипт перекидывает на БС которая указа в БД, в случае аварии сектора  АК никуда не перекидывает   ),  то такую схему как вы предложили не реализовать.

 

 

 

[Saab95]

Если у вас абоненты подключаются по радио, то тут самая оптимальная схема это PPPoE. Особенно если много баз и подключиться абонент может к любой.

Если вас беспокоит меньшее МТУ - можно увеличить его в настройках сервера и клиента, при этом устанавливать PPPoE подключения должна антенна микротик у абонента, а не передавать его транзитом по кабелю, где уже компьютер абонента сам его поднимает. Если надо прозрачно выдавать белые адреса или несколько адресов, их можно повесить на порт CPE, а логин PPPoE будет просто как служебная учетка. Если нужно передать L2 абоненту, то делать через EoIP туннель поверх PPPoE.

 

Вообще все проблемы в таких сетях от IP адресации и не блокировок мусора. Часто бывает так, что на секторе есть абоненты с оконечными CPE, и, допустим CPE на многоквартирный дом. Тут встает вопрос доступа на этот CPE - нужно ему не IP выдавать, а создать служебную учетку PPPoE, по которой на него и заходить. Микротик CPE с сетевого порта должен блокировать все, кроме PPPoE трафика.

 

Но та схема, как вы хотите, все же не удобная. Представьте что будет, если где-то начнутся перегрузы каналов, и радиус запросы будут теряться. Обычно делают IP транспорт, поверх которого от каждой БС в EoIP туннеле гонят абонентский L2 в центр, где терминируют на микротике, повесив PPPoE сервер прямо на туннель. Получается полная изоляция всех баз и полное отсутствие любых проблем. Минус только один - туннелирование трафика как тут любят писать. То есть он идет сначала в EoIP, потом в PPPoE.

[yazero]

На CPE устройство  доступ абоненту не даем.   на CPE  прописано 2 vlan (mgmt/inet).

Но схемы где CPE на многоквартирный дом тоже есть(4-8 целовек).

 

Схема EOIP тунель  от БС до BRAS , сейчас  реализована  отдельным pppoe vlan для каждой БС. Но уже начинает бесить что в транзите на коммутаторах  1600 mac от CPE , так еще 1600 mac  самих абонентов

 

На CPE создан bridge  и прописаны filter  , разрешено arp  ppp, обмен между комплектами запрещен, 

и так как vlan до БС разные  никто никому  не мешает.

 

По поводу " мусора"  на bras,  на 500ТБ около 100ГБ присутствует паразитного трафика ,в основном это bogon сети (еще есть 137-139 445 1900  123  порты  но из них в топе 445 порт).

 

В мой схеме с центральным BRAS неудобно  то что я не могу посмотреть на конкретной  БС какое CPE грузит канал  и какой тип трафика вход или исходящий преобладает (  так как wireles/registration мало информативно для этого.)

 

 

 

 

 

Edited November 17, 2017 by yazero

[Saab95]

Вы не верно настроили сеть. Представьте вы увеличите количество БС в 2-3 раза и что дальше?

Авторизация должна быть именно в центре, это проще, надежнее, и никак не привязано к оборудованию. Схема на самом деле простая.

 

1. В центре микротик, который авторизует абонентов сам через PPPoE, либо пропускает на авторизацию дальше на циску или иное устройство, тут создается уникальный влан на каждую БС.

2. Транспортная сеть полностью на IP, каждая БС имеет свой IP.

3. С каждой БС идет свой уникальный EoIP туннель в центр. На БС бриджуется туннель и wlan адаптер (и все WDS клиенты).

4. Каждое клиентское CPE работает в режиме роутера, то есть само поднимает PPPoE соединение и выдает абоненту по кабелю серую сети вида 192.168.0.1/24.

5. Каждое CPE на несколько абонентов авторизуется через PPPoE, поднимает EoIP туннель в центр, на его входе блокируется все, кроме PPPoE.

 

Такая схема самая быстрая, самая отказоустойчивая.

Не надо настраивать никаких вланов, в том числе вланов управления. Вообще не понятно зачем эти вланы управления нужны, когда всем управлять можно просто без них? Все это только усложняет администрирование.

 

Мы уже не один раз переделывали сеть по типу вашей на нормальную схему, сразу интернет начинал работать более отзывчиво, и нагрузка по мусорному трафику пропадала, то есть в центре сразу снижался объем входящего трафика процентов на 20-30.

[saaremaa]

В 18.11.2017 в 17:22, Saab95 сказал:

5. Каждое CPE на несколько абонентов авторизуется через PPPoE, поднимает EoIP туннель в центр, на его входе блокируется все, кроме PPPoE.

А что с MTU делаете? 

[yazero]

В 18.11.2017 в 18:22, Saab95 сказал:

Вы не верно настроили сеть. Представьте вы увеличите количество БС в 2-3 раза и что дальше?

Авторизация должна быть именно в центре, это проще, надежнее, и никак не привязано к оборудованию. Схема на самом деле простая.

 

1. В центре микротик, который авторизует абонентов сам через PPPoE, либо пропускает на авторизацию дальше на циску или иное устройство, тут создается уникальный влан на каждую БС.

2. Транспортная сеть полностью на IP, каждая БС имеет свой IP.

3. С каждой БС идет свой уникальный EoIP туннель в центр. На БС бриджуется туннель и wlan адаптер (и все WDS клиенты).

4. Каждое клиентское CPE работает в режиме роутера, то есть само поднимает PPPoE соединение и выдает абоненту по кабелю серую сети вида 192.168.0.1/24.

5. Каждое CPE на несколько абонентов авторизуется через PPPoE, поднимает EoIP туннель в центр, на его входе блокируется все, кроме PPPoE.

 

Такая схема самая быстрая, самая отказоустойчивая.

Не надо настраивать никаких вланов, в том числе вланов управления. Вообще не понятно зачем эти вланы управления нужны, когда всем управлять можно просто без них? Все это только усложняет администрирование.

 

Мы уже не один раз переделывали сеть по типу вашей на нормальную схему, сразу интернет начинал работать более отзывчиво, и нагрузка по мусорному трафику пропадала, то есть в центре сразу снижался объем входящего трафика процентов на 20-30.

1) в центре два bras (указал в первом посте ), на каждую БС создан свой vlan

2) транспортная сеть L2 чем плоха ?  везде мои сети. Там где не моя сеть, сделан EoIP.

Вы ранее : Обычно делают IP транспорт, поверх которого от каждой БС в EoIP туннеле гонят абонентский L2 в центр.

3)До каждой БС нужно создавать свой EOIP тунель, это значит   что нужно дополнительно навесить 2 ip по концам, для чего, в чем профит ?

   в текущей схеме есть 2 vlan .  mgmt и pppoe . pppoe прописан bridge ether-wlan  .  Все CPE прописываются на всех БС одинаково в 375  vlan (цель унифицировать подключение), а потом мепятся в персональный vlan для конкретной БС. 

   Почему так сделано,  если есть проблема на участке сети,  то ее быстрее найти , изолировать , прописать ограничения  на bras-е  и т.п. , проблем пока не было , может потому что сконфигурировано все правильно и просто:-).

 

4) и 5)  интересная идея.

 

P.S. зачем используется vlan управления..

 Исторически сложилось когда скрипт снимал данные о уровне сигнала  CPE , наличие mac на порту,  для автоматизации смены прошивки,   да и вообще изоляции трафика между сервисами (inet , voip) . CPE продолжение L2 нашей сети, только не порт коммутатора , а само CPE.

 Хотя на данный момент система снятия метрик переписана через API  с БС (кол. активных и прописанных CPE на каждой БС ,  уровень сигнала cpe , добавление  wireles-acl  каждой CPE, смена частоты)

 

 

 

    

   

 

Edited November 20, 2017 by yazero

[yKpon]

у нас перевариают ospf, авторизуют по радиусу pppoe и шейпят, L3 гоним на узловой CCR

rb912 на 30-40 клиентах нагрузка порядка 50-70%

если допустим 1 тик на многоквартирный дом, то на нём так же поднимаем ospf и pppoe

короче пока не было такого чтобы тик упёрся в топ

https://gyazo.com/35f9a15645a5a82dd27cabb1dec85c8d

 

Edited November 20, 2017 by yKpon

[yazero]

yKpon уффф я думал я один такую схему хочу реализовать.  задам вопрос, а зачем вы так сделали ? :-)

              

                                                 

Edited November 21, 2017 by yazero