Схема сети мини-оператора, прошу содействия.

[OOODecada]

Добрый день.

Прошу подксазать как реализовать взаимодействие border1, bоrder2 и R1. Пока аплинк один с Zapret все понятно, но если добавляется второй или третий то не могу понять как обьединить все их маршруты на R1. Вот такая схема будет работать?

 

 

Edited August 11, 2024 by OOODecada
добавлена схема

[sol]

Оставайтесь техническим директором, но наймите админа.

 

[RialCom.ru]

а какие тарифы и скорости в этом слитном ЖК будут? раз в 100 дороже среднего по рынку?

[OOODecada]

Не знаю как это соотносится с техническими вопросами, стоимость 600р за 100МБит/c. это 80% пула абонентов, есть немного со скоростями 200-300 и ценой около 1000 руб. Я не в курсе как там с рынком, у нас ЖК почти в чистом поле стоит, конкурентов пока не видно.

 

sol, как раз переделываю после предыдущего руководителя, котрый нанял админа и выключил голову, как вы предлагаете. 

[RialCom.ru]

2 bgp ноги,  тспу, яровая-сорм 

жк на несколько десятков тысяч квартир?

[nixx]

зачем вам два бордера, если вы микрооператор?

сколько денег не жалко-то?

типа бюджетный вариант - тазик - бордер, тазик - нат, имеющийся микротик в качестве шейпера либо вообще выкинуть, плюс два тазика под виртуалки с биллингом, 1ской, запретом и прочими (один работает, второй в резерве, либо как хотите)

можно объединить нат и шейпер на тазике, можно объединить всё сразу (бордер, нат, шейпинг) на ASR100n-X, смотря сколько есть трафика и денег.

в центре - какой-нибудь L3 свитч пободрее (на худой конец можно Nexus 3064 в качестве L2 поставить), с него как раз зеркалить трафик в сорм (у вас же есть сорм? или вышестоящий сормит?)

 

...а потом окажется, что трафика там 3 гбита на всех )) и достаточно одного CCR1036.

[Savchenko]

два бордера это нормальная схем, с учетом будущего. А ставить микротик даже на 1г симметрии стремно. 

[RialCom.ru]

имхо автору стоит поделиться информацией - полоса и количество абонентов

[VolanD666]

17 часов назад, RialCom.ru сказал:

имхо автору стоит поделиться информацией - полоса и количество абонентов

При всем уважении к Вам, ну вот даст вам автор эту информацию и что? Вы ему сеть запроектируете?

 

В 08.08.2024 в 19:14, OOODecada сказал:

sol, как раз переделываю после предыдущего руководителя, котрый нанял админа и выключил голову, как вы предлагаете. 

Нужно не переделывать. Нужно делать Аудит+Проектирование+ПНР и тогда у вас что-то из этого получится. В противном случае, скорее всего выйдет такая я же дичь как сейчас только под другим углом ИМХО.

[OOODecada]

Добавил схему.

Насчет советов по оборудованию, оно уже куплено до меня, это Микротики 2216,1036 3шт, 2004 4шт. Доступ в основном на коммутаторах Cisco 2960s 32 шт. 

 

На данный момент остался вопрос как реализовать несколько аплинков и фильтровать их через Zapret?

 

VolanD666 да, с этим согласен, скорее всего так и сделаем, но перед этим все же нужно представлять себе схему и все ее плюсы/минусы. Чтобы ТЗ выглядело осмысленным а не общими фразами.  Так как то что было сделано до меня, тоже делали "профессионалы" интеграторы, которые просто следовали техническому заданию формально, только после запуска оператора и полугода судов, они так и не смогли привести его в рабочее состояние. Я тут типа  "кризис менеджер" к тому же сетями никогда не занимался, я инженер строитель. Но поручили вот копаю. По возможности прошу помочь. 

Пока думаю над вариантом, по одной BGP сессии до каждого вышестоящего оператора (на одном операторе так уже сделано, по второму тоже скоро договорюсь), с каждого бордера через OSPF передаю дефоулт гейтвей на R1, т.е. по моему роутер R1  должен получиться как "суммирующий маршруты"(не нашел подходящий термин), далее трафик этого роутера уже идет фильтруется Zapret. Как думаете это сильно дикая схема? Как ее можно реализовать по-нормальному?  

Edited August 11, 2024 by OOODecada

[DeLL]

Слишком много маршрутизаторов для маленькой сети.

по схеме: используете в качестве R1 микрот 2216. в него пихаете все аплинки. Соответственно R1 будет выполнять функции обоих бордеров с картинки. Их упраздняем

R2 - ставите 1036 с прошивкой рос7, чтобы она нормально приняла fv по ibgp и подключаете ZAPRET как на схеме в r1 и r2 и настраиваете его по ibgp. Можно и на рос6 оставить, но не будет полноценной изоляции vrf и медленнее загрузка bgp

NAT - еще один 1036. Тоже советую делать на рос7 из-за vrf. Между R2 и натом уже не нужен bgp. Тут только оспф. 

Шейпер - думаю он же будет терминировать абонентов. Пачка 2004 наверно как раз для этого)) Тут ничего не скажу, так как схема сильно зависит от биллинга - что он умеет и как работает. Связь с натом - только оспф

Третий 1036 можно поставить вторым натом и в него воткнуть еще пару 2004 для терминации. будет некое распределение нагрузки.

Для отказоустойчивости схема должна быть намного сложнее и дублирование всего оборудования, но такого вопроса наверно не стоит.

 

Другие решения фильтрации кроме запрета рассматривали? Cyberfilter позволяет сделать "облачную" фильтрацию по bgp. Тогда и R2 в схеме будет лишним

[OOODecada]

Dell,  

Да 2004 используются как терминация вланов, они территориально разнесены по одному на МКД. Два 1036 по задумке должны были быть резервирующими друг друга, но не прокатило. 

Устранить бордеры не получится, по крайней мере пока. Так как эти точки подключения провайдеров разнесены на почти 2км, к тому же на ISP 1 еще и доп услуги приходят от оператора по транку(телефония и тв) и используются там на удалении (в схему я их не внес чтобы не усложнять). Разделение роутеров на шейпер и nat мне ктото на форуме посоветовал сделать именно так, потому что производительность значительно лучше, поэтому получилось так много роутеров. 

Насчет Cyberfilter пошел читать. Спасибо за помощь.

Edited August 11, 2024 by OOODecada

[DeLL]

NAT и шейпер на микроте лучше разделить, ибо это все-таки софт-роутер, никогда не стоит об этом забывать.

По поводу разнесения исп - ну опта же есть между узлами? соберите просто все на одном бордере. если берете помимо транзита еще тв и прочее - поставьте там коммутатор (10 г, если надо) на нем и разделите услуги. Не вижу смысла из-за двух аплинков ставить два бордера. Один бордер должен стоять -  и хоть десять аплинков на него. При установке двух бордеров начинаются совсем другие сложности. Поверьте - оно вам не надо)

[kapydan]

Вставлю свои 5 копеек.

 

Как ввыше написали, для начала надо провести аудит текущей схемы сетии понять что-как-где в ней работает. Как понимаю, схема из 1го сообщения - это не то, что есть сейчас, а то, что должно быть в итоге по вашему мнению?

 

А какая схема вланов - у вас влан идет на абонента, на этаж в подъезде или как-то иначе? А то для 4х роутеров и 32 свичей (и как они подключены - есть какой-то агрегатор, коммуттатор ядра) очень много маршрутизации. И бордер бы я ставил только один - с двумя, если нет опыта, тот еще напрям может получиться.

[Saab95]

В 11.08.2024 в 18:41, kapydan сказал:

А какая схема вланов - у вас влан идет на абонента, на этаж в подъезде или как-то иначе?

Вланы нужно терминировать еще до серверной, тогда в центре будет БГП + НАТ + Шейпер и все.

 

В 11.08.2024 в 12:46, OOODecada сказал:

Устранить бордеры не получится, по крайней мере пока. Так как эти точки подключения провайдеров разнесены на почти 2км, к тому же на ISP 1 еще и доп услуги приходят от оператора

Нужно на них оставить БГП + НАТ, с нагрузкой до 10Г на каждый справятся. Желательно соединить их напрямую оптикой для передачи данных между ними. Далее шейпера подключаете после них и к ним абонентов, желательно их вланы терминировать еще до шейпера на других микротиках.

 

В 11.08.2024 в 12:24, DeLL сказал:

Другие решения фильтрации кроме запрета рассматривали?

Например тот же карбон редуктор для своей работы требует лишь зеркало обратного трафика - подключаете бордер 1 и бордер 2 (в разрыв оптики через сплиттеры) и копию трафика отправляете на сервер блокировок, от него патчкорд с ответами в ближайший роутер. Все - вопрос с блокировками решен.

[OOODecada]

Спасибо всем кто помогал. Жаль что на вопрос который я задавал ответа так и нет.

 

Saab95, я уже кажется задавал вам этот вопрос. Можете пожалуйста описать лучшую схему пользователь-шейпер-нат?

Я планирую терминирвать вланы на шейпере, так как коммутаторы не умеют.

Т.е. в финальной схеме будет так: влан на пользователя, с коммутатора вланы транком идут в шейпер, далее на шейпере завожу на каждом влан интерфейсе - dhcp сервер и ограничение скорости.

В шейпер будет подключены 2 nat роутера для резерва. С шейпера в nat роутер уже идут только ip,  вот практический вопрос как правильно связать шейпер и nat роутеры? 

[Morty]

2 часа назад, OOODecada сказал:

будет так: влан на пользователя

 

Вас не просто так спрашивали кол-во абонентов и кол-во трафика.

Эта схема не для микротиков, если конечно у вас не микро провайдер, который не будет расти.

Ваш вопрос решается двумя серверами.

Если очень хочется, то можно всё зарезервировать второй парой серверов.

И будет это намного дешевле и производительнее, чем ставить кучу микротиков.

А Saab вам посоветует купить ещё 5 микротиков к тем, которые у вас уже есть.

 

(Для справки: на одном б/у сервере за 1000$ можно поднять 10к ipoe/pppoe сессий + нат + шейпер и потянет он минимум 20гбит/сек. Чтобы добиться такого же результата на микротиках, вам придется купить их штук 10. При этом в случае ддоса вся эта стопка микротиков встанет колом.)

Edited August 23, 2024 by Morty

[sirmax]

@OOODecada

вы точно хотите использовать именно микротик? Или допустимы другие вендоры 

 

я не нашел примерного трафика это до 5 или до 10 гиг?

Или больше?

 

общее правило, чем меньше активного оборудования (свитчей, роутеров, серверов) тем надежнее, до 10 гиг с этим справиться один сервер, вместе с биллингом, или asr1000 (вопросы фильтрации я не комментирую так как не в курсе в какой вы стране и какие требования законодательства)

 

 

[OOODecada]

Morty, sirmax абонентов 804 шт. Расти это количество не будет, по крайней мере в ближайшие 2-3 года. Трафик до 5 Гбит/c.

Конечно хотелось бы использовать то что уже куплено. Но если это критично то 2 сервера можно купить.

Другое дело что настроить их тоже нужно, поддерживать тоже ктото должен, но пока я не могу прийти даже к принципиальной схеме, все советуют разное.

 

Morty, а зачем еще микротики докупать? в схеме которая в первом посте вроде весь функционал обеспечен. 

Edited August 24, 2024 by OOODecada

[DeLL]

Не используйте влан на абонента, если планируете терминировать их на микроте. Почитайте соседние темы - другие форумчане подтвердят, что при кол-ве вланов больше сотни флапанья физики или простой ребут приводят к глюкам. и вланы придется руками вкл\выкл чтобы заработали.

Я уже писал, но повторюсь - надо плясать от биллинга. Что он умеет - такую схему и реализовывать. Терминацию на ipoe/pppoe/qinq, поддерживаемые железки и тд и тп.

Еще вопрос - оно уже как-то работает и надо будет текущую схему переделывать с минимальным простоем? Или стройка с нуля?

Насчет "еще больше микротиков" отвечу за Morty - сааб у нас тут местный троль 80 лвл и у него кроме микротиков нет ничего больше и быть не может.

[sirmax]

Биллинг на 800 абонентов? 
какие тарифы?

 

могу для старта предложить выкинуть из схемы днс ( давать внешний) шейпер ( давать на скорости порта) и биллинг ( для начала сделать помесячный тариф, один) 

ядро сети которое вы тут рисуете - это дело десятое, какие будут абонентские свитчи?

 

[sdy_moscow]

Банально, НО! Вам надо просто продать эту сеть и не мучиться, конкурентно-способный оператор на 800 абонентов, без перспективы роста - это утопия. Сил будете тратить много, а зарабатывать с трудом на ЗП.

[Saab95]

7 часов назад, DeLL сказал:

Не используйте влан на абонента, если планируете терминировать их на микроте. Почитайте соседние темы - другие форумчане подтвердят, что при кол-ве вланов больше сотни флапанья физики или простой ребут приводят к глюкам. и вланы придется руками вкл\выкл чтобы заработали.

Не правда.

 

На микротике можно и 1000-1500 вланов держать. После включение / перезагрузки система IP загружается быстрее, чем подтягиваются вланы, поэтому некоторые оказываются не рабочими, IP адрес установился ранее, чем поднялся интерфейс.

 

Для решения проблема достаточно в планировщике заданий создать скрипт запуска по стартапу на выключение и включение всех вланов. Он работает 30-60 секунд, в зависимости от производительности роутера.

 

7 часов назад, DeLL сказал:

Насчет "еще больше микротиков" отвечу за Morty - сааб у нас тут местный троль 80 лвл и у него кроме микротиков нет ничего больше и быть не может.

Есть схемы сети удобные, а есть L2, где только коммутаторы, все в центр, и никакого толкового резервирования или распределения нагрузки.

 

21 час назад, sirmax сказал:

общее правило, чем меньше активного оборудования (свитчей, роутеров, серверов) тем надежнее, до 10 гиг с этим справиться один сервер, вместе с биллингом, или asr1000 (вопросы фильтрации я не комментирую так как не в курсе в какой вы стране и какие требования законодательства)

Чем более распределенная сеть - тем она надежнее.

 

Допустим можно терминировать 1000 абонентов в центре, а можно по 100 на 10 разных устройствах. Надежнее как раз схема с 10 устройствами, т.к. вероятность выхода из строя всех разом на порядки ниже, чем выход из строя одного центрального устройства. Да и конфигурация проще.

 

Образно говоря можно иметь в одном районе 100 вланов с нумерацией 101-200, в другом те же номера 101-200 и т.п. А если все идет в центр, то нужно следить за распределением вланов.

 

12 часов назад, OOODecada сказал:

Другое дело что настроить их тоже нужно, поддерживать тоже ктото должен, но пока я не могу прийти даже к принципиальной схеме, все советуют разное.

Хорошая схема это микротик с L3 транспортом. Никаких проблем на сети возникать не будет, т.к. нет мест для неполадок.

 

21 час назад, Morty сказал:

(Для справки: на одном б/у сервере за 1000$ можно поднять 10к ipoe/pppoe сессий + нат + шейпер и потянет он минимум 20гбит/сек. Чтобы добиться такого же результата на микротиках, вам придется купить их штук 10. При этом в случае ддоса вся эта стопка микротиков встанет колом.)

В случае одного сервера его нужно еще уметь настроить, а что бы это уметь - надо десяток лет заниматься линукс подобными системами.

 

В 23.08.2024 в 21:50, OOODecada сказал:

Я планирую терминирвать вланы на шейпере, так как коммутаторы не умеют.

Т.е. в финальной схеме будет так: влан на пользователя, с коммутатора вланы транком идут в шейпер, далее на шейпере завожу на каждом влан интерфейсе - dhcp сервер и ограничение скорости.

На шейпере не нужно терминировать - он ограничивает скорость.

 

Терминировать нужно ранее, например тот же CCR1009 легко терминирует 10Г трафика, хватило бы портов для подключения абонентов. Ранее ставили CCR1016 с одним портом 10Г и остальными 1Г оптическими для сбора удаленных абонентских коммутаторов. Там же и терминировались абоненты. Далее в центре только шейпер / нат и все.

 

В абонентской терминации есть проблемы мусора. От 1000 абонентов идет столько не нужного - АРП запросов, всяких там потерянных ответов, просто левый трафик. Иногда идет зеркало всего трафика с коммутатора, если во время передачи потока данных в абонентский порт он отключился, а другие коммутаторы еще таблицу мак адресов не обновили.

 

По сути все темы форума, где было про то, что микротик сам по себе зависает, решались поиском флудящего или подгоревшего порта.

[Morty]

1 час назад, Saab95 сказал:

Надежнее как раз схема с 10 устройствами

 

Что я и говорил...

10 микротиков на 1к абонентов.

А ещё надо каждому абоненту по микротику и на каждый дом по микротику.

И если что-то начнет тормозить, то надо увеличить кол-во микротиков в 2 раза.

 

1 час назад, Saab95 сказал:

случае одного сервера его нужно еще уметь настроить, а что бы это уметь - надо десяток лет заниматься линукс подобными системами.

 

Установить биллинг, радиус и accel-ppp (причем мануалов полно). Для человека, который полный 0, уйдет максимум месяц, чтобы максимально хорошо разобраться во всех нюансах установки и настройки. Плюс в ТГ чатах помогут. А если человек не может освоить базовые вещи, то ему не место в ISP.

 

@OOODecada, вам все советуют не использовать микротики, кроме Saab`а. Задумайтесь.

Посмотрите в сторону accel-ppp. На оф сайте accel-ppp есть ссылка на ТГ чат, напишите туда, вам подскажут как все красиво сделать. Схема vlan per user идеально работает на accel-ppp. Люди на одном сервере держат по 10-20к абонентов. И всё легко резервируется, причем автоматически. Помучаетесь месяц, разберётесь, зато потом будете радоваться.

Edited August 24, 2024 by Morty

[zavndw]

В крайнем случае если аксель выглядит сложным - есть VyOS

И вся схема будет бордер - тазик - абоненты.
Если по ТЗ делать из того, что есть - то верхние два роутера выглядят лишними на маленькую сеть