[bilbo]

Как правильно назвать построение сети доступа в следующих вариантах и что лучше объективно?

 

Вариант 1 - жирный брас в одном конце сети, клиенты в другом, посередине монструозный L2 с QinQinQinQ который прозрачно докидывает одно до другого.

Вариант 1а, "на максималках". Поверх варианта 1 растянуто ещё VPLSoMPLSoOSPFoPPTP. Зачем не спрашивайте, вланы там так же руками прописывались по всей сети...

Вариант 2 - на условных "локациях" стоит по менее мощному роутеру, но с таким же функционалом как у в1 (по VLAN на клиента, DHCP, NAT, queues, netflow, ACL). В другую сторону от каждого роутера дотянуто по персональному влану до бордера(ов), внутри P-t-P сеть и OSPF/BGP. "Горизонтального" трафика в сети нет, физика построена "глобально" звездой с бордерами в центре, "локально" кольцами.

 

Интуитивно приятнее и понятнее конечно последний + L2oL3 костыли если сильно нужно. Чем плохо это? Или ничем?

[crank]

Цена L3 сети с несколькими брасами будет явно дороже.

[s.lobanov]

мне кажется что это просто тред для троллинга тех, кто серьезно будет обсуждать VPLSoMPLSoOSPFoPPTP

[crank]

9 минут назад, s.lobanov сказал:

мне кажется что это просто тред для троллинга тех, кто серьезно будет обсуждать VPLSoMPLSoOSPFoPPTP

Особенно PPTP в конце доставляет)))

[Стич]

Берите тот вариант в описании которого получилось меньше всего слов и без многоточий :)

Изменено 30 октября, 2020 пользователем Стич

[jffulcrum]

21 час назад, bilbo сказал:

что лучше объективно?

Объективно лучше то, что умеют конкретные люди - потому как выше вероятность, что они это соберут, это заработает, это будет приносить доход. Смотрите не на технологии, а на людей, или ищите тех, кто умеет нужную технологию.

[Saab95]

Л3 сеть можно сделать полностью только на микротике - потому что у него есть и дорогие, и дешевые роутеры с одинаковым функционалом, отличие лишь в количестве портов и производительности.

 

Делать же такую сеть на цисках - это очень дорого и никто в здравом уме так не будет.

 

При этом схема будет по варианту 3, которого у вас нет - это полный простой L3 транспорт, и терминация абонентов сразу на порту, куда он подключен (там ему выдают адрес по DHCP). Ограничение скорости делают там же, или в центре. Ну и блокировку если надо. Тянуть L2 в центр имеет смысл в случаях, когда стоят жирные брасы, но и тут все просто - MPLS позволяет легко передавать L2, при этом паковать надо лишь на стороне у абонента, а брас сам распакует.

 

При этом даже есть примеры таких сетей, когда некий мелкий провайдер на микротике купил другой крупный, у кого брасы стоят, на микротике прокинули MPLS на брас и все, никакой замены оборудования все работает, и абоненты включились в стандартную инфраструктуру провайдера.

[alibek]

7 минут назад, Saab95 сказал:

Делать же такую сеть на цисках - это очень дорого и никто в здравом уме так не будет.

Потому что на нормальном оборудовании нет нужды в таких костылях.

 

7 минут назад, Saab95 сказал:

это полный простой L3 транспорт, и терминация абонентов сразу на порту

А что там у микротика с широковещательным трафиком и IGMP?

А то ведь он бывает нужен.

[Saab95]

Мы используем юникаст для ТВ, нормально работает. Другие не пробовали.

[alibek]

19 минут назад, Saab95 сказал:

Другие не пробовали.

Конечно не пробовали, это же "устаревшие технологии". А точнее в микротике до недавних пор вообще не было нормального мультикаста и igmp, да и сейчас доверия мало.

Но если использовать нормальное оборудование, то с широковещательным трафиком проблем нет.

[Saab95]

Зачем? У нас, например, все тв по юникасту, тут плюсы в том, что можно на паузу поставить, можно отложенный просмотр сделать, можно фильмы посмотреть из портала и т.п.

А что тут широковещательный трафик сделает? Один хрен магистрали мультикаст займет в пределах своего объема всех каналов, а на распределение пустит лишь заказанные потоки, а что толку, на одну группу абонентов полетит 30-40М трафика мультикаста, или пусть 100М трафика юникаста? Если каналы свободны зачем создавать себе лишние проблемы?

[alibek]

27 минут назад, Saab95 сказал:

Если каналы свободны зачем создавать себе лишние проблемы?

Ну так это проблема, только если использовать сомнительное оборудование и сомнительные подходы в построении сети связи.

На нормальном оборудовании это не проблема, а обычный, штатный трафик с определенными характеристиками и требованиями.

Например в порт может быть подключена IP-камера, с которой можно по мультикасту забирать один поток, а по юникасту это будет несколько потоков и сессий.

[bilbo]

@Saab95 

 

Спасибо, имеено то что я хотел понять.

[bilbo]

On 11/5/2020 at 10:32 AM, Saab95 said:

Л3 сеть можно сделать полностью только на микротике - потому что у него есть и дорогие, и дешевые роутеры с одинаковым функционалом, отличие лишь в количестве портов и производительности.

 

Насколько такую сеть можно масштабировать? Бордеры условно циски или серваки с bird, считаем что бордерами никак не ограничены. Сколько юзеров, или локаций таких с микротами в виде мини-брасов, или полоса общая сколько будет?

[aneye]

Ломаю голову над подобным вопросом уже довольно давно. И пока вариант с L2 от браса до абонента (не суть важно - чистым vlan, qnq, mpls) побеждает остальные варианты, какими бы более технологичными они не казались. Любой зоопарк оборудования будет с этим работать, и это просто в обслуживании (к вопросу о персонале, который будет это обслуживать).

 

Была идея соорудить некую схему, в которой клиент будет подключен по L2 к некой L3-агрегации, но аутентифицироваться будет уже на толстом брас-е в ядре. Единственный вариант, который пока срабатывал (на столе) - это парные vlan-ы до подобных L3-узлов, в одном из которых ходит управление узлом (IGP-BGP), а трафик абонента через PBR кидается на другой саб, где висит уже политика. Но это over-усложнение и костыль.

 

По поводу вопроса с микротиками в виде мини-брасов: во-первых, микротик вряд ли предложит вам ту же ширину функционала относительно абонентских сессий (наборы поддерживаемых радиус-атрибутов), какую предоставит какой-нибудь cisco ASR1k, ну а во-вторых: будет зависеть от моделей микротов. Больше микрот, больше трафика он прожуёт.

[Saab95]

10 часов назад, bilbo сказал:

Насколько такую сеть можно масштабировать? Бордеры условно циски или серваки с bird, считаем что бордерами никак не ограничены. Сколько юзеров, или локаций таких с микротами в виде мини-брасов, или полоса общая сколько будет?

До больших размеров. Все ограничивается лишь памятью на устройствах для хранения маршрутов OSPF. Но учитывая то, что даже RB750 может хранить 30 тысяч маршрутов без проблем - то порядок виден какой.

Для любителей "серьезного оборудования" строительство такой схемы упирается в деньги, т.к. те же циски с функционалом L3 и большим количеством портов стоят очень дорого и их бессмысленно использовать в сети провайдера.

Однако если сделать схему на любителя - некая малопортовая циска, на которую сводятся вланы от абонентов некой группы домов - то это по окупаемости проходит.

 

12 минут назад, aneye сказал:

Ломаю голову над подобным вопросом уже довольно давно. И пока вариант с L2 от браса до абонента (не суть важно - чистым vlan, qnq, mpls) побеждает остальные варианты, какими бы более технологичными они не казались. Любой зоопарк оборудования будет с этим работать, и это просто в обслуживании (к вопросу о персонале, который будет это обслуживать).

А чем тут плоха схема - микротик или циска, на них сводятся вланы группы домов, а уже этот роутер пуляет все в центр? Если в центре нужен L2 от абонентов - перегнать в MPLS, тут же нет никаких сложностей?

Вопрос лишь в том, что MPLS у той же циски стоит дорого, а если взять микротик CRS последних серий, и не особо гнаться по скорости - можно прямо на нем все поднять.

 

14 минут назад, aneye сказал:

Была идея соорудить некую схему, в которой клиент будет подключен по L2 к некой L3-агрегации, но аутентифицироваться будет уже на толстом брас-е в ядре. Единственный вариант, который пока срабатывал (на столе) - это парные vlan-ы до подобных L3-узлов, в одном из которых ходит управление узлом (IGP-BGP), а трафик абонента через PBR кидается на другой саб, где висит уже политика. Но это over-усложнение и костыль.

А что в сети провайдера нужно абоненту?

Выдать нужный адрес на его порт.

Предоставить доступ к ТВ.

Ограничить скорость.

Это разве сложно сделать?

 

15 минут назад, aneye сказал:

По поводу вопроса с микротиками в виде мини-брасов: во-первых, микротик вряд ли предложит вам ту же ширину функционала относительно абонентских сессий (наборы поддерживаемых радиус-атрибутов), какую предоставит какой-нибудь cisco ASR1k, ну а во-вторых: будет зависеть от моделей микротов. Больше микрот, больше трафика он прожуёт.

А зачем радиус атрибуты? Передать IP можно, передать ограничения скорости - тоже можно, что еще нужно абоненту?

Представьте что для доступа используются микротики CRS - там на портах сразу идет L3 доступ. Абонент делает запрос DHCP и получает IP адрес на порт (в центр летит запрос - имя микротика и номер порта, в биллинге так очень легко заводить привязки к абонентам). Далее нужно куда-то подсунуть ограничение скорости - при этом его не обязательно передавать через радиус. В том же биллинга можно вести родителей этого микротика, что бы знать куда отправить ограничение скорости для него. Это может быть или большая мощная железка в центре, или мощный микротик на группу домов, на котором висят ограничения по скоростям этой группы.

 

Тут упрощается администрирование - не нужно прокидывать кучу вланов по всей сети, удобно делать резервные каналы, которые будут всегда использоваться, а не простаивать.

[aneye]

Если вариант - это по клиенту на один L3-интерфейс, то да, здесь решается часть проблем. Однако, обычно, L3 стоит на агрегации, а к нему подключен десяток свитчей и просто так порезать скорость на порту уже не выйдет. Т.е. девайс должен уметь абон-сессии и вешать на них то, что получит от радиуса/биллинга.

 

Еще на ум приходят следующие возможные проблемы.

1) Предположим, мы продаем абоненту не один адрес, а блок адресов. И мы должны ограничивать ему скорость на сессию. Если делать через радиус, то брас должен понимать framed-ip-netmask, дабы понимать, что трафик от любого адреса из выданного блока относиться к одной и той же сессии.

2) У абонента может быть узкий тариф на Интернет, но при этом с ТВ. Если ТВ подавать юникастом, то для ТВ трафика нужна отдельная скорость. Здесь я не скажу точно, т.к. не делал подобных вещей на микроте, наверняка такое разделение на нем сделать можно. Но тут важно, что бы была унифицированная система передачи этих данных от биллинга. Т.е. даже если политики настроены на устройствах локально, мы должны иметь возможность довешивать их в зависимости от опций, которые висят у абонента на договоре.

 

[bilbo]

9 hours ago, aneye said:

Предположим, мы продаем абоненту не один адрес, а блок адресов.

Адреса в любом случае в биллинге прописываются, нет? Вместе с "локацией", а биллинг уже общается с микротом.

[TriKS]

9 часов назад, Saab95 сказал:

Но учитывая то, что даже RB750 может хранить 30 тысяч маршрутов без проблем

Что-что? Брасом или бордером ставить RB750? Сурьозно?

9 часов назад, Saab95 сказал:

а уже этот роутер пуляет все в центр?

Пуляет в цеентр что? Серые адреса? А если белые? Хватает белых адресов? /32 выдаете на разнесенных территориально таких микротиках? Да? Или вы потом в центре еще и НАТ 1:1 устраиваете?

9 часов назад, Saab95 сказал:

А что в сети провайдера нужно абоненту?

Выдать нужный адрес на его порт.

Предоставить доступ к ТВ.

Ограничить скорость.

Это разве сложно сделать?

Список какой-то неполный...

 

9 часов назад, Saab95 сказал:

Представьте что для доступа используются микротики CRS - там на портах сразу идет L3 доступ. Абонент делает запрос DHCP и получает IP адрес на порт (в центр летит запрос - имя микротика и номер порта, в биллинге так очень легко заводить привязки к абонентам). Далее нужно куда-то подсунуть ограничение скорости - при этом его не обязательно передавать через радиус. В том же биллинга можно вести родителей этого микротика, что бы знать куда отправить ограничение скорости для него. Это может быть или большая мощная железка в центре, или мощный микротик на группу домов, на котором висят ограничения по скоростям этой группы.

Какая сложная дичь.... Построенная на костылях из скриптов. Все ради того, чтобы микротики юзать. Ты подстраховался со всех сторон, чтоб в этот раз тебя не уволили ))))

 

9 часов назад, Saab95 сказал:

удобно делать резервные каналы, которые будут всегда использоваться, а не простаивать.

А с чего бы им простаивать?

Изменено 19 ноября, 2020 пользователем TriKS

[Saab95]

1 час назад, TriKS сказал:

А с чего бы им простаивать?

В схеме с L2 вы как предлагаете их использовать? Ведь STP обрубит одну сторону, или нужно разбить ветки так, что бы разделялось примерно на 2 группы коммутаторов, и каждая шла бы по своему каналу? Это не всегда возможно.

 

1 час назад, TriKS сказал:

Какая сложная дичь.... Построенная на костылях из скриптов. Все ради того, чтобы микротики юзать.

В моей схеме нет ни одного скрипта.

 

1 час назад, TriKS сказал:

Пуляет в цеентр что? Серые адреса? А если белые? Хватает белых адресов? /32 выдаете на разнесенных территориально таких микротиках? Да? Или вы потом в центре еще и НАТ 1:1 устраиваете?

Если адреса белые то никакого НАТ нет.

 

10 часов назад, aneye сказал:

У абонента может быть узкий тариф на Интернет, но при этом с ТВ. Если ТВ подавать юникастом, то для ТВ трафика нужна отдельная скорость.

А зачем для ТВ отдельная скорость? Он просто не должен тарифицироваться и все.

Но тут возникает второй вопрос - если у абонента тариф 100М и ТВ, ограничение скорости 100М, но и порт 100М, как тогда быть? =)

 

10 часов назад, aneye сказал:

Предположим, мы продаем абоненту не один адрес, а блок адресов. И мы должны ограничивать ему скорость на сессию. Если делать через радиус, то брас должен понимать framed-ip-netmask, дабы понимать, что трафик от любого адреса из выданного блока относиться к одной и той же сессии.

Применительно к микротику то ему без разницы - если в один шейпер добавить нужное количество адресов - он будет ограничивать общую скорость по ним.

А для работы ТВ нужно просто сделать первым правило без ограничения скорости для ТВ, тогда в сторону адресов ТВ не будет ограничиваться скорость. Вернее правило создается не без ограничения, а с ограничением 10000М, что бы оно ограничивало, но по факту ничего не резало. Без ограничения скорости шейпер на микротике не работает.

[semop]

Без адекватной покраски при ТП 100мбит лить в 100М порт еще и ТВ - то оно будет сыпать, хоть юникаст хоть мультикаст.

Например это дело некоторые "обходят" (провайдер работающий по юникасту) - они отпиливают битрейт, перекодируют и получается какая то фигня, но которую можно в принципе смотреть.

 

23 часа назад, Saab95 сказал:

А зачем радиус атрибуты?

У вас нет радиуса?

А как вы абонента блокируете/редиректите, например когда нет денег?

Как например пронатить одного, а другого не натить? Как считается сессионный трафик с IP/нескольких IP/с IP + ТВ?

А если абон сунет 500 тплинков вам в порт с включеными дхсп? А если сунет не ВАНом, а ЛАНом и сам начнет шуметь дхсп?

 

Вы порты чтоли шейпите? Я думал такие провайдеры вымерли примерно в начале 2000ых)

[Saab95]

1 час назад, semop сказал:

Без адекватной покраски при ТП 100мбит лить в 100М порт еще и ТВ - то оно будет сыпать, хоть юникаст хоть мультикаст.

Так я и делал намек на то, что в любом случае нужен уже шейпер или некие приоритеты, чего на той же циске без потери ресурсов не делается.

В нашем случае на микротике используется тип очереди PCQ, в этом случае при ограничении в 100М трафик внутри "трубы" абонента выравнивается и ТВ идет без проблем, даже с потоками 6 и 8 мбит.

 

1 час назад, semop сказал:

У вас нет радиуса?

У нас нет.

 

1 час назад, semop сказал:

А как вы абонента блокируете/редиректите, например когда нет денег?

Добавляем IP абонента в специальный адрес лист, тех, кто в нем не пускает в интернет, но переадресовывает на все запросы на личный кабинет.

 

1 час назад, semop сказал:

Как например пронатить одного, а другого не натить? Как считается сессионный трафик с IP/нескольких IP/с IP + ТВ?

Ну так у кого серый IP тех натить, у кого белый - тех пускать так. Это же просто. По сути создается одно правило, где указано что подсеть допустим 10.0.0.0/8 идет через нат. Абонентам раздаются адреса этой подсети.

Трафик, если для учета статистики, считает биллинг, на него льется нетфлоу. Так же и доступ к ТВ - есть адрес лист в сторону IP адресов сервера с ТВ, если абонент есть в списке - ему разрешен доступ, если нет - то ТВ не работает.

 

1 час назад, semop сказал:

А если абон сунет 500 тплинков вам в порт с включеными дхсп? А если сунет не ВАНом, а ЛАНом и сам начнет шуметь дхсп?

У нас выдается один IP на абонентский порт. Если абоненту нужно несколько адресов - то выдаются несколько. Привязка стандартно на 5 минут. Если у абонента несколько устройств и его не устраивает то, что адреса иногда между устройствами меняются - можем увеличить ему время аренды. На порту настроен арп - прокси арп, поэтому если он там что-то не то подключит, это повлияет на работу лишь этого абонента.

 

1 час назад, semop сказал:

Вы порты чтоли шейпите? Я думал такие провайдеры вымерли примерно в начале 2000ых)

Нет, у нас шейпера в центре, а на абонентских микротиках только IP адреса на порты навешиваются. И внутрисетевой трафик между абонентами запрещен. За последний год лишь несколько человек спрашивали, почему они между собой трафик передавать не могут.

[TriKS]

14 часов назад, Saab95 сказал:

В схеме с L2 вы как предлагаете их использовать? Ведь STP обрубит одну сторону, или нужно разбить ветки так, что бы разделялось примерно на 2 группы коммутаторов, и каждая шла бы по своему каналу? Это не всегда возможно.

При чем тут STP? Вы не умеете.....

Знаете, я хотел опять накатать простыню с цитатами и окунаниями в какашки метра, но зачем? Из года в год одно и тоже. Толку никакого. Умываю руки.

[Saab95]

14 минут назад, TriKS сказал:

При чем тут STP? Вы не умеете.....

Ну можно сделать костыль вида повесить на 2 стороны петли (не замыкая кольцо в центре) IP адреса и с них раздавать IP абонентам. Тогда часть абонентов получат адреса от одной стороны полукольца, другая от второй.

Но это не решит проблему с количеством мак адресов, не решит проблему с широковещательным трафиком, который может прилететь от абонента (ведь ограничение скорости в центре).

Да и обрыв полукольца приведет, как минимум, к кратковременному прекращению связи.

[aneye]

17 hours ago, Saab95 said:

А зачем для ТВ отдельная скорость? Он просто не должен тарифицироваться и все.

Ну, у абонента может быть мизерный тариф на Интернет, но при этом ТВ по юникасту, которое в этот тариф просто не пролезет. Т.к. это юникаст, то нужно каким-то образом отделить мух от котлет. По поводу тарификации "по трафику" - помегабайтные тарифы? Мне кажется, таких уже не осталось, по крайней мере, у немобильных операторов.