[weedman]

Здравствуйте, Планируется построение EPON сети в населенных пунктах, вокруг города Б, небольшое количество поселков, в которых предполагается брать канал, ставить микрот, от него через PON абонентам. 

Для экономии на СОРМе, биллигне, удобства управлением, есть мысль присоединить туннелями поселки к железке в городе Б и там выводить трафик в интернет. Какие в этом плюсы и минусы, как лучше организовать? 

на первых парах, планируется подключение условно равное 256 клиентам на населенный пункт. 

Спасибо.

Edited February 21, 2019 by weedman

[LostSoul]

Основных минусов несколько 

 

1) вам в том самом центре города Б придется тоже брать канал , желательно какой-нибудь другой без СОРМ ( ну чтоб за один и тот же трафик не платить два раза, внутри туннеля и снаружи  )

 

2) существенное снижение надежности, глюкодром  ( абоненты будут страдать суммарно от проблем с каналом в НС , с каналом "подачи туннеля" , с каналом "который с сорм"

 

3) увеличение задержек у абонентов

 

4) снижение пакетной производительности / пропускной способности "каналов" из-за того что все пакеты размером примерно от 1470 и выше у вас будут после упаковки в туннель передаваться как 2 пакета вместо одного.

То есть при работе какого-нибудь ftp или закачки по http ваша производительность будет проседать почти в два раза.   ( пакет 1500 будет передаваться как 1 кадр 1500 + 1 кадр ~70  байт  )  

 

Если у вас в каждой точке 256 абонентов, то лучше нормально договорится с крупным магистралом по продаже вам подключения "многоточка"

 

[weedman]

7 минут назад, LostSoul сказал:

Основных минусов несколько 

 

1) вам в том самом центре города Б придется тоже брать канал , желательно какой-нибудь другой без СОРМ ( ну чтоб за один и тот же трафик не платить два раза, внутри туннеля и снаружи  )

 

2) существенное снижение надежности, глюкодром  ( абоненты будут страдать суммарно от проблем с каналом в НС , с каналом "подачи туннеля" , с каналом "который с сорм"

 

3) увеличение задержек у абонентов

 

4) снижение пакетной производительности / пропускной способности "каналов" из-за того что все пакеты размером примерно от 1470 и выше у вас будут после упаковки в туннель передаваться как 2 пакета вместо одного.

То есть при работе какого-нибудь ftp или закачки по http ваша производительность будет проседать почти в два раза.   ( пакет 1500 будет передаваться как 1 кадр 1500 + 1 кадр ~70  байт  )  

 

Если у вас в каждой точке 256 абонентов, то лучше нормально договорится с крупным магистралом по продаже вам подключения "многоточка"

 

не выгоднее сормить в одном месте?

уточните пожалуйста по поводу многоточки, какие могут быть плюсы?

если все брать у одного магистрала и весть трафик будет внутри его сети, это не спасет ситуацию с задержками? весть трафик по дефолту весь равно будет идти через город Б, с туннелем, или без

[LostSoul]

13 минут назад, weedman сказал:

не выгоднее сормить в одном месте?

уточните пожалуйста по поводу многоточки, какие могут быть плюсы?

Хорошо, я неудачно выразился.  Имел ввиду что проще будет взять L2 до нужных вам точек оптом , вместе с соответствующей полосой интернет.

То есть к примеру 500гбит внешней полосы + n точек L2  с оговоренной общей нагрузкой в те же 500мб  ( от выносов до серверной аплинка, куда вы свою железку поставите )

То есть если у вас второго аплинка ближайшее время не предполагается , то L2 с оговоренной общей небольшой полосой будет выгоднее чем просто тупо L2 и надежнее чем "туннели на микротик".

Хотя если эти туннели на подключения физлиц вешать предлагается, тогда да, жадность побеждает

 

[Saab95]

В поселке ставите микротик и к нему подключаете ПОН, на микротике заводите влан на абонента, вешаете IP и т.п.

В этот микротик подключаете любой канал, хотите оптику, хотите радио, хотите интернет. Если интернет, то поверх него поднимаете L2TP туннель в ваш центр и гоните весь трафик в нем. Про то, что большие пакеты не проходят - не страшно, современные микротики обладают достаточной пропускной способностью, что бы все прокачать. Если не хотите, что бы абоненты видели, что пакеты 1500 байт не проходят, можно на туннеле зажать МТУ до 1500, тогда разбивка пакетов будет идти на более низком уровне и пинг пакетами 1500 байт без фрагментации пройдет.

 

В центре просто ставите 3 микротика - один для приема туннелей со своим IP, второй для выхода во внешние сети, он же будет делать и НАТ, и третий для шейпера. К нему подключите первый микротик с туннелями. Сорм подключите в разрыв второго и третьего.

[LostSoul]

25 минут назад, Saab95 сказал:

В центре просто ставите 3 микротика - один для приема туннелей со своим IP, второй для выхода во внешние сети, он же будет делать и НАТ, и третий для шейпера. К нему подключите первый микротик с туннелями. Сорм подключите в разрыв второго и третьего.

Saab95 , я очень уважаю вас за многолетнее упорство, но боюсь если я волевым усилием не заставляю себя прекратить читать ваши "рецепты " , то мне потребуется психиатр ,чтоб заставить себя продолжать обслуживать уже смонтированные  устройства mikrotik.

потому что после ваших рецептов их сразу стойко хочется обойти подальше :-)

 

[EShirokiy]

Оптимальный вариант - l2 до центра, там уже брасы, биллинги и прочее. Просить у аплинков сразу нормальный мту (минимум 1600).

В каждой точке интернет, а далее туннели - это изврат, если хотите огрести много проблем, то лучший вариант.

[guеst]

@Butch3r ,  

8 часов назад, weedman сказал:

вокруг города Б

внезапно! %-/

[weedman]

8 часов назад, LostSoul сказал:

Хорошо, я неудачно выразился.  Имел ввиду что проще будет взять L2 до нужных вам точек оптом , вместе с соответствующей полосой интернет.

То есть к примеру 500гбит внешней полосы + n точек L2  с оговоренной общей нагрузкой в те же 500мб  ( от выносов до серверной аплинка, куда вы свою железку поставите )

То есть если у вас второго аплинка ближайшее время не предполагается , то L2 с оговоренной общей небольшой полосой будет выгоднее чем просто тупо L2 и надежнее чем "туннели на микротик".

Хотя если эти туннели на подключения физлиц вешать предлагается, тогда да, жадность побеждает

 

нет, планируется все по честному.как правильно начать разговор для предоставления L2? mikrokotiki будут все соединены на канальном уровне физически? то есть не нужно танцев вокруг туннелей и так же будет один сорм?

[LostSoul]

2 часа назад, weedman сказал:

нет, планируется все по честному.как правильно начать разговор для предоставления L2?

а у вас вообще какие то предварительные договоренности есть, или вы как снег на голову?

может быть у того провайдера есть собственные планы на включение территорий, которые вы предполагаете охватить?

 

[Saab95]

9 часов назад, EShirokiy сказал:

Просить у аплинков сразу нормальный мту (минимум 1600).

Зачем? Что бы потом по нему вланы гонять? Для микротика 1500 хватит с головой - что бы поднять соседство по OSPF и далее гонять абонентский трафик в центр.

 

Так же нужно понимать, что не все L2 каналы можно использовать без ограничений, часто бывает что там ограничивается количество мак адресов, номера вланов и т.п. Нормальный L2 дают только крупные, когда гоняют поверх своей сети через MPLS, а мелкие только и могут что влан для арендатора пробросить и QinQ включить по требованию, регулярно отправляя пачки чужих маков или трафика в эти каналы.

[weedman]

4 часа назад, LostSoul сказал:

а у вас вообще какие то предварительные договоренности есть, или вы как снег на голову?

может быть у того провайдера есть собственные планы на включение территорий, которые вы предполагаете охватить?

 

Был разговор с представителем по одной территории, проблем не возникло. РТ не особо нужен частный сектор в местах вокруг города Б

[LostSoul]

7 минут назад, weedman сказал:

Был разговор с представителем по одной территории, проблем не возникло. РТ не особо нужен частный сектор в местах вокруг города Б

Ну вот тогда возобновите этот разговор по "деталям и модели ценообразования".

 

Типа так и так , мы с вами предварительно обсуждали брать у вас XXX мегабит за XXX рублей   .

Мы предполагаем в качестве первой очереди строится вот там ( обсужденная территория ) и вот там ( предположительно наименее конфликтная по интересам следующая территория )

Где вы могли бы предоставить нам ближайшую точку подключения от этих адресов  , получится ли там предоставить L2 до центральной площадки. 

Будет ли это L2 для нас стоить дополнительных денег? Если будет то сколько , с учетом что мы не будем нагружать указанные L2 более чем на 10-20% выше , чем выкупленный внешний канал в интернет с СОРМ?   Какие возможны варианты?

 

Что у вас там за "центральная точка" и потребуется ли вам там арендовать место под роутер у Ростелекома, или место в соседнем шкафу можно арендовать например у местной АТС мне неведомо, узнавайте сами.

 

Ну и разумеется имейте ввиду, что достроиться до имеющейся точки присутствия ростелеком вам почти наверняка будет дешевле, чем напрягать их, чтоб они достраивались до нужного вам места.

 

 

[EShirokiy]

@Saab95 вам бы только вредные и неадекватные советы раздавать.

Захотел по своей сети пустить мплс или куинку, то все, соси лапу.

[LostSoul]

1 час назад, EShirokiy сказал:

@Saab95 вам бы только вредные и неадекватные советы раздавать.

Захотел по своей сети пустить мплс или куинку, то все, соси лапу.

ну я бы отдельно выносить мозг ростелекому об изменении мту до 1600 пошел бы только если бы был реальный спрос на такие услуги.

а откуда он там в окраинных поселках возьмется не вполне понятно.

++ на фоне того что я писал выше, такие хотелки явно не будут способствовать хорошему торгу и сбиванию цены.

Типа уж что-то одно - или торгуйся или какие-то нестандартные хотелки.

вы вообще представляете сколько они ( ростелеком ) такое изменение в конфигурации согласовать будут

 

[Saab95]

1 час назад, EShirokiy сказал:

Захотел по своей сети пустить мплс или куинку, то все, соси лапу.

Это все основано на опыте аренды L2 каналов в течении более 10 лет. Только у крупных вроде большой тройки, можно взять настоящий чистый L2, в котором можно передавать что угодно, и ничего, кроме своего трафика там никогда не будет, канал никогда не станет криво работать. У других же операторов L2 выглядит в виде проброшенного влана через два десятка коммутаторов, с ограничением по количеству мак адресов, передачи мультикаста и т.п. При этом канал может за месяц несколько раз перестать работать, когда где-то на пути его следования коммутатор поменяют и забудут ввести правильные настройки.

 

Именно по этой причине и нужно на L2 каналах передавать только IP данные между двумя IP адресами роутеров и ничего более.

[LostSoul]

1 час назад, Saab95 сказал:

L2 каналах передавать только IP данные между двумя IP

возникает тогда резонный вопрос, зачем вообще брать L2 ?

чтоб по нему передавать данные между "двумя адресами роутеров"?

проще тогда взять L3 который можно зарезервировать разными резервными маршрутами, на случай если l2 путь отвалится, а путь в какое-то другое "свое" место нет.

 

 

[EShirokiy]

MPLS офигенная штука (даже на микротах) для резервирования и продажи другим операторам услуги L2VPN, если у вас нет таких потребностей, то это не значит, что они не потребуются ТС.

[Saab95]

17 часов назад, LostSoul сказал:

возникает тогда резонный вопрос, зачем вообще брать L2 ?

чтоб по нему передавать данные между "двумя адресами роутеров"?

проще тогда взять L3 который можно зарезервировать разными резервными маршрутами, на случай если l2 путь отвалится, а путь в какое-то другое "свое" место нет.

Если взять L3, то не сможете по нему поднять динамическую маршрутизацию, и в списке соседей не будет видно дальнее устройство. Именно по этой причине и следует брать L2 канал, т.к. на дальней стороне монтажник может просто другой новый микротик подключить, а администратор зайти удаленно и настроить. Это позволяет экономить на знаниях монтажников, платить им меньшую ЗП и т.п.

[LostSoul]

11 минут назад, Saab95 сказал:

о не сможете по нему поднять динамическую маршрутизацию,

динамическую маршрутизацию ( если имелось ввиду что-то типа ospf ) поднять можно , просто ip-адрес удаленной стороны нужно будет явно прописать на противоположной. Так как ospf и по юникасту умеет.

Что касается неработоспособности через L3 winbox-а ,  то я думаю это ничтожный недостаток в сравнении с расширенными возможностями которые дает L3

[Saab95]

Какие возможности транспорта по L3 у вышестоящего оператора это дает? Если у него MPLS, то резерв до конечной точки и так есть, а если все сломается, то и на L3 все сломается. Поэтому оператору выгоднее брать L2 каналы и самому их резервировать.

Кроме всего искать проблемы на L3 арендованных каналах всегда сложнее.

[LostSoul]

1 минуту назад, Saab95 сказал:

Кроме всего искать проблемы на L3 арендованных каналах всегда сложнее.

Заблуждение .   На L3 арендованных каналах искать проблемы сложно,  но хотя бы имеется такая возможность.

Искать проблемы на L2 невозможно самому в принципе - его реализация скрыта от вас поставщиком L2 канала.

 

 

3 минуты назад, Saab95 сказал:

Какие возможности транспорта по L3 у вышестоящего оператора это дает?

Ну вы же L2 / L3 берете не просто так, а для оказания каких-то услуг.

То есть ( например ) в точке А у вас главный узел связи ,  в точке Б  клиент который потребляет с  узла в точке А интернет.

Теперь предположим , что у провайдера обрушилась сеть в точке А ,  а в точке Б сеть исправна ( и имеет связанность с интернет , точками обмена трафиком и.т.п)

 

В случае использования L3 , вы можете  для точки Б сделать  основной путь оказания услуги через узел в точке А ,   запасной путь оказания услуги через географически другой узел в точке Д.     В случае L2 канала , вы возможности такого резерва лишены.   Так как ваши возможности маневра жестко ограничены тем путем, куда проложен L2.

 

[alibek]

4 минуты назад, LostSoul сказал:

Заблуждение .   На L3 арендованных каналах искать проблемы сложно,  но хотя бы имеется такая возможность.

Искать проблемы на L2 невозможно самому в принципе - его реализация скрыта от вас поставщиком L2 канала.

Не сказал бы.

В прошлом году делали стык с частной AP для SIM-карт, через L3VPN.

Так этот стык больше трех недель упорных экспериментов делали, прежде чем он все-таки заработал, как надо.

И я до сих пор не уверен на 100%, что на моей стороне проблем не было, т.к. вместе с аплинком экспериментировал и я.

 

В случае с L2VPN все намного проще — если я не вижу MAC-адресов на концах туннеля, значит проблема у поставщика.

Если есть какие-то функциональные ограничения (широковещание, приоритеты), то они формализованы и их легко проверить.

Мы как предоставляет L2VPN, так и сами пользуемся, и ни разу для запуска туннеля не потребовалось больше пары часов.

 

14 минут назад, LostSoul сказал:

В случае L2 канала , вы возможности такого резерва лишены.   Так как ваши возможности маневра жестко ограничены тем путем, куда проложен L2.

LACP, STP.

[Saab95]

Это все основано на опыте. Допустим есть 5 удаленных точек.

 

Вариант L3 - вышестоящий провайдер дает стык с подсетью допустим 10.10.10.2/30, единичка его шлюз, а 10.10.10.10, 11, 12, 13, 14 это адреса удаленных точек. На удаленных точках (сейчас пока не будем вдаваться в маски подсетей), нужно прописать эти же "чужие адреса", и указать маршрутами вручную, что все подсеть 10.10.10.0/24 должна идти через порт этого провайдера. Если это не прописать, то никакое OSPF не заработает, т.к. оборудование не узнает, куда передавать маршруты.

Более того, если в OSPF стоит анонс присоединенных маршрутов, то эти подсети разлетятся по всей таблице маршрутизации и будут в ней болтаться. И если вдруг какая-то точка потухнет, к ней начнутся потери, еще какие-то непонятки, то уже ничего нельзя будет сделать, не посетив дальнюю сторону. Определить нагрузку каждого канала сложно, т.к. все идет в IP.

 

В случае L2 - вышестоящий даст стык с 5 вланами, в каждом влане будет L2 канал до удаленной точке. Тут можно указать какие нужно IP адреса и все заработает. По L2 в соседях видно устройства, можно зайти по мак адресу, запустить пинг по маку и т.п. Торчем посмотреть какие пакеты ходят или не ходят, всегда видно загрузку каждого канала по загрузке интерфейса.

 

Сейчас мы вообще арендные L3 не используем, только L2.

[LostSoul]

22 минуты назад, alibek сказал:

Не сказал бы.

В прошлом году делали стык с частной AP для SIM-карт, через L3VPN.

 

Я имел ввиду , не брать L3VPN в то виде , как его понимаете вы ,  а взять просто L3 ( полноценный ip transit )

оно как правило по деньгам дешевле , настраивается быстрее , падает реже и чинится быстрее ( ввиду массовости услуги и очевидности возникших проблем для персонала )

Я не вижу приемуществ взять L2 чтоб потом гонять по нему "исключительно IP трафик между IP-адресами двух оконечных устройств по двум концам L2 линка".

L2 берут как раз для того, чтоб использовать как часть своей сети и гонять по нему все подряд.

Если же все равно заморачиваться, делать какие-то там туннели и.т.п. из идейных соображений, то и брать надо IP-транзит.

В этом смысле можно будет через банальный traceroute увидеть на каком хопе все легло и сделать выводы о причинам и сроках ремонта.

( это разумеется, если у провайдера архитектура сети нормальная, а не vlan до ядра как у некоторых )