[sol.ogur]

Добрый день!
Опубликовал этот пост в разделе Программное обеспечение, биллинг и *unix системы

Пост закрыли для обсуждения и попросили перейти в эту ветку!
Прям чувствуется, что Микротиководов в Гетто загнали и как то не хорошо это.. )))
 

Кто может проконсультировать по современному планированию архитектуры внутренней Ethernet сети ЖК? Мой перерыв в сетестроительстве около 10 лет..

Сразу скажу - это не Россия! Никаких СОРМ, Лицензий и прочих глупостей не планируется!!!

Изначально вводные такие. 3 корпуса по 32 квартиры. 1 этаж паркинг и другие административные помещения. 2-5 этаж по 8 квартир. Коммуникационный стояк на 2 квартиры. На этаже 4 стояка.
Услуги будут предоставляться:
Безлиминтые тарифы в интернет 10 - 100mbit/s
Бесплатный Wifi на территории ЖК в зонах отдыха. Нагрузка 100-500 единовременных подключений для гостей и жителей.
IpTv, IpТелефония внутренняя.
Для нужд ЖК по внутренней локальной волоконнооптической сети будет передаваться видео трафик с IP камер (около 100шт.), данные с приборов учета электроэнергии, воды и газа.

Первоначальная концепция архитектуры сети:
Топология - звезда

Волоконнооптические одномодовые одноволоконные кабельные линии до каждого конечного потребителя порт 1gb/s от распределительного щита с коммутатором 48sfp. Далее магистрали с 3х корпусов приходят в центральную аппаратную на коммутатор 24sfp+
Подключение потребителя IPoE по волокну router Mikrotik sfp 1gb/s (для всех квартир в этажных щитах будут установлены одинаковые роутеры Mikrotik к ним будут подключены приборы учета и клиентские Wifi роутеры.)
Волоконнооптические кабельные линии + коммутаторы Mikrotik sfp 1gb/s PoE для IP видеокамер (1 коммутатор на 4 видеокамеры на 1 пост)
Центральная аппаратная:
Шлюз маршрутизатор Mikrotik на 2 внешних оператора. Подключение sfp. 1gb/s
Коммутатор 3 ур. 24 sfp+ для подключения жилых корпусов и других административных линий и серверов.. (Cisco дороговато. ищем альтернативу)
Коммутатор 3 ур. 48 sfp порты 1 gb/s для видеокамер (Cisco дороговато. ищем альтернативу)
Серверы хранения и обработки видеотрафика Supermicro
Сервер Биллинга Supermicro - ПО биллинга пока под вопросом (на рассмотрении Ланбиллинг так как с ним работали давным давно..)
Сервер DNS. Asterisk. Web. Radius. Supermicro
Сервер Tv Supermicro
В каждом корпусе на 1 этаже коммутационный щит с Коммутатор 3 ур. 48 sfp порты 1gb/s для подключения абонентских волс (32 линии / 16 в запасе.)

Дорожная карта - клиентский роутер, сервера услуг, точки предоставления Wifi получают IP, выделенную полосу и авторизуются напрямую из сервера биллинга через Radius. Программная реализация BRAS Mikrotik.

Сеточка маленькая. Городить космические корабли нет бюджета. Хочется сделать все культурно и аккуратно. Без сексуальных излишеств)
Что скажете комрады?

 

[VolanD666]

В чем смысл волокна до абонента, если у вас скорости 10-100 мбит? Ну даже если гигабит нужен. Почему не медь?

[sol.ogur]

23 minutes ago, VolanD666 said:

В чем смысл волокна до абонента, если у вас скорости 10-100 мбит? Ну даже если гигабит нужен. Почему не медь?

Очень просто. Качественные медные кабели дороже оптики. Расстояния по последней мили во многих местах больше 100 м.

Обслуживание более затратное чем с оптикой. Конект/неконект обжали/недожали.. Чтобы не зависить от человеческого фактора.
+ у нас большая влажность и соль.. Все сети вокруг нас строятся только на оптике.

[VolanD666]

35 минут назад, sol.ogur сказал:

Очень просто. Качественные медные кабели дороже оптики. Расстояния по последней мили во многих местах больше 100 м.

Обслуживание более затратное чем с оптикой. Конект/неконект обжали/недожали.. Чтобы не зависить от человеческого фактора.
+ у нас большая влажность и соль.. Все сети вокруг нас строятся только на оптике.

Тут я бы поспорил. Ну пусть так.

 

Коммутаторы Микротики я бы не брал, Длинки тоже. Я бы смотрел в сторону SNR, если в том же ценовом диапазоне.

В центре, если не Циска, то я бы смотрел в сторону Хуавей.

Если расти совсем не планируете, то микротики в качестве роутера ядра- норм. Если планируете то я бы смотрел в сторону Cisco ASR. 

 

По биллингу, можно попробовать что-нить бесплатное для маленького количества пользователей (Типа Абилс Биллинг), если зайдет- то можно расти уже в платную сторону.

 

Все что написал выше- ИМХО, как бы сделал я.

 

[sol.ogur]

Благодарю!
Расти некуда. Это закрытый проект. Услуги только для внутреннего пользования.
Биллинг хотим только потому что был опят использования. И нада же чем то считать жильцов по услугам связи. Да и резать полосу удобнее в Биллинге для тарифов.

Коммутаторы вообще проблема. Так как от России далеко и все что продается рядом, это Trendnet TPlink Mikrotik Ubiquti. И все что на Амазон/Ебей...
SNR хорошоо если жить в России.. А как если погорят машинки? Резерв держать на все случаи жизни не получится.. 

Вот и выбираем из того что быстро можно купить на месте.
Трафик/нагрузка не большая будет. Но найти коммутаторы с 48 портами sfp 1gb да еще и бюджетные не так и просто.. 

[[anp/hsw]]

Почему тогда не xPON? На амазоне и ebay должно быть полно такого железа.

[sol.ogur]

1 hour ago, [anp/hsw] said:

Почему тогда не xPON? На амазоне и ebay должно быть полно такого железа.

Отличный вариант. Пассивные сети интересно, меньше активного железа учитывая регулярные проблемы с городским энергоснабжением..
Но на сколько выйдет дороже? тут считать нужно...

[sol]

3 часа назад, sol.ogur сказал:

Но на сколько выйдет дороже?

Как бы дешевле не вышло...

[sol.ogur]

2 часа назад, sol сказал:

Как бы дешевле не вышло...

Можете чтото порекомендовать из оборудования? Марка/модель?

[lugoblin]

10 hours ago, sol.ogur said:

Серверы хранения и обработки видеотрафика Supermicro
Сервер Биллинга Supermicro - ПО биллинга пока под вопросом (на рассмотрении Ланбиллинг так как с ним работали давным давно..)
Сервер DNS. Asterisk. Web. Radius. Supermicro
Сервер Tv Supermicro

Не знаю что у вас там с нагрузкой, но зачастую имеет смысл брать не отдельную железку для каждой задачи, а несколько одинаковых и нагрузить их виртуализацией. Например Proxmox или XCP-ng. Вроде, Vmware бывает халявный. От виртуализации вам стоит требовать, по минимому, живую миграцию с хоста на хост и снапшоты.

Это с целью стандартизации и уменьшения номенклатуры разнообразного железа, гибкости при внедрении и изменениях, упрощения восстановления.

Если расчитывать так, чтобы всё влезло в N-1 планируемых серверов, то можно будет их по одному безблезненно ставить на профилактику, апгрейдить и т.д.

 

[sol.ogur]

1 час назад, lugoblin сказал:

Не знаю что у вас там с нагрузкой, но зачастую имеет смысл брать не отдельную железку для каждой задачи, а несколько одинаковых и нагрузить их виртуализацией. Например Proxmox или XCP-ng. Вроде, Vmware бывает халявный. От виртуализации вам стоит требовать, по минимому, живую миграцию с хоста на хост и снапшоты.

Это с целью стандартизации и уменьшения номенклатуры разнообразного железа, гибкости при внедрении и изменениях, упрощения восстановления.

Если расчитывать так, чтобы всё влезло в N-1 планируемых серверов, то можно будет их по одному безблезненно ставить на профилактику, апгрейдить и т.д.

 

Частично виртуалки понимаю куда ставить. Но как можно хранилище видеокамер в виртуалку запихнуть и главное зачем? Или сервер Биллинга? или 1C сервер.
Раньше софтовые микротик шлюзы грузили на флеш диск и крутили в памяти. Но сейчас Микротики хардверные. 
Если только поставить виртуалку на все сервисы - radius, dns, web, asterisk,

Тема интересная но расскажите подробнее если можно. Как вы видите организацию всей этой кухни?

[Стич]

11 часов назад, sol.ogur сказал:

13 часов назад, [anp/hsw] сказал:

Почему тогда не xPON? На амазоне и ebay должно быть полно такого железа.

Отличный вариант. Пассивные сети интересно, меньше активного железа учитывая регулярные проблемы с городским энергоснабжением..
Но на сколько выйдет дороже? тут считать нужно...

Обратите внимание, что у PON есть и недостатки, всё-таки эта технология компромисс для доставки услуг в удаленные друг от друга отдельно стоящие домохозяйства

в условиях когда была дорогой волс.

Начиная от трудностей диагностики аварий заканчивая вендоро зависимостью оборудования включая абонентское окончание.

Изменено 13 мая, 2021 пользователем Стич

[[anp/hsw]]

42 минуты назад, Стич сказал:

Начиная от трудностей диагностики аварий заканчивая вендоро зависимостью оборудования включая абонентское окончание.

Если человеку позарез нужна оптика до абонента, то нет смысла городить что-то кроме PON при таком количестве подключений.

У PON и мониторинг есть, и потребление энергии/тепла на центральном узла будет в разы меньше.

Вы представляете, сколько жрет свич на 48sfp и как греется? Больше потребление - меньше UPS держит.

Да и по цене скорее всего будет дешевле или сопоставимо.

Было бы там 5-10 абонентов, выбор был бы больше.

[Стич]

31 минуту назад, [anp/hsw] сказал:

Если человеку позарез нужна оптика до абонента, то нет смысла городить что-то кроме PON при таком количестве подключений.

У PON и мониторинг есть, и потребление энергии/тепла на центральном узла будет в разы меньше.

Вы представляете, сколько жрет свич на 48sfp и как греется? Больше потребление - меньше UPS держит.

Да и по цене скорее всего будет дешевле или сопоставимо.

Было бы там 5-10 абонентов, выбор был бы больше.

Вечный холивар PON против классики все доводы за и против на наге можно прочитать.

Главное предупредить человека, что не всё так идеально как кажется.

Моё мнение PON надо применять исключительно для решения проблем для которых эта технология разрабатывалась.

[[anp/hsw]]

12 минут назад, Стич сказал:

Моё мнение PON надо применять исключительно для решения проблем для которых эта технология разрабатывалась.

Вот как раз 32-квартирные дома это и есть застройка малой плотности. Учитывая, что меньше 80 квартир даже в классических 5-этажках редкость.

[Стич]

11 минут назад, [anp/hsw] сказал:

Вот как раз 32-квартирные дома это и есть застройка малой плотности. Учитывая, что меньше 80 квартир даже в классических 5-этажках редкость. 

Ну тот не удалённые друг от друга домохозяйства :)

Место для расположения активного оборудования есть.

Токо экономия на электричестве как плюс.

Как минус:

Из-за вендоро зависимости можно лет через пять не купить нужные ONU или OLT например из-за выхода из строя.

Сложная диагностика проблем связанных с повреждением ВОЛС возросло затухание, появилось отражение, и не работает целый сегмент. Нужно время оборудование и специальные навыки эксплуатиации.

В общем много особенностей.

Я бы завел медь в квартиру и гигабиный свитч на access.

[sol]

29 минут назад, [anp/hsw] сказал:

Вот как раз 32-квартирные дома это и есть застройка малой плотности.

Вот прямо ложится PON на эти домики...

4 порта OLT как дети в школу заходит. Вместе со всеми камерами и прочими смарт-счётчиками.

3 порта на 32 квартирные здания и 1 порт на всё остальное.

[sol]

8 часов назад, sol.ogur сказал:

Можете чтото порекомендовать из оборудования? Марка/модель?

Это зависит от того, что доступно в вашей стране. Тут в России популярна и недорога C-Data и её клоны.

 

[[anp/hsw]]

3 часа назад, Стич сказал:

Из-за вендоро зависимости можно лет через пять не купить нужные ONU или OLT например из-за выхода из строя.

Если брать GPON, то ONU 2011 года работают на OLT 2021 и часто наоборот.

Он стандартизован, и найти совеместимое оборудование сейчас легче, чем найти несовместимое.

 

3 часа назад, Стич сказал:

Сложная диагностика проблем связанных с повреждением ВОЛС возросло затухание, появилось отражение, и не работает целый сегмент. Нужно время оборудование и специальные навыки эксплуатиации.

Учитывая, что человек хочет оптику до абонента, то проблемы будут те же самые и на ethernet.

 

3 часа назад, Стич сказал:

Я бы завел медь в квартиру и гигабиный свитч на access.

Слишком жирно будет для 32-квартирных домов. Площади большие, кабеля много нужено будет. А чтобы гигабит нормально работал, кабель должен быть не говно, что сразу поднимает ценник до неприличия.

[Стич]

1 час назад, [anp/hsw] сказал:

Если брать GPON, то ONU 2011 года работают на OLT 2021 и часто наоборот.

Он стандартизован, и найти совеместимое оборудование сейчас легче, чем найти несовместимое. 

Пример с конкретными типами оборудования в студию.

 

1 час назад, [anp/hsw] сказал:

Учитывая, что человек хочет оптику до абонента, то проблемы будут те же самые и на ethernet.

Вы реально PON эксплуатируете или теоретик?

Вот например свежачок.

 

1 час назад, [anp/hsw] сказал:

что сразу поднимает ценник до неприличия. 

Ну давайте посчитаем проект с медью против проекта GPON с оптикой и не забудьте стоимость ONU для каждой квартиры включить

Изменено 13 мая, 2021 пользователем Стич

[sol.ogur]

Братцы! Спасибо за дискуссию! 

И раз уж мой пост поместили в ветку Микротика, может кто работал с GPON Mikrotik ? (The GPON ONU integrates GPON OMCI Stack and is fully compliant with ITU-T G.984 standards. ) 
Идея убрать все промежуточное активное оборудование плотно засела в мою голову! И не только из за экономии места, денег, электричества.
И GPON или другая технология, пока не посчитали неважно. 
У нас длина всего здания в которое объединены 3 корпуса - 280м. Расстояние между корпусами 90м. Уйти от промежуточной активки можно и просто кроссами. В каждом корпусе на первом этаже разварить кабель 64 вол. в кросс и от него zipcordom в квартирный щит на розетку. Там же активка конечная в которую клиентский роутер + смарт счетчики по меди зайдут. А рулить активкой из центр. аппаратной.
 

[[anp/hsw]]

54 минуты назад, Стич сказал:

Пример с конкретными типами оборудования в студию.

Eltex LTP-4x с последней прошивкой и ECI b-focus o4f2p, аж 2010 год на самом деле :)

54 минуты назад, Стич сказал:

Вы реально PON эксплуатируете или теоретик?

Реально.

54 минуты назад, Стич сказал:

Вот например свежачок.

Там про EPON. Я про EPON ничего не говорил, его каждый китаец клепает в нарушение спецификаций.

54 минуты назад, Стич сказал:

не забудьте стоимость ONU для каждой квартиры включить

В условиях волокно приходит на этаж в роутер микротик с SFP. Почему бы его не заменить на ONU?

А домовой коммутатор так вообще оказывается не нужен, вместо него сплиттер за 1000р. А к нему еще электричество по нормам надо было бы тянуть, прибор учета ставить, это тоже не поленитесь посчитать.

 

[lugoblin]

12 hours ago, sol.ogur said:

Частично виртуалки понимаю куда ставить. Но как можно хранилище видеокамер в виртуалку запихнуть и главное зачем? Или сервер Биллинга? или 1C сервер.

Примерно так-же, как любой другой сервис, но если, например, хранилище видео слишком большое, может оказаться нецелесообразно.

Допустим, вам надо 4 сервера:

2 Core, 8GB RAM, 200GB HDD

2 Core, 16GB RAM, 400GB HDD

2 Core, 16GB RAM, 400GB HDD

2 Core, 24GB RAM, 500GB HDD

 

Вместо того, чтобы брать 4 индивидуально собранных и настроенных сервера, вы берёте 3 одинаковых:

4 Core, 32GB RAM, 800GB HDD

Режете их на виртуалки, и у вас получается что если требуемую мощность утрамбовать, то один из трёх можно остановить на профилактику. А если кому-то потребуется больше ресурсов прямо сейчас, то можно просто взять из резерва и потом планово нарастить.

 

С цифрами я утрирую. Впритык ресурсы не расчитывают, особенно по диску. В целом, расчёт на избыточность N+1 где N=2, это хороший старт. Я ещё норовлю брать конфигурацию так, чтобы при апгрейде можно было не выкидывая ничего, удвоить ресурсы, типа:

Материнка с 2-мя сокетами, но изначально использовать один.

N слотов для памяти, но изначально заполнить N/2.

M слотов для дисков, но начать с M/2.

Таким образом, при росте, первый раунд апгрейда делаем "вертикально" (наращиваем мощность имеющихся машин), а следующие "горизонтально" (добавляем одинаковых машин).

 

Когда в будущем бизнесу потребуются вещи серьёзнее, типа высокая доступность и геораспределение, у вас уже будет набита рука на базовых потребностях. Сможете или сделать сами, или по крайней мере интегратору будет труднее навешать вам лапши на уши.

 

[sol.ogur]

1 час назад, lugoblin сказал:

Вместо того, чтобы брать 4 индивидуально собранных и настроенных сервера, вы берёте 3 одинаковых:

 

Когда в будущем бизнесу потребуются вещи серьёзнее, типа высокая доступность и геораспределение, у вас уже будет набита рука на базовых потребностях. Сможете или сделать сами, или по крайней мере интегратору будет труднее навешать вам лапши на уши.

 

Благодарю ! 
Сетка маленькая. Расширений не будет. Территория ограничена забором.
Скажем сервер аналитики и управления хранилищем видео можно виртуализировать. Но железо там мощное и ресурсы будет жрать под 100% особенно при поиске лиц и номеров. На эту железку вешать другие виртуалки нельзя.
Сами хранилища, так обычные дата серверы с террабайтами дисков.. тоже не виртуализуешь.
Биллинг и 1С тоже с базами машины, постоянное изменение данных.. тоже не виртуализуешь.
Остается одна машинка с сервисами. 
Видима моя привычка держать все сервера разными железками никак не изменилась...)
Не дай бог от сети отвалится сервак с виртуалками и все встанет колом! 
На разных железках надежности поболе.
Для такой маленькой сетки пока не вижу варианта для тотальной виртуализации..
 

[jffulcrum]

15 минут назад, sol.ogur сказал:

Скажем сервер аналитики и управления хранилищем видео можно виртуализировать. Но железо там мощное и ресурсы будет жрать под 100% особенно при поиске лиц и номеров. На эту железку вешать другие виртуалки нельзя.

Да

 

15 минут назад, sol.ogur сказал:

Сами хранилища, так обычные дата серверы с террабайтами дисков.. тоже не виртуализуешь.

Без проблем. Терабайтам все равно куда писаться, сразу на железный диск или в виртуальный

 

15 минут назад, sol.ogur сказал:

Биллинг и 1С тоже с базами машины, постоянное изменение данных.. тоже не виртуализуешь.

Вообще без проблем.

 

15 минут назад, sol.ogur сказал:

Не дай бог от сети отвалится сервак с виртуалками и все встанет колом! 

Не берите гроб. Для сети сделайте бондинг или объединение 802.1ad.

 

Плюсы виртуализации:

- мало- или безгеморройная замена сервера. У меня есть машины, которые в 2009 году с Virtual Server 2005 мигрировали - сейчас на хосте с 2019 работают, общий полёт 14 лет.

- гораздо более простой бекап и восстановление. Veeam Community Edition позволяет защитить 10 машин бесплатно, с большинством функционала. Там и репликации есть с хоста на хост.

- экономия места в стойках и электричества (вам возможно неактуально).