Jump to content
Калькуляторы

Переход на бОльшие масштабы

Доброго дня,

 

Сейчас у меня преспокойно работает сеть такой конфигурации: в каждом районе L2 свичи соединенные в цепочки приходят на один L3 свич, где вланы абонентов (влан на юзера) терминируются на SVI интерфейсах и попадают в мою корневую сеть в отдельный vrf, из которого они (уже в ядре) выбираются наружу через ASR, на котором работает связанный с биллингом ISG. Абоненты получают IP адреса по DHCP, сервер DHCP находится в биллинге, L3 свич релеит запросы к нему. После выдачи адреса на L3 свиче образуются /32 маршруты в SVI интерфейс абонента. Один абонент = один global IP адрес (у абонента стоит CPE Ethernet WiFi роутер с NATом).

Все работает отлично, мыслей что-то улучшать нет. Но... перехожу на бОльший масштаб, больше домов, больше свичей, больше абонентов. На порядок или даже пару порядков, в связи с чем предвижу некоторые сложности и о них хотелось бы взгляда со стороны.

 

Свичи L3 у меня: cisco 3750G-12 или 3550-12G, в них достаточно много sfp (или gbic) портов, достаточный функционал, очень низкая цена (разумеется Б/У). Всем доволен.

 

В качестве L2 свичей много чего выбирал, но так уж получилось, дешевле Б/У тех же цисок не нашел и поставил 3550-е. При малых масштабах закупок дешевле НИЧЕГО нет с НУЖНЫМ функционалом. Плюс элементная база проверена временем - кондеры не вспухают, вентиляторы пЫщат но крутятся, все ок, чтобы кто ни говорил.

При увеличении масштабов уже интересно попробовать других вендоров на L2. Присматриваюсь к Орионам или СНРам. Из плюсов - может выйти дешевле.

Из минусов:

1) Насколько у тех же орионов надежная элементная база? Не повспухают ли кондеры в блоках питания через годик?

2) У цисок юзал VTP - заводил на L3 свиче влан и он тут же был виден на всех L2 свичах. Тут GVRP. Как я понимаю вланы придется заводить на L3 (который останется циска и не поддерживает GVRP), потом на первом свиче в цепочке и на последнем (крайние для GVRP). Это то понятно, а если кольца... ведь неизвестно где кольцо разорвется (не MSTP при проектировании, а при реальном обрыве кабеля например) и, соответственно, неизвестно где будут в этот момент крайние свичи? Как тут быть? Беспокойство от незнания тонкостей GVRP.

3) Так как цепочки свичей будут гораздо длиннее (правда завернуты в кольца) и вланов которые должна знать вся цепочка должно быть больше. У Ориона заявлено "4K active VLANs", но "GVRP, 256 max dynamic VLAN". То есть реально 256. Это мало. На 3550 у меня в одной цепочке полтыщи сейчас без проблем. Получается придется расчитывать сеть на более короткие цепочки (что не всегда возможно) или надеятся на малое количество абонентов :).

Что скажете?

 

Кроме смены вендора на L2 есть еще пара вещей которые меня беспокоят:

4) Так как районов, а значит L3 свичей становится слишком много, становится сложно распланировать имеющееся IPv4 адресное пространство. Неизвестно где сколько абонентов будет, как дробить сети?

Тут думаю будет лучше L3 свичи превратить в простые свичи L2 аггрегации и на них сделать QinQ всех вланов района, чтобы потом пробросить outer vlan до одной L3 точки в ядре сети (какой-нибудь ASR). А там уже сделать encapsulation dot1q outer-vlan second-dot1q any. И соответственно один IP subnet на все районы. Главное чтобы ASR исправно релеил opt82 в биллинг. Буду собирать лабу проверять... Кажется подводных камней нет? Кроме разве что того что все маки абонентов будут болтаться в ядре сети и скоро придется апгрейдить магистральные каталисты.

5) Что если гигабитного линка на котором будет держаться цепочка L2 свичей будет не хватать? При достаточной длине цепочки, всяких турбо кнопках на ISG и VOD эта проблема не за горами... Как вы решаете такие проблемы? Четырех SFP-шные L2 свичи и двухгигабитный опорный езерчаннел? не такая уж и прибавка... или отдельное волокно в каждый дом? тогда сколько ж волокон надо и, самое главное, сколько портовый свич аггрегации?!

Или я ошибаюсь в прогнозах? Тут нужен совет человека с опытом.

 

Вообщем как-то так... Буду очень благодарен мыслям по существу.

 

Да, и про то что свичи в цепочке энергозависимы от предыдущих я в курсе, и про то что IPv6 надо внедрять тоже, и про то что циска это моветон тоже ))

GePON проект развиваю параллельно, пока в пилотном режиме.

Share this post


Link to post
Share on other sites

Насколько у тех же орионов надежная элементная база? Не повспухают ли кондеры в блоках питания через годик?

 

это же новые свитчи. я думаю, пока ещё ни у кого их нет года

 

VTP

лучше сразу забудьте про это гадость(и подобные). от vtp/gvrp и прочих польза стремится к 0. ну я понимаю на древних свитчах, где вланов было ограничено (по кол-ву), но щас-то всё L2 поддерживает 4К вланов(точнее, я давно не видел свитч, который бы это не умел, кроме домашних)

 

дальше читать лень, много буков

Share this post


Link to post
Share on other sites
это же новые свитчи. я думаю, пока ещё ни у кого их нет года

это пугает :)

 

лучше сразу забудьте про это гадость(и подобные). от vtp/gvrp и прочих польза стремится к 0

не понимаю... удобно же! писать скрипты которые заводят вланы по всей цепочке? не вручную же? зачем если есть протокол?

Share this post


Link to post
Share on other sites

Кто вам мешает заранее прокинуть кучу вланов в сторону тех или иных сегментов сети и потом ими пользоваться?

Share this post


Link to post
Share on other sites

А чем длинк не устроил?

http://shop.nag.ru/catalog/03866.D-Link/07546.Kommutatory-Fast-Ethernet-upravlyaemye/10437.DES-3200-26C1A

пипец как дорого.

 

Кто вам мешает заранее прокинуть кучу вланов в сторону тех или иных сегментов сети и потом ими пользоваться?

А... предложение понятно - предзаводить вланы.

Share this post


Link to post
Share on other sites

Если вы собираетесь закупать их то пишите письмо диллеру с запросом проектных цен и получаете нормальный скидос.

 

Орион не советую - это райском. И если что-то не будет работать и вас в один прекрасный момент пошлют - это нормально.

Share this post


Link to post
Share on other sites

А что скажете про SNR'ы?

http://shop.nag.ru/catalog/00001.Kommutatory/04963.SNR/05031.SNR-S2950-24G

Они тоже по деньгам вкусные.

 

Butch3r так я и на Орионы на скидку расчитываю. Очень существенная разница в стоимости получается с длинками.

 

Еще предлагают Qtech'и... Но как то здесь на форуме их не очень лестно встретили.

Share this post


Link to post
Share on other sites

Вот про СНРы ничего сказать не могу. Я на длинке и меня всё устраивает. Вендора менять не собираюсь. Что орион что кутех помоему одного порядка оборудование.

Share this post


Link to post
Share on other sites

А что скажете про SNR'ы?

SNR-ы это DCN(digital china) (QTech это тот тоже самый DCN). Нормальные свитчи(сужу по тем фичам, которые пользовал). бывает конечно, что-то всплывает по немногу(по софту), но в целом вполне себе свитчи.

Share this post


Link to post
Share on other sites

мне от L2 свичей требуется минимум функционала: opt82, mvr. Поэтому за софт сильно не беспокоюсь.

Большее беспокойство вызывает электроника. Из практики - достали вспухающие кондеры во всяком разном дешевом китайском производстве.

Share this post


Link to post
Share on other sites

opt82 и mvr это уже далеко не минимум и требует тщательного тестирования(обе фичи)

 

qtech-и аппаратно не сыпятся(2800), значит и соответствующие SNR-ы тоже

Share this post


Link to post
Share on other sites
лучше сразу забудьте про это гадость(и подобные). от vtp/gvrp и прочих польза стремится к 0. ну я понимаю на древних свитчах, где вланов было ограничено (по кол-ву), но щас-то всё L2 поддерживает 4К вланов(точнее, я давно не видел свитч, который бы это не умел, кроме домашних)

 

Некоторые люди говорят, что 3 версия vtp очень даже хорошо работает и лишина тех дыр, которые были в первых двух.

Share this post


Link to post
Share on other sites

По пункту 4:

- Речь про белые адреса или про серые?

- По возможности уменьшайте количество агрегационных узлов. Круто конечно "закинуть" куда-нибудь агрегатор, а дальше звездить от него, но рано или поздно это выльется в проблемы эксплуатации. Делайте минимум точек, покупайте или снимайте для них отдельную комнату с доступом 24/7.

 

По пункту 3:

- Кольцо зло.

Share this post


Link to post
Share on other sites
или отдельное волокно в каждый дом? тогда сколько ж волокон надо

Ну я собираюсь апгрейдить 8-ми жилку до 32-х, в виду старости кабеля диаметр не меняется.

самое главное, сколько портовый свич аггрегации?!

А почему вы думаете, что он должен быть один единственный? У меня вот их 18 и ниче

 

По мне так лучшая схема в мире - это волокно между свичом доступа и ближайшим свичом агрегации. Ну и до каждой агрегации по паре волокон из узла. Не так дорого получается по оптике.

Что если гигабитного линка на котором будет держаться цепочка L2 свичей будет не хватать?
Как вы решаете такие проблемы? Четырех SFP-шные L2 свичи и двухгигабитный опорный езерчаннел?

Мониторим нагрузку, как только видим 900 мбит/с на сильно-нагруженных направлениях - апгрейдимся сразу до 10г и забываем о проблемном сегменте на ближайшие 15 лет. Опять таки между узлом и агрегацией, доступ таких нагрузок дать не может.

 

А по поводу свичей доступа - мы берём по 4500р D-link DES-1228/ME (ну либо 3028 БУ за 4000р), свич отрабатывает своё бабло на все 120%, опт.82 умеет, колизиями у нас отдельный чел факультативно занимается, так что проблем нет вообще никаких с ними.

 

Стройте звёзды/созвезния, так гораздо проще и управлять сеткой и апгрейдить её, нежели гирлянды.

Share this post


Link to post
Share on other sites

xcme

- По возможности уменьшайте количество агрегационных узлов. Круто конечно "закинуть" куда-нибудь агрегатор, а дальше звездить от него, но рано или поздно это выльется в проблемы эксплуатации. Делайте минимум точек

и

terrible

По мне так лучшая схема в мире - это волокно между свичом доступа и ближайшим свичом агрегации. Ну и до каждой агрегации по паре волокон из узла

Стройте звёзды/созвезния

 

два человека - два мнения :)

 

Я планирую одну точку (на район конечно) физической аггрегации - куда будут сводиться оптические линки гирлянд. Оптика 12 жильная, одного/двух свичей аггрегации (по 12 портов) хватает. Далее либо этот же свич (пока именно так и есть) терминирует вланы по L3. Либо пробрасывает вланы по QinQ (планирую) до ASR'а, на котором по L3 терминируются уже сразу несколько районов. Далее в ядре - ISG роутер (сейчас так).

Вроде не слишком много точек, масштабируемо.

 

По мне так лучшая схема в мире - это волокно между свичом доступа и ближайшим свичом агрегации
У меня вот их 18 и ниче

Да, это бесспорно супер, но как-то... слишком много надо жил, кабелей, свичей... похоже на сферического коня в вакууме. Вам респект если смогли найти финансирование на это все, и еще больший - если окупаете.

 

Стройте звёзды/созвезния, так гораздо проще и управлять сеткой и апгрейдить её, нежели гирлянды.

Вот тут хорошая тема затронута :) как сделать в сети ответвление? Я к тому - идут 10 домов подряд. От пятого вбок еще 10. Я вижу два варианта:

a) В пятый дом поставить свич доступа с большим чем 2 количеством SFP и сделать ответвление по активке.

б) В пятом доме взять отдельное волокно и на него посадить ответвление. Получается физически - звезда из трех лучей (с аплинком), логически (по активке) - две гирлянды.

Мне больше нравится вариант б) почему? Плюсы - везде одинаковые свичи доступа и более дешевые (с двумя SFP), отключение питания пятого дома не повлияет на боковое ответвление. Минусы тоже есть - расход волокна и порт в свиче аггрегации.

 

По пункту 3:

- Кольцо зло.

Почему?!

 

По пункту 4:

- Речь про белые адреса или про серые?

Белые. Итак у клиента будет свой CPE с натом. Двойной нат - зло, ИМХО. Да и негде мне НАТить :) Свободные IPv4 адреса пока есть.

Edited by survivor

Share this post


Link to post
Share on other sites

survivor используем на snr и opt.82 и mvr, работает нормально. Из минусов - пока только одно - порты горят на них чаще чем на d-link des-3200, des-3526.

Share this post


Link to post
Share on other sites

terrible

кажется я понял что вы имели ввиду. Допустим у меня 12 жильная оптика. Допустим один свич на дом. Допустим все дома в один ряд.

Через каждые 10 домов ставлю по многосфпишному свичу аггрегации. Все свичи аггрегации соединяю одним-двумя волокнами друг за дружкой, опять таки гирляндой. В домах которые расположены между опорными домами (где стоят свичи аггрегации) стоят двухсфпишные свичи доступа, каждый из которых соединен не гирляндой (как у меня) друг к другу, а - отдельным волокном к ближайшему свичу аггрегации. Так?

Схема стоящая, на работоспособность сети влияет только отключение питания в домах с аггрегацией.

Share this post


Link to post
Share on other sites

survivor, это все неправильно. Так уже не делают. :) Лучше так:

+ Один крупный узел агрегации/маршрутизации на район в отдельном, но доступном помещении с кондиционером.

+ Схема оптики - волокно-до-бокса (FTTBx :)

+ Кольца на L3 исключительно.

 

Как НЕ делать никогда:

- Гирлянды свичей/агрегаторов

- Агрегационные узлы на чердаках/хз где

- Кольца на доступе

 

Имхо так. :)

Edited by xcme

Share this post


Link to post
Share on other sites

Дорого это все... Арендовать помещения точно не получится. L3 аггрегатор думаю только на атс поставить, там и кондиционер и юпс.

Отдельное волокно от него до каждого свича доступа - не хватит волокон

 

Тем не менее спасибо за критику, за советы - буду думать, считать...

Share this post


Link to post
Share on other sites

Подумайте об отказе от гирлянд в пользу CWDM. Штука достаточно недорогая но функциональная. До 8 линков по одной жиле.

В центр какую-либо б/у 6500, чтоб все собирать.

Иначе серьезно думать об 10G на магистраль.

Share this post


Link to post
Share on other sites

opt82 и mvr это уже далеко не минимум и требует тщательного тестирования(обе фичи)

 

qtech-и аппаратно не сыпятся(2800), значит и соответствующие SNR-ы тоже

SNR у нас больше года и проблем небыло, если на доступе. Если через домовой прогонять весь траф по резерву, то подвисали. Это где то 500 Мбит трафа и 200-300 мультикаста сверху на вход. В итоге взяли конвертер с двуия портами 1 Гбит и одним 2.5 Гбит и разделили физически до этого узла.

Share this post


Link to post
Share on other sites

Сколько трафика это не сильно важно. Куда интереснее сколько маков и мкаст групп

Share this post


Link to post
Share on other sites
Как НЕ делать никогда:

- Гирлянды свичей/агрегаторов

- Агрегационные узлы на чердаках/хз где

- Кольца на доступе

Полностью согласен, хотя свою точку зрения высказывал в качестве альтернативы тупо гирлянде свичей доступа. У самого есть гирлянда из 3-х агрегаторов, меня она сильно парит, возможно в этом году всё поменяю.

на работоспособность сети влияет только отключение питания в домах с аггрегацией.

Ну как-бы да

Лучше так:

+ Один крупный узел агрегации/маршрутизации на район в отдельном, но доступном помещении с кондиционером.

+ Схема оптики - волокно-до-бокса (FTTBx :)

+ Кольца на L3 исключительно.

+1

 

Я к тому - идут 10 домов подряд. От пятого вбок еще 10. Я вижу два варианта:

a) В пятый дом поставить свич доступа с большим чем 2 количеством SFP и сделать ответвление по активке.

б) В пятом доме взять отдельное волокно и на него посадить ответвление. Получается физически - звезда из трех лучей (с аплинком), логически (по активке) - две гирлянды.

в) На первых 10 поменяйте оптику на 24-х жильную, далее по ситуации - это получится гораздо дешевле (как в стройке, так и на эксплуатации), нежели корячиться с кучей агрегаций, кольцами и активкой.

Ну и как-бы не забрасывайте вариант, предложенный SergeiK о CWDM

Share this post


Link to post
Share on other sites
Подумайте об отказе от гирлянд в пользу CWDM. Штука достаточно недорогая но функциональная. До 8 линков по одной жиле.

Судя по ценам CWDM экономически целесообразен при больших расстояниях

 

 

SNR у нас больше года и проблем небыло, если на доступе. Если через домовой прогонять весь траф по резерву, то подвисали.

это то чего я и боялся. Хотя если будет отдельный линк до каждого свича доступа проблем конечно нет.

 

На первых 10 поменяйте оптику на 24-х жильную, далее по ситуации - это получится гораздо дешевле (как в стройке, так и на эксплуатации), нежели корячиться с кучей агрегаций, кольцами и активкой.

это уже более реально

Edited by survivor

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this