[masterkey77]

Народ подскажите начинающему "сетевику" мечтающему участвовать в построении городской сети, в перспективе стать админом этой сети!

Допустим необходимо построить городскую сетку MAN (10000 компов) на коммутаторах Ethernet с портами 10/100Мбит/с для подключения клиентов и слотами расширения по 1Гбит/с для подключения к оптической магистрали с соседними комутаторами, смешанная топология, т.е. и звезда для быстроты строительства сетки, и кольцо для надежности. Также планируется транслировать по сети Video over IP, от 30 каналов, отличного качества. Весь внутрисетевой трафик для учета должен проходить через головной узел.

 

Вопросы хотел бы задавать постепенно, для начала:

Можно ли строить сеть на большем количестве комутаторов чем 32, если примеру в документации по комутаторам написано "Расширение до 32 устройств в стеке"?

Как вообще выбрать топологию на большое коли-во клиентов?

[Гость]

Вам не топологию сети выбирать надо, а проектную организацию, которая сможет сделать грамотный проект на 10000 портов, причем не корпоративного, а операторского уровня. И одним ethernet'ом здесь не обойтись, если сеть будет единой.

Хотя... если требуется красиво про#бать кучу денег - выбирайте любую топологию. Результат, имхо, будет одинаков - требуемое будет достигнуто ;)

[masterkey77]

Проектная организация уже выбрана, но хочется заказывать тот проет который нам надо, а не который им вздумается.

 

Хотелось что бы проект предусматривал топологию с магистральным кольцом в центре в стеке из 8 - 10 24-портовых 100 Мбитных комутаторов 3-уровня, соединенных между собой 1Гбитными портами.

Таким образом получаем уровень рапределения. Дальше.

На каждом 100Мбитном порту настроена отдельная IP-подсеть, от каждого порта комутатора 3-уровня отходят ветви на 100Мбитные кольца или звезды построенные на 24-портовых комутаторах 2-уровня.

Это называем уровнем доступа.

Ну комутаторам 2-уровня цепляются клиенты.

Так вообще строят сети?

[Ascent77]

Budet problema s 30 odnovremennimi kanalami video oni banal'no ne prolezut v uroven' raspredelenija, t.e v 100Mbit, esli delat' 30 kanalov video nuzhen gigabit do zdanija ili otdel'naja set' dlja veschanija i otdel'naja dlja peredachi dannih.

P.S. Sorry za translit.

[Shiva]

masterkey77,

Проектная организация уже выбрана, но хочется заказывать тот проет который нам надо, а не который им вздумается.  

Зачем делать работу за них? Им вздумается правельней чем тебе, ИМХО. Единственное, что можно прикинуть, это свою схему в расчёте на абонента по стоимости. По любому проектная организация должна рассмотреть все способы и обосновать выбор именно той технологии, которую они предложат.

В некоторых случаях использование устаревших способов и технологий приносит большую прибыль. Так что если ты хочешь построить то, что хочется тебе, тогда пора становится помимо админа ещё и экономистом :) Если хочешь стучись в аську пообсчаемся.

 

в перспективе стать админом этой сети!  

НЕ ПОЛУЧИТСЯ, в такой сети админа нет, их там туча! Слишком много надо знать и уметь.Хотя если ты родственник...

[jyh]

Ethernet на 10k портов это круто ;-) Это не жизнеспособно причём моё субъективное имхо что даже вещи типа mpls не спасут. Такие вещи нельзя сделать на свитчах какие бы умные они ни были... Впринципе можно посмотреть в сторону нортела они сильно хвастались что придумали что-то для этого но по воспоминаниям тоже не в таких количествах. А проектная организация действительно сделает чего скажут, ну может у тебя задачи такие что тебе надо на обычных свитчах сделать каскад в 10k портов, им-то откуда знать...

[GreeNGO]

Обращайся к теме Metro Ethernet - хотя бы от того же Циско или Нортел. Решения такие есть, они давно построены и работают уже пару лет как. Надежность 99,9 %.

Суть такова, что строятся одно или несколько внутригородских колец скорость внутри них от 1 Гбит сек (в случае Нортел 1Гбит под данные + 1 Гбит под мультикаст). На границе этого кольца ставятся L2VPN коммутаторы с опт. портами 1Гбит которые смотрят портами в порты соседних коммутаторов. На этих портах трафик маркируется в соотвествии с приоритетом обcлуживания и оправляется на головной коммутатор. Внутри бегает фирменный протокол, с восстановлением работоспособности сети менее 50 мс..

На Циско решение будет дороже, на Нортеле считая вместе я ядром на твою емкость - будет дешевле 180 у.е за полный порт L2VPN. Причем зная ситуацию, могу сказать что под такой проект можно выбить у Нортела хорошую скидку...

Если хочешь удешевить решение - можно уровень доступа вынести еще ниже - через медиаконвертерные шасси (Planet, RubiTech - одни из самых надежных)

выносы 100Мбит до уровня дома полноценными L2+ управляемымии свитчами..

Неплохой выбор будет HP2626, AT8524 ну или тот же D-Link DES 3526

можно и моновендорное решение от Нортела или Циско (BS325Т, Сat 2950T)

Основные критерии - работающий QoS, ACL, ну и обязательна поддержка IGMP Multicast V.2 - еще лучше V.3

Ну а в их порты свитчей через пассивную внутридомовую каб.систему - врезать абонентов. Причем рекомендую нарезать не более 10Мбит.. если хочешь давать стабильную услугу. С 30 каналами тоже не вижу никакой проблемы -есть решения по вещанию в H.264 AVC примерно 1,8Мбит сек на цифровой канал. Правда грабли пока с Set Top Box под этот кодек, но по моей информации к зиме будут готовые российские коробки.

Вещание формируется головными серверами и шлюзами, а также коммутатором ядра (мультикаст. потоки) - видео выдается в мультикаст. группу по запросу из STB.

P.S. Проект такого уровня несомненно сложен, и требует как минимум действительно грамотных проектировщиков, грамотных инженеров ну и хорошего поставщика, который тебе не впарит железо, а решит многие твои детские проблемы на начальнмо этапе за разумные деньги.

ИМХО. И еще не cкладывай все заказы в одну корзину -выбирай пару тройку подрядчиков - по коробкам по софту и т.д По биллингу могу порекомендовать www.tsoft.ru АСР Phonekeeper 6.0 www.cti.ru IP Soft Billing

[Гость]

Под такой проект я бы выбрал GPON --

ТВ до 90 каналов идет на отдельной лямбде (WDM) в RF 45-860Мгц (нативное кабельное телевещание). ПД по другой паре волн с полосой 2,4 и 1 Гбит в прямом и обратном каналах, терминальные порты в дом есть и на 1000BaseT и с E1 под нативную телефонию (абон.вынос).

Вообще это SDH сеть следующего поколения (с GFP и пр). Покрывает круг радиусом до 37км, тоесть с одной точки накрываем весь город. Грубо $50K база на один-два дерева PON (до 32-х терминалов/домов по одной жиле), $2-5К на дом в зависимости от требуемых портов.

Дорого конечно, но блин хочется черт возми!

[GreeNGO]

Не соглашусь насчет GPON с вами, коллега. Идея крассивая, но зачем мудрить когда есть простой и относительной дешевый Metro Ethernet ??? Еще и кабельное вещание отдельно организовывать.. еще туда кучу железа..

Е1 телефония ? не смешите.. все будет прекрасно работать и под SIP внутри сети. И еще - ПОН это не кольца.. это деревья. Считали, читали, думали.. НЕ ТО

[Ascent77]

GreeNGO,

С 30 каналами тоже не вижу никакой проблемы -есть решения по вещанию в H.264 AVC примерно 1,8Мбит сек на цифровой канал. Правда грабли пока с Set Top Box под этот кодек, но по моей информации к зиме будут готовые российские коробки.

I HDTV budete zazhimat' v H.264 na cifrovoj kanal, eta set' za god ne okupitsja, srok okupajemosti v srednem 5-7 let, nu nel'zja segodnja stroit' set' so 100Mbit/s v core, gigabit do zdanije uzhe neobhodim, a cherez 2-3 goda stanet objazatelen, v protivnom sluchaje budem imet' set' na vybros s polnoj eje peredelkoj cherez 2 goda, v etom sluchaje luchshe vibrat' gorazdo bolee deshevoje reshenije chem Nortel ili Cisco.

[masterkey77]

Зачем делать работу за них? Им вздумается правельней чем тебе, ИМХО.

 

На счет проектировщиков, которые сами все прекрасно знают, а мои предложения не в счет, дак я слышал что в некоторых проектировочных конторах те люди которые занимаются разработкой далеки от сетевых технологий. Я конечно не крутой сетевик и не претендую на участие разработке проекта, но я должен все согласовать и контролировать, я должен выставить техническое задание проектировщикам. Я лицо которое будет в далнейшем заниматься внедрярением и эксплуатацией этого проекта и заинтерисован в том чтобы этот проект подразумевал маштабитование самой сети, ее пропусктной спотобности. Что бы в этой сети было как можно меньше траблов, чтобы можно было мониторить эту сеть и анализировать проблемы.

Они могут разработать дейтсвительно грамотный проект. Но как говорится доверяй но проверяй.

Теперь можно задать вопрос про теже комутаторы Ethernet.

Если в документации по комутатору 2-уровня DES-3526 написано

Расширение до 32 устройств в стеке

В стек можно легко объединить до 32-х коммутаторов, независимо от модели. Виртуальный стек поддерживает любые модели коммутаторов со встроенным Single IP Management. Это означает, что стек может быть расширен коммутаторами, включая коммутаторы 3-го уровня для ядра сети, коммутаторы на основе шасси или любые другие коммутаторы.

Из написанного следует, что эти комутаторы можно обьединить например кольцом в стек из 32 комутаторов, т.е. этот стек будет как один комутатор и этот стек можно раширить другими комутаторами, например комуторами уровня доступа (к которым уже цеплябтся клиенты). В итоге получается что сеть строится на большем количестве комутаторов чем 32, без единого маршрутизатора. Дак вот спецы подскажите плиз все верно ли я понял про количество комутаторов?

[puh]

На счет проектировщиков, которые сами все прекрасно знают, а мои предложения не в счет, дак я слышал что в некоторых проектировочных конторах те люди которые занимаются разработкой далеки от сетевых технологий. Я конечно не крутой сетевик и не претендую на участие разработке проекта, но я должен все согласовать и контролировать, я должен выставить техническое задание проектировщикам.

 

Да, есть такие горе-клиенты, нахватаются по верхушкам, а потом думают, что знают всё и вся. И ведь попробуй переубеди, что они в чём-то не правы, что так, как они тебе навязывают, работать не будет.

 

А техническое задание - лучше просто по-человечески объяснить, что тебе нужно. так проще работать. Всем.

Не надо кидаться кучей терминов, когда ставишь задание. Найдутся люди, которые произнесут нужные из этих слов в нужном месте.

---

С уважением,

инженер отдела сложных сетевых проектов, Equant

[Shiva]

masterkey77,

дак я слышал что в некоторых проектировочных конторах те люди которые занимаются разработкой далеки от сетевых технологий.

А я слышал кошки кукарекают.

 

Я лицо которое будет в далнейшем заниматься внедрярением

Врядли.. Ты будешь сторонним наблюдателем и возможно будешь ставить подписи в актах приёмки.

 

эксплуатацией этого проекта и заинтерисован в том чтобы этот проект подразумевал маштабитование самой сети, ее пропусктной спотобности.

Главное откат что был меньше, тогда и решение будет адекватным :)

 

Что бы в этой сети было как можно меньше траблов, чтобы можно было мониторить эту сеть и анализировать проблемы

Это можно зделать на любой сети, вопрос только в наворотах и как часто придётся жопу отрывать от стула.

 

Они могут разработать дейтсвительно грамотный проект. Но как говорится доверяй но проверяй.

Ты не забывай чья задница будет гореть в определённых случаях. Проектировзик может и написать пункт, что ему навязали это решение и они предупреждали о возможных глюках.

 

эти комутаторы можно обьединить например кольцом в стек из 32 комутаторов

Ethernet древовидная архитектура.

 

т.е. этот стек будет как один комутатор и этот стек можно раширить другими комутаторами

Расширить только до 32 устройств D-link. Это виртуальный стек, предназначен только для удобного администрирования, не более.

 

В итоге получается что сеть строится на большем количестве комутаторов чем 32, без единого маршрутизатора

Да, а что ты привязался к числу 32? Да и маршрутизаторы в большинстве нужны только на границе сети, в нутри со всем справляются комутаторы 3 уровня.

[Гость]

D-link в такой сети? Да вы, батенька, садист... Или все же садомазохист? :)

[masterkey77]

Я не буду мешать проектировшикам и навязывать свое мнение. Я же пытаюсь разобраться в том что лучше заказать! Как я могу заказывать что либо если я незнаю потенциальных возможностей проекта. Мне нужен проект с максимальными возможностями по тем деньгам которые планируется освоить. Сколько - не суть важно. Ребята давайте не будем говорить о том, что проектировщики все знают. Пускай они все знают, но я тоже хочу все знать.

D-link в такой сети? Да вы, батенька, садист... Или все же  

садомазохист? :)

В начале темы написано, что я начинающий сетевик. Если бы я был специалист, скажем уровня интегратора сети, то я бы и не писал таких вопросов на форуме!

Ну а всетаки кроме критики, какие есть предложения?

Строить одну большую Ethernet сеть на комутаторах на дешевом оборубовании, например D-Link, или проектировать эту из нескольких Etherhet сетей, обьединенную маршрутизаторами или комутатором третьего уровня?

Есть ли какие нибуть ограничения по суммарному количеству портов на все коммутаторы в одной сети Ethernet?

Man cеть Ethernet из 5000 портов, со смешанной топологией, построенная на D-Link комутаторах 2-уровня, будет работать нормально?

[Shiva]

masterkey77,

Я же пытаюсь разобраться в том что лучше заказать!

Помойму и так понятно, городскую сеть передачи данных. Или я не прав?

 

Если бы я был специалист, скажем уровня интегратора сети, то я бы и не писал таких вопросов на форуме!

А проекты на полтора лимона у.е. в форуме не решаются.

 

Строить одну большую Ethernet сеть на комутаторах на дешевом оборубовании, например D-Link, или проектировать эту из нескольких Etherhet сетей, обьединенную маршрутизаторами или комутатором третьего уровня?  

Есть ли какие нибуть ограничения по суммарному количеству портов на все коммутаторы в одной сети Ethernet?  

Зависит от того что уже есть, что можно зделать и от расположения клиентов. Может быть в твоём случае кроме АДСЛ ничего не окупится. ОЧЕНЬ много нюансов и нету никакой инфы.

 

Man cеть Ethernet из 5000 портов, со смешанной топологией, построенная на D-Link комутаторах 2-уровня, будет работать нормально?

Всё зависит от кривизны рук, полового влечения и фазы луны :) Работать будет, почему бы и нет, но то что получится врядли удволетворит полностью ожидания.

 

Я бы тебе посоветовал обратится к литературе Cisco, Nortel, MRV... На сайтах есть решения с описанием. Можно связатся и поговорить с их спецами, они могут накидать конфигурацию по оборудованию и выставят приблизительную скидку для ориентира. От этого уже можно плясать.

 

З.Ы. А сколько времени занимаешся сетями?

[Гость]

GeeNGO, где твоя агрументация против GPON?

Вы считали конкретный проект с бизнес-планом или почитали маркетинговых статей от луцента?

GPON это и есть MetroEthernet нового поколения, правда НЕ пионерского уровня.

А с SIPом вы планируете тотально ставить квартирные телефоны что-ли? И вы уже придумали как это будете эксплуатировать? Хотя бы на 10тыс номеров ;)

[masterkey77]

З.Ы. А сколько времени занимаешся сетями?

LAN сетями давно. А вот всем остальным пока только теоретически:-)

Но как говорят тежело в учении, легко в бою.

Спасибо вам спецы за грамотные советы! И за критику моих взгядов тоже большре спасибо!

Короче как я понял разработать топологию такой сети не так то и просто как казалось на первый взгляд. Все упирается во всякие нюансы. И все эти нюансы надо решать со спецами конкретного оборудования.

Топология понятна только на уровне доступа - Ethernet кольца в каждом дворе, дальше одни сомнения. Дальше магистральные кольца, на комутаторах третьего уровня, что ли ...!?! И это только начало ..

[Kuzmich]

Тебе было бы правильней сказать проектантам простым языком, чего ты от них хочешь получить, взять с них предварительную пояснительную записку на 2-3 страницы класса "типа, будет core на SDH, от него ATM-155 до районных узлов, а от них Изирнет на д-линках до юзеров", выложить сюда, и попросить раскритиковать (критики здесь хорошие :))) ).

 

 

Но если уж сильно хочешь, чтобы тебе здесь чего-нибудь посоветовали - изволь, потужусь :)

 

Уровень CORE:

 

5 узлов связи по городу, придется арендовать двухкомнатные помещения 10+20 метров (+сортир). Одна из комнат - аппаратная, вторая - дежурка для "красноглазого админа" и пары "мозоленогих аварийщиков".

Узлы между собой физически соединены кольцом многожильной однмодовой оптики, логическая топология - меш (т.е. каждый с каждым). Основное оборудование для связи между узлами - маршрутизирующий коммутатор (например, Allied Telesyn Rapier G6F-LX. Оборудование относительно недорогое (~5000), поэтому позволит держать на каждом узле заранее настроенный запасной коммутатор на случай неожиданной смерти первого). На коммутаторах поднят OSPF, что обеспечивает переконфигурирование сети в случае смерти нескольких линков.

 

От коммутатора на транке (2 порта по гигабиту) растет layer-2 свич, к сободным портам которого подключены длинные гигабитные оптические выносы к распределительным коммутаторам.

 

Распределительный коммутатор - layer 3, терминирует и маршрутизирует до 1000 VLAN'ов, и сливает биллинговую информацию на биллинговые сервера, находящиеся в узлах Core. Может быть маршрутизатором Cisco/Nortel и т.п.

 

Распределительные коммутаторы имеют как минимум по одному резервному линку на Rapid STP к соседним распределительным коммутаторам.

 

От распередлительных - минимально умным оборудованием (лишь бы VLAN'ы поддерживал) до конечных пользователей. Желательна поддержа IGMP и приортиетов для медиавещания. Первые линки от распределительных - гигабитом, дальше - по обстоятельствам.

 

Медиавещание - по вкусу. Хотя я бы поставил отдельные медиасервера на каждом Core-узле.

 

Подключение к интернету - к каждом узле Core отдельно, если есть возможность - то к разным операторам. Т.к. каждый узел будет кормить интернетом до 3000 абонентов, то подключения не менее 100 мегабит, оптикой - чтобы в перспективе поднять до гигабита. (А город обеспечит пол-гигабита интернета?) Естественно, BGP и своя автономная система.

 

Варезно-фильмовые сервера - по 1-2 штуки на каждом Core-узле, с ограничением потока от одного сервера на 200-300 мегабит (например, подключение к сети транком из 2х Fast-Ethernet'ов, или ограничение скорости на порту гигабитного коммутатора). Желательно на них использовать динамические шейперы, для обеспечения равномерной отдачи контента юзерам. Если не влом, файлопомойки можно сделать зеркальными - это несколько разгрузит линки между Core, но увеличит латентность рапространения контента, что черевато повышенным количеством дублей.

 

Получаем - Core суммарной пропускной способностью в 4х4=16 гигабит (на крупных пакетах, конечно), с распределенным варезно-фильмовым контентом. Полностью контролируемый межпользовательский трафик (за счет маршрутизации VLAN'ов). Примерно 20 мегабит на конечного пользователя. Отсутствие броадкастов. Резервирование линков до уровня распределительных коммутаторов. 5 бригад быстрого реагированя на дежурстве в своих районах. Возможность апгрейда за счет ввода 10-гигабитного эзернета в core и транков в распределительной сети. Единая технология (меньшие требования к квалификации админов). Сравнительно дешево.

 

Минусы - отсутсвие полноценного QoS, сравнительно высокая латентность сети (по сравнению, например, с ATM). Долгое восстановление при обрывах (OSPF).

[masterkey77]

Примного благодарен за подробный расклад, вот это я называю пищей для размышлений. Дальше детали поизучаю в книгах.

[Солнечный КОТ]

Man cеть Ethernet из 5000 портов, со смешанной топологией, построенная на D-Link комутаторах 2-уровня, будет работать нормально?

 

Будет работать отлично! Только в порты ничего не включайте.

[vIv]

Тихо из угла :-)

 

Ничего, что HP ProCurve 5300 готов до 10К МАС жрать? Интересно, для чего ему это, если таких сетей не бывает? :-)

 

А серьёзно: на шасси 5300 _МОЖНО_ посадить до 2-2.5К 10М юзеров. Ну, через промежуточные уровни, конечно. А вот их уже, как тут сказали уже, 3-5 узлов надо в какой-нибудь OSPF связать на L3 - и будет всё хорошо. Без АТМ и MPLS, чистый изернет.

 

Автору: есть книжки типа "построение масштабируемых сетей" - купи, там всё доходчиво описано.

[masterkey77]

.

Ты изложил доходчивую до меня консультацию, но у нас город маленький, и на первое время вполне хватит одного Core узла.

В котором будет комутатор к примеру L3 DES-6500, к нему подключены билиновый сервер по 1Gbps, файрвол по 100Mbps для выхода в инет.

От DES-6500 идет длинный транк из двух 10гиговых портов на 1 из распределительных комутаторов L3 скажем DXS-3326GSR, и такойже транк на такойже 2 распред. комутатор. Уровень распределения состоит, пока, из 4 комутаторов, соединеных кольцом 20 гиговыми транками по технологии xStack. Как ты говоришь

Распределительный коммутатор - layer 3, терминирует и маршрутизирует до 1000 VLAN'ов, и сливает биллинговую информацию на биллинговые сервера, находящиеся в узлах Core

Только Core узел пока один и билинговый сервер соответственно тоже.

От распределительных комутаторов по гигабиту, цепляются 4 Ethernet'а, 100мегабитных, построенные на комутаторах L2 скажем DES-3526, достаточно умные. Езернет уровня доступа можно пострить не на оптике, а кабеле П-296 (100Mbps до 200-300м).

Ну, витая пара до клиентов.

Ну я понимаю, такая сеть должна быть неблокируемой, на всех уровнях. Посчитайте сами: каждый езернет уровня доступа создает трафик на гиговом интерфейсе граничного комутатора максимум 24 * 100= 2,4 гига, получается соотношение максимального трафика и пропусктной способности восходящего линка 2,4:1, для уровня доступа это нормально. Т.к. на уровне достура никогда не будет 2,4 гига трафика :-) 30% от макисума = 720мегабит. Эти 720 мегабит льются в гигивый интерфейс транспортного комутатора, итого на нем потучается максимальный суммарный трафик 720 * 4 (сети доступа) = 2880мегабит, ну даже и все 4гига. Получается на каждом транспортном комутаторе теоретически получается по 4гигабит трафика. Итого на всех 4 транспортных комутаторах 16 гигов, и эти 16 гигов с лихвой залезут в 20 гиговый транковый интервейс Core-комутатора.

 

Хотелось бы выяснить справятся ли со всем этим D-Link'и? Уж подозрительно они дешевы и наворочены всякими стандартами.

[Ascent77]

masterkey77,

Hotel kritikovat' shemu, a potom peredumal:

1) net postanovki zadachi, ona razmazana mezdu pioner-netom s 10Gb/s core i operatorskoj setju s Triple Play.

2) net spiska trebovanij k seti (vremja vostanovlenija, rezervirovanije, QoS i t.d)

3) net spiska predostavljaemih uslug (Inet, TV, VoIP, VoD, objedinenije setej i t.d.)

4) biznes plan (vremja razvertivanija, vremja okupajemosti i t.d)

5) Summa kotoruju predpolagajetsja potratit'(i ot kotoroj zavisit realen li projekt v principe).

Bez otvetov na eti voprosy mozhno tol'ko pal'cem v nebo tykat' pitajas' pomoch.

P.S. Sorry za translit.

[Shiva]

6) Справка по жилищному фонду.

7) Карту города.

:)