Построение ядра сети

[ed-ka]

Мы начинаем строить домовую сеть на 2-3 тысячи абонентов.

Уже закупили обрудование (ну включили его в проект и все тут, так и купили по проекту) Cisco 7301 (2GbLAN), Cisco 2800 (2GbLAN) и Catalist 3750 (24GbLAN).

Сеть будет строиться на VLAN (1 Vlan на микрорайон). Все коммутаторы агрегации будут подключены к С3750.

Какие коммутаторы будут использоваться на уровне агрегации и доступа пока не определились, но куплены на тест 2 D-LINKa.

Трафик между абонентами внутри сети не учитывается, учитываться будет только интернетовский трафик.

Пользователи разных VLANов должны видить друг друга.

Сначало планируем только компьютерную сеть, в дальнейшем может быть появиться IPTV.

Что посоветуете, знатоки построения сетей, выбрать в качестве ядра, какую топологию ядра видите?

Почему именно эту топологию, а не другую, желательно обосновать?

[pliskinsad]

А как вы видите? Вы предложите свой вариант, а мы покритикуем ;)

 

7301 на 2-3 тысячи абонентов мало. NPE-G2 тянет 900 мегабит трафика при 1700 пользователях онлайн через pppoe. Так что как минимум еще одну 7301, а лучше 7201.

На доступ либо des-3526, либо des-3028.

 

Edited December 25, 2009 by pliskinsad

[darkagent]

Если технически возможно - FTTB, сводя все волокно по максимум к ядру, от которого уже запускать звездой.

И чем меньше по количеству будет таких звезд (т.е. чем больше объектов подведете к ядру), тем проще в дальнейшем будет обслуживание.

 

Можно еще побить сеть на микрорайоны, с каждого разводить звезды, а между собой их в кольцо собрать, но это уже по желанию, смешанная топология может потребовать более сложной настройки коммутаторов (по части spanning tree), повысит немножко расходы на те же sfp и волокна, однако повысит отказоустойчивость.

Заранее дробите сегменты по вланам как можно активнее - с расчетом предположим 1 влан на не более 100 пользователей (на сеть класса C). нет сложностей с внедрением, и достаточно легко диагностировать всевозможные проблемы в сети. избегайте использования альясов на интерфейсах (secondary).

28ая циска непонятно какую роль будет играть, если только к аплинку ее подрубать и принимать дефолт, на большее ее не хватит, а 7301 уже на vpn.

 

7301 на 2-3 тысячи абонентов мало. NPE-G2 тянет 900 мегабит трафика при 1700 пользователях онлайн через pppoe. Так что как минимум еще одну 7301, а лучше 7201.

На доступ либо des-3526, либо des-3028.

если 2-3 это всего абонентов, а не активных, то 7301 на некоторое время вполне хватит, если конечно с тарифами и натом не намудрят чего.

 

на доступ соглашусь - 3526 или 3028, если совсем бюджет порезаный - можно попробовать des-1228ME (не путать с des-1228), их можно у длинков заказать на тестирование, и опробовать что к чему.

агрегировать волокно можно теми же 3100-24TG, стекируя их по мере необходимости.

 

з.ы. подтягивать все волокно к одной точке имеет смысл хотя бы по той причине, что когда начнут вандалы воровать железо - проще будет одну точку на охрану поставить, чем каждый "узел на 5-6 домов"..

Edited December 25, 2009 by darkagent

[ed-ka]

А как вы видите? Вы предложите свой вариант, а мы покритикуем ;)

 

Я вижу сеть вот так... я конечно не понимаю зачем действительно 7301 нужна.

В центре ядра стоит С3750, через конвертеры в нее приходит волокно, к которому подключены коммутаторы агрегации. Благо волокно наше и раскидано по всему городу. 3750 рулит Vlan'ами и роутингом между ними. Cisco 2800, смотрит в сторону провайдера одним концом, вдругои концом заходит транком в 3750 (допустим с VLANXX с белыми айпишниками, которые для почтовика, DNS и т.п.)

[darkagent]

Я вижу сеть вот так... я конечно не понимаю зачем действительно 7301 нужна.

В центре ядра стоит С3750, через конвертеры в нее приходит волокно, к которому подключены коммутаторы агрегации. Благо волокно наше и раскидано по всему городу. 3750 рулит Vlan'ами и роутингом между ними. Cisco 2800, смотрит в сторону провайдера одним концом, вдругои концом заходит транком в 3750 (допустим с VLANXX с белыми айпишниками, которые для почтовика, DNS и т.п.)

советую сразу смотреть в сторону SFP (-1 розетка в каждом доме, - перегревы/подвисания конверторов)

лишней тут на самом деле можно назвать 2800. все таки 7301 компактнее и посерьезней. опять же - зависит от того как вы интернет раздавать будете. если это будет vpn (pptp/l2tp/pppoe), то как бы держать авторизатор и бордер на одной машине не желательно (7301). как и держать бордер и шлюз домовых сетей на одной машине(3750). тут то как раз 28ая и выступит бордером. ежели чистый ipoe - то 7301 и бордером будет, и шейпером. хотя тут уже лучше 7201 рассмотреть, особенно если аплинк будет вам вдувать bgp таблицу.

 

 

[ed-ka]

Можно глупый вопрос, бордер это что такое? Просто я не силен еще в терминологии.

Про конвертеры и SFP я согласен, просто в 3750 нет слотов под SFP, а вот на ком-рах доступа есть.

Пока я не знаю какая будет авторизация пользователей, хочеться конечно сделать чтобы все было под контролем и как можно меньше было телодвижений от юзера. Что можно посоветовать? Желательно чтобы была привязка MAC+IP+порт ком-ра.

[darkagent]

бордер - "пограничник". он вообщем то и отделяет вашу сеть от аплинков.

 

на 3750 медные гигабиты можно использовать для коммутации с медью на том же 3100-24TG, а на нем уже собирать все по SFP.

и если нужны будут большие пропускные способности - можно будет поиграться с агрегацией линков (lacp).

 

если вы хотите по максимум избавить пользователей от настроек - то тут имеет смысл посмотреть в сторону dhcp + pppoe, однако тогда сразу можно забыть о дешевых коммутаторах, а dhcp сервер надо будет приучить работать с опцией 82 (она то и привяжет нужный ip к нужному порту). привязываться к маку не лучшее решение - как показывает практика - каждый второй пользователь его меняет (как намеренно, так и ненамеренно).

почему забыть о дешевых коммутаторах? потому что нужен будет тогда dhcp snooping, и pppoe remote circuit id, которые не везде можно встретить (если смотрите в сторону длинков - лучше заранее с ними проконсультируйтесь по этому вопросу). опять же, в случае внедрения pppoe, dhcp особо и не нужен - он будет исключительно организатором локальной сети, т.к. для работы pppoe ip вообщем то и не нужен.

минус всего этого - готовых решений под dhcp/opt82 не так уж и много. профессиональные решения стоят больших денег, основная составляющая цены - интеграция (привязка к биллинговой системе, перенастройка всех коммутаторов).

c pppoe ситуация аналогичная - особенно если не привязываться к макам, а исключительно к портам (при условии что 1 порт на коммутаторе доступа = 1 абонентскому устройству).

если хотите меньше головной боли себе - то static IP + pptp/l2tp; однако это нагрузка на конечного пользователя, ибо ковыряться ему в настройках постоянно.

 

есть еще одно интересное решение, как облегчить жизнь пользователям (заодно избавиться от лишнего): ipv6. в целом отпадает необходимость в dhcp (точнее он остается, но уже попроще будет), не нужны будут никакие VPN (теперь уже чистый IPoE), но к этому надо быть готовым. и морально, и технически. во первых не все пользовательские системы любят ipv6 (сразу стопку soho роутеров можно отправить в утиль); во вторых неизвестно как поведут себя длинковские железки при эксплуатации ipv6; в третьих - аплинк должен уметь работать с ipv6, или ipv6->ipv4 ляжет на плечи бордера. откровенно говоря не доводилось в живую работать с ipv6 и наблюдать за его развитием в сети, но жутко интересно.

Edited December 25, 2009 by darkagent

[ed-ka]

Все потихонечку встает на свои места.

Конвертеры уже просто куплены, поэтому придеться использовать их.

А если привязку сделать на ком-рах доступа, т.е привязать МАС+порт, а юзеру выдать карточку с настройками где указано IP, маска, Шлюз, ДНС?

Билинг скорее всего будет NetUP.

[darkagent]

А если привязку сделать на ком-рах доступа, т.е привязать МАС+порт, а юзеру выдать карточку с настройками где указано IP, маска, Шлюз, ДНС?

Билинг скорее всего будет NetUP.

если на коммутаторах - тут в принципе что на 3028 что на 3526 есть функционал ip/mac-binding. по его поводу лучше с саппортом длинка поконсультируйтесь. живые применения видел многократно. в не особо крупных сетях живет нормально.

ну и раз вы выдаете локалку статикой, то тут классика решений - pptp/l2tp на vpn. с pppoe нужно будет учитывать все тот же remote circuit id, чтоб была привязка "логин/порт".

 

[micros]

Вот буквально соседний тред про 3028

[pliskinsad]

А сколько планируется интернета продавать клиентам, и количество аплинков?

[aelfwine]

избегайте использования альясов на интерфейсах (secondary).

А чем чревато использование этого?

[ed-ka]

А сколько планируется интернета продавать клиентам, и количество аплинков?

Пока аплинк один.

Как понять сколько планируется продавать инета?

[darkagent]

избегайте использования альясов на интерфейсах (secondary).

А чем чревато использование этого?

лишний броадкаст, лишний arp мусор, лишняя нагрузка на софт (secondary интерфейсы исключительно софтовые - особо это ощутимо, если вдруг мигрировать на L3 от того же dlink'а - на тех же DGS-36xx не работает pim с secondary).

в случае secondary, на тех же циско отрубается icmp redirect, а если использовать динамическую маршрутизацию (rip/ospf) могут и вовсе интересные приколы случаться. да и просто не красиво это, особенно если захотите мониторить загрузку подсетей пораздельно.

[LionSprings]

агрегировать волокно можно теми же 3100-24TG, стекируя их по мере необходимости.

Ой, не надо... Мы один сунули на пробу в продакшн, просношались с ним месяц, под вопли юзеров, плюнули, и заменили на 3627. Вопли прекратились.

[darkagent]

агрегировать волокно можно теми же 3100-24TG, стекируя их по мере необходимости.

Ой, не надо... Мы один сунули на пробу в продакшн, просношались с ним месяц, под вопли юзеров, плюнули, и заменили на 3627. Вопли прекратились.

поподробней можно? у меня оно много где используется, и чаще всего в 2х стеке. проблем пока не возникало.

[LionSprings]

Да не знаю я, что там подробнее то... Жаловались на низкие скорости, периодические дисконнекты в играх, лаги, периодические потери пингов, и все такое. Все это исчезло после замены свича. Может, мне просто такой чудесатый экземпляр попался. Да, у нас чистый IPoE используется.

[darkagent]

Да не знаю я, что там подробнее то... Жаловались на низкие скорости, периодические дисконнекты в играх, лаги, периодические потери пингов, и все такое. Все это исчезло после замены свича. Может, мне просто такой чудесатый экземпляр попался. Да, у нас чистый IPoE используется.

вопрос пожалуй нескромный, а прошивать/настраивать пробовали? редко какая железка удовлетворяет все потребности "прям из коробки", когда мы обкатывали первые 3612/3627 тех.поддержка длинка вешалась - порой находились такие чудеса, которые даже теоретически невозможны были.

[LionSprings]

Ну конечно пробовали :) По моему личному опыту - практически ни одну железку от Длинка "из коробки" юзать нельзя. Первое что делается - шьется новая прошивка.

[darkagent]

тогда очень странно. у нас одно время конечно были глюки когда на ранних прошивках состекировали несколько 3100, и еще один раз lacp при обновлении прошивки слетел, а так больше ничего такого не наблюдалось за этими железками.

[pliskinsad]

3100-24TG в стеке полная кака, отваливаются коммутаторы переодически. "Развлекались" месяца два с прошивками, после чего забили и соединили патчкордами.

[Jugernault]

3100-24TG в стеке полная кака, отваливаются коммутаторы переодически. "Развлекались" месяца два с прошивками, после чего забили и соединили патчкордами.

Более года назад собрал два таких в стек и забыл...

[Alexandr Ovcharenko]

Более года назад собрал два таких в стек и забыл...

Аналогично. Только периодически прошивки новые заливаю.

[darkagent]

после того как они в поставках пошли с 2.00.47 на борту - уже и забил на прошивки (заисключением тех мест, где нужно lacp подружить с каталистом).

 

[kf72]

Пользователи разных VLANов должны видить друг друга.

подскажите это как реализовывается?