[Star1609]

И интересно как вписывается на сегодняшний день MPLS, ведь в терории используют его как протокол связи например тех же банков и корпоративов или уже есть те кто и абонентский трафик роутит таким образом.

Мне одному кажется, что пахнет дипломной работой?

Особенно в глаза бросаются 7600 и 6500, восприятие о которых явно основано на т.н. "брошюрах" (к слову, пожалуй единственное существенное отличие 7600 от 6500 в том, что в нее можно пихать ES карту), а в контексте сетей на 100k+ абонентов они и вовсе выглядят морально и технически устаревшими.

Ну а что до mpls... его повсеместное использование значительно облегчило жизнь, и позволило избежать множества напряженных моментов.

 

Мне кажется, у основной массы было историческое развитие, поэтому архитектура сети может быть достаточно неоптимальной...

Ну да, все с чего-то начинали. Только вот в какой-то момент сталкиваешся с ситуациями, когда типичные решения и схемы перестают работать или становятся крайне неэффективными, и начинаешь потихонечку рвать волосы на пятой точке. Ну а когда волос не остается, морально готовишся к тому чтобы в корне поменять дизайн сети, и тратишь бесконечное множество своего драгоценного времени на проектирование этого самого дизайна, детально изучая мировой опыт, технологические нюансы и прочее.

 

***ец

ну если опустить часть про микротик, то не все так печально.

 

Наконец то вижу правильное направление мысли абсолютно согласен что 7600 серия то для нужд провайдера устарела и сейчас попросту не имеет смысл а 6500 серия в принципе тоже сегодня позиционируется на сегмент корпоративного сектора. Но нужно понимать что все это железо есть и выкидывать его бредовая затея... речь идет о том что когда создавал тему я хотел раскрыть целесообразность применения таких железок как например cisco CRC , cisco ASR , juniper серий T, E, MX. Да бы разобраться и во всех плюсах и минусах той или иной схемы построения и самих желехок ... А то согласитесь все можно как я и говорил на 6500 каталистах поднять и главное работать оно будет ! Но смысл как лучше ? И не просто внедрить несколько сотен тонн в очередной холодильник а в железо которое будет как иметь потенциал так и быть целесообразным с точки зрения затрат

[sexst]

У нас солидно больше 100к и даже 200к. С

когда типичные решения и схемы перестают работать или становятся крайне неэффективными

как-то сталкиваться не пришлось. Ну разве что за исключением решений типа NAT, NOC и прочего околософтварного. Современное сетевое железо (76 и 65 к нему, ИМХО кстати, уже с натягом относится) тянет задачи без проблем.

 

Но нужно понимать что все это железо есть и выкидывать его бредовая затея... речь идет о том что когда создавал тему я хотел раскрыть целесообразность применения таких железок как например cisco CRC , cisco ASR , juniper серий T, E, MX. Да бы разобраться и во всех плюсах и минусах той или иной схемы построения и самих желехок ... А то согласитесь все можно как я и говорил на 6500 каталистах поднять и главное работать оно будет

Принцип построения фактически один - дерево "агрегация -> ядра -> бордеры". Любые другие вариации при таком количестве хомяков просто непомерны по деньгам, а так придется из дико производительного только бордеры покупать и кидать везде дешевые 10G или LA из них.

На 65, все боюсь не взлетит - ядро небольшого района их потолок при нынешних реалиях.

В общем рассылаете ТЗ по вендорам на тему "нужны железки на бордер" и выбираете из предложенного. 65-76 пускаете на ядра районов, L3 пиццабоксы на агрегацию домов и все счастье. Наибольий головняк - продумать адресацию т.к. в противном случае однажды столкнетесь с нехваткой tcam и будете долго с этим бороться.

 

Ну а у Сааба микротик головного мозга as always. "Топовый" ccr1036 еле-еле туннели некоторым юрикам с хотелками странного вытягивает. А тут опорка с 50G+ на узел.

[flamaster]

У нас солидно больше 100к и даже 200к. С

когда типичные решения и схемы перестают работать или становятся крайне неэффективными

как-то сталкиваться не пришлось. Ну разве что за исключением решений типа NAT, NOC и прочего околософтварного. Современное сетевое железо (76 и 65 к нему, ИМХО кстати, уже с натягом относится) тянет задачи без проблем.

 

Но нужно понимать что все это железо есть и выкидывать его бредовая затея... речь идет о том что когда создавал тему я хотел раскрыть целесообразность применения таких железок как например cisco CRC , cisco ASR , juniper серий T, E, MX. Да бы разобраться и во всех плюсах и минусах той или иной схемы построения и самих желехок ... А то согласитесь все можно как я и говорил на 6500 каталистах поднять и главное работать оно будет

Принцип построения фактически один - дерево "агрегация -> ядра -> бордеры". Любые другие вариации при таком количестве хомяков просто непомерны по деньгам, а так придется из дико производительного только бордеры покупать и кидать везде дешевые 10G или LA из них.

На 65, все боюсь не взлетит - ядро небольшого района их потолок при нынешних реалиях.

В общем рассылаете ТЗ по вендорам на тему "нужны железки на бордер" и выбираете из предложенного. 65-76 пускаете на ядра районов, L3 пиццабоксы на агрегацию домов и все счастье. Наибольий головняк - продумать адресацию т.к. в противном случае однажды столкнетесь с нехваткой tcam и будете долго с этим бороться.

 

Ну а у Сааба микротик головного мозга as always. "Топовый" ccr1036 еле-еле туннели некоторым юрикам с хотелками странного вытягивает. А тут опорка с 50G+ на узел.

интересен ваш опыт реализации,если возможно не могли бы раскрыть на базе чего все это реализовано:

какую схему идентификацию абонентов используете?, на агрегации что стоить? на ядро? какой брас? биллинг?

нам еще наверно 10 лет нужно, чтоб расти до вашего уровня.

[RialCom.ru]

растите неторопясь ;)

как раз через десять лет надо будет все железо на подъездах апгрейдить на фотонные коммутаторы террабитные и 100гиг на абонента перетягивать ферритовыми лентами с палладиевым легированием

и на каждом ящике оборудование на динамический упс подключать с ротором из обедненного урана

[Дятел]

нам еще наверно 10 лет нужно, чтоб расти до вашего уровня.

Везет вам. Я, оглядываясь вокруг, вижу только рост с текущих 40к абонентов до 60к максимум....

[sexst]

интересен ваш опыт реализации,если возможно не могли бы раскрыть на базе чего все это реализовано:

какую схему идентификацию абонентов используете?, на агрегации что стоить? на ядро? какой брас? биллинг?

Вы думаете это важно? =) Схема идентификации, железо? Главное это топология, построиться так чтобы можно было масштабироваться путем втыкания очередной железки. Как я писал, бОльшая часть проблем возникает не в сетевой сфере а в смежной софтовой. Вот биллинг пришлось свой делать, например. Решение по NAT и полисингу тоже т.к. готовые непомерно стоят и закрыты. Системы мониторинга готовые тоже не тянут.

растите неторопясь ;)

как раз через десять лет надо будет все железо на подъездах апгрейдить на фотонные коммутаторы террабитные и 100гиг на абонента перетягивать ферритовыми лентами с палладиевым легированием

и на каждом ящике оборудование на динамический упс подключать с ротором из обедненного урана

Во-во. Развитие все равно будет постепенным. И к тому моменту когда дорастете, все нынешнее железо будет EOL, везде будем использовать SDN и по десятке на свитч тянуть. Толку на имеющемся железе закладываться больше чем на три-четыре года нет, реалии все равно поменяются.

[myst]

везде будем использовать SDN

 

Свежо предание. Где оно, эт самое сдн...О нем твердят который год уже.

[flamaster]

Вы думаете это важно? =) Схема идентификации, железо?

В смысле option82 или vlan per user или что то свое?. Просто интересно как реализовано у мегакомпаниях :)

 

растите неторопясь ;)

как раз через десять лет надо будет все железо на подъездах апгрейдить на фотонные коммутаторы террабитные и 100гиг на абонента перетягивать ферритовыми лентами с палладиевым легированием

и на каждом ящике оборудование на динамический упс подключать с ротором из обедненного урана

:) всякое может быть.

 

Везет вам. Я, оглядываясь вокруг, вижу только рост с текущих 40к абонентов до 60к максимум....

из-за количество население такие ограничения роста?

[Дятел]

Везет вам. Я, оглядываясь вокруг, вижу только рост с текущих 40к абонентов до 60к максимум....

из-за количество население такие ограничения роста?

ну да, окружающие территории кончились или у конкурентов.

[DVM-Avgoor]

В смысле option82 или vlan per user или что то свое?. Просто интересно как реализовано у мегакомпаниях :)

 

 

Берешь брас от Juniper, и биллинг+radius. Там уже dhcp свой, и никакой opt82 не надо.

Вот так и организовано.

 

Ну или PPPOE :D

[Star1609]

Опять же вопрос в этой теме хотелось бо услыщать ту разнцу между железками класса бордеров и железками класса уровня ядра на сегодняшний день , ведь получается в итоге производительность сегодняшних железок такова что нет попросту в бордерах вообще смысла мы попросту в ядро включаем внешние каналы и работаем без проблем. Ведь получается что только раньше имел смысл покупать бордер и ядро , так как тогда была разница, бордер -это много памяти дополнительные фитчи , ядро - много портов , размер tcam способный держать кучу тысяч маков. Что же сегодня? какой смысл в бордерах ?

Изменено 22 ноября, 2013 пользователем Star1609

[darkagent]

получается что только раньше имел смысл покупать бордер и ядро

эт кто такое сказал? бордеры сейчас актуальны как никогда.

[Star1609]

получается что только раньше имел смысл покупать бордер и ядро

эт кто такое сказал? бордеры сейчас актуальны как никогда.

 

И какой в них смысл ? Чем они лучше той же циски 6800 серии которая в состоянии уместить в своей памяти несколько милионов маршрутов BGP и FIB более чем на полный FW ? Притом в MPLS тоже есть поддержка.

[darkagent]

И какой в них смысл ? Чем они лучше той же циски 6800

Бордер - это не какая-то конкретная железка, а комплекс решающий определенные задачи. 6700/6800, ASR9000, и многое другое - это частные случаи.

Сделаем к примеру, региональный бордер в масштабах одного отдельно взятого города, к нему подведем аплинки (связность до других городов/цод и т.д.), подключим региональных пиринг-партнеров, если таковые имеются (а таковые обычно имеются, и часто в пиринге заинтересованы), и уже за спиной этого бордера заводим свою сетку, с ядром, дистрибуцией, и прочим блекджеком. Вы получаете региональную "автономную систему", которая будет работать независимо то того что у вас творится в других регионах, и сможет на полную использовать возможности резервирования и балансировки, при наличии обширной связности.

Можно конечно сделать единый мегабордер где-нибудь в крупном ДЦ, свести к нему всех апстримов, все свои сети и т.д. и т.п., и потом застрелиться, если этот самый мегабордер даст хотя бы кратковременный сбой (а от этого, к сожалению, никто не застрахован). Или же собрать воедино бордер и ядро сети, и опять же застрелиться, когда у вас разом рухнет и сеть и транзитные услуги.

[denis_vid]

При таких объемах не надо изобретать велосипед, надо лишь использовать фулмеш топологию из нескольких роутеров на ISIS к примеру, с несколькими внешними пирингами в разных местах сети. Ростелеком/ретн/датагруп и прочие стайл

[CNick]

Кстати у многих больших операторов таких как Verizon, BT, Level3 разные подразделения занимаються магистралями, сетями доступа, датацентрами. Там нету одной большой сети на весь мир которой рулят один и те же люди :) Ну а отвечать за один строительный блок гораздо легче. Кто-то будет DWDM/MPLS крутить, другие будут отвечать за датацентры, третьи будут на уровне одного города раздавать интернет, ну а кто-то выше будет рулить политикой партии для всех подразделений :)

 

По поводу того что ASR/CRS не нужны, первые очень фичастые и используються как PE или BGP, в 6500 таких функция как VPLS,OAM,IPoDWDM,PTP/GPS sync нет :)

CRS как ядро, он маштабируеться до 72 коробок в каждую можно 32x100G интерфейсов запихнуть, тут тоже 6500 и микротик не конкуренты :)

[srg555]

Схема Saab-а http://forum.nag.ru/forum/index.php?app=core&module=attach&section=attach&attach_rel_module=post&attach_id=17336

 

Схема просто шикарна! Такого маркетингового булшита даже от самых китайских говновендоров я не видел.

 

Вполне нормальная схема, можете предложить другую?

Да легко, типичная схема - L2 access(в случае "fttb" это свитчи типа dlink, snr, huawei и т.п.), L2/+MPLS агрегация(те же dlink,huawei,cisco и т.п.), MPLS ядро(cisco, juniper, huawei) и несколько брасов(ericsson, cisco, juniper), дальше уже по ситуации - NAT, asbr-железки

Из микротиков ничего хорошего на 100К сделать не получится, это не их уровень.

 

Почему же нельзя поднять BGP с CCR-ов, которые "работают внутри сети оператора"? В чём вообще разница - поднимать BGP напрямую с аплинком или со своим CCR-ом, который подключен одним линком к аплинку, а другим внутрь сети? Бред какой-то

И во-вторых, я спрашивал про схему с 2-3 аплинками, где тут они? Или вы реально думаете, что при 100К абонентов один аплинк это нормально?

 

Облачко и есть куча аплинков, хоть по штуке на каждый микротик. BGP поднимается на каждом и анонсит все айпишники, внутри сети BGP не нужен, его вполне заменит OSPF.

И кто же вам мешает поднимать bgp с CCR-ов(которые типа с 3емя 10G-портами) и не редистрибьютить полученные префиксы в IGP(ospf)?

 

Дальше про несуществующую железку Mikrotik с 3емя 10G-портами. Ок, завтра сдача проекта заказчику и чё ему сказать? Вот скоро появится мегажелезка, тогда можно заказывать оборудование. Ну ладно, допустим, идём дальше.

 

Проект и все бумажки за один день нарисуют? За это время новая железка уже будет доступна в продаже.

Если нет официальных сроков выхода новой железки, то говорить не о чем. Да даже если и есть, то всё равно это риски(мало ли какие обстоятельства задержат выпуск в серию).

 

CCR1036-12G-4S как агрегационное устройство. Saab95, совсем упоролся? На кой чёрт нужны 12 медных портов и всего 4 оптических? Т.е. нужно покупать CCR1036-12G-4S чтобы подключить всего 3 коммутатора доступа? (да-да, цепочки/кольца сделать не получится, ведь на вашем доступе всего 1 оптических порт). И вообще, 4 оптических порта можно купить за 6600 рублей вместо 33000рублей, который стоит CCR1036-12G-4S. Ну да, придётся же использовать устаревшую технологию vlan..

Просто из этой схемы исключены не актуальные элементы. Можно после CCR1036 подключить оптический гигабитный L2 коммутатор, например какой-нито длинк, в него уже включать по оптике CRS на раздачу. При этом можно осуществлять доступ по технологии L3 прямо на абонентском порту.

Ну вот и подошли к самому интересному. Оказывается без L2-"длинков" и не получается ничего толком сделать. При том, как только в вашу схему попадает L2-длинк, то CCR1036-12G-4S становится автоматически не нужен, ибо терминация по вашим же словам происходит на CRS125G.

 

Ну и подведём промежуточный итог:

1. Задача CCR1036-8G-2S+(которые между облаков и другими CCR1036-8G-2S+) не ясна

2. Внутренее кольцо из (пока)несуществующего оборудования(CCR1036-8G-2S+ c 3емя 10G портами)

3. Агрегация из CCR1036-12G-4S тоже не нужна, т.к. всё равно нужно ставить L2-"длинк"

4. Сомнительный доступ на CRS125G (всего один оптический порт. т.е. цепочку хотя бы из двух таких не сделаешь без медяков)

5. Вопрос СОРМа не раскрыт

[Saab95]

1. Задача CCR1036-8G-2S+(которые между облаков и другими CCR1036-8G-2S+) не ясна

 

Ясна - они пропускают транзитный трафик между своим каналом интернета, и каналами других устройств.

 

2. Внутренее кольцо из (пока)несуществующего оборудования(CCR1036-8G-2S+ c 3емя 10G портами)

 

Ничего страшного в этом нет, строить такие сети все равно не начнут прямо сейчас.

 

3. Агрегация из CCR1036-12G-4S тоже не нужна, т.к. всё равно нужно ставить L2-"длинк"

 

L2 длинк просто будет осуществлять транзит трафика по оптической сети, при этом если дом многоподъездный, то в него заводится из центра нужное количество волокон, например 4 подъезда - 4 волокна задействовано.

 

4. Сомнительный доступ на CRS125G (всего один оптический порт. т.е. цепочку хотя бы из двух таких не сделаешь без медяков)

 

Ничего сомнительного. Он прямо с абонентского порта раздает адреса, не нужно беспокоится о транзите трафика абонента до первой терминирующей железки. Следовательно не требуется рисовать сложные схемы или вести учет вланов.

 

5. Вопрос СОРМа не раскрыт

 

СОРМ может предоставлять вышестоящий оператор.

[sexst]

Ничего страшного в этом нет, строить такие сети все равно не начнут прямо сейчас.

ТАКИЕ вообще не начнут, боюсь.

СОРМ может предоставлять вышестоящий оператор.

100к+ абонентов и вышестоящий оператор с СОРМ. Шутка, да. Люблю смешные шутки.

Сааб, если хоть один микротик прямо сейчас сможет хотя бы 10G пакетами по 512 байт с acl и не падая, съем коробку витухи без кетчупа.

 

везде будем использовать SDN

 

Свежо предание. Где оно, эт самое сдн...О нем твердят который год уже.

А там же где и повсеместный ipv6 =)

[srg555]

1. Задача CCR1036-8G-2S+(которые между облаков и другими CCR1036-8G-2S+) не ясна

 

Ясна - они пропускают транзитный трафик между своим каналом интернета, и каналами других устройств.

Так почему нельзя поднимать BGP с микротиков из кольца?

 

3. Агрегация из CCR1036-12G-4S тоже не нужна, т.к. всё равно нужно ставить L2-"длинк"

 

L2 длинк просто будет осуществлять транзит трафика по оптической сети

Тогда что же будет делать CCR1036-12G-4S? (ведь терминация по вашей схеме на доступе)

 

4. Сомнительный доступ на CRS125G (всего один оптический порт. т.е. цепочку хотя бы из двух таких не сделаешь без медяков)

Ничего сомнительного. Он прямо с абонентского порта раздает адреса, не нужно беспокоится о транзите трафика абонента до первой терминирующей железки. Следовательно не требуется рисовать сложные схемы или вести учет вланов.

 

При чём тут учёт вланов? Допустим, я хочу взять два CRS125G и соединить их оптикой между собой, между ними L3-линк, но сделать этого не могу.

 

5. Вопрос СОРМа не раскрыт

СОРМ может предоставлять вышестоящий оператор.

Изначальное условие - 2-3 аплинка. УФСБ не согласует схему использования вышестоящего СОРМа с несколькими внешними операторами из-за несимметрии трафика. Ну допустим, вы найдёте с УФСБ общий язык и договоритесь об использовании вышестоящих СОРМов при условии симметризации, но тогда вам нужно жёстко бить адресное пространство, ограничивая себе почти полностью в схемах резервирования. Да я очень сильно сомневаюсь что УФСБ согласует такую порнографию, особенно для оператора на 100К+ абонентов

[Unilink]

Читаю топик и думаю....сеть на 200К юзеров на микротиках и длинках? И уважаемые форумчане это ещё в серьёз и обсуждают.....

Видимо такие сети только во сне видели.

 

Ладно. С точки зрения крупного оператора задача трпикстартера требует двух вариантов подхода.

 

1) Гринфилд - тогда всё строиться с "нуля" правильно. С разделением на магистральную сеть, региональную и сеть доступа.

Все три сегмента чётко разделены и никакого "одна железка делает всё" нет. Это пожалуйста делайте в сетях на 5к юзеров.

Магистрать,региональная сеть - IP на Циске или Джунипере, DWDM на поставщике первого эшелона. Региональная сеть позволяет более экономного подхода к железкам.

В региональных сетях и SDH ещё встречается и Carrier Ethernet.

 

2) Сеть растущая органицчески за счёт "мерджерс анд аквизишенс" - выкидываете всё купленное с малой сетью барахло не соответствующее

вашему парку поставщиков. Строите по схеме 1).

[srg555]

сеть на 200К юзеров на микротиках и длинках?

 

С микротикам-то всё понятно. lowcost софтроутеры и несколько свитчей с неизвестными hw-характеристиками, тут конечно Saab95 зря сунулся в топик

 

А что не так с длинками? Как доступ их вообще кто только не использует в РФ(и мелкие и самые крупные). Как L2-агрегацию тоже используют. Некоторые используют DLink и как L3-агрегацию, обычно это мелочовка, но и Билайн тоже этим грешит

Изменено 23 ноября, 2013 пользователем srg555

[Saab95]

1. Задача CCR1036-8G-2S+(которые между облаков и другими CCR1036-8G-2S+) не ясна

 

Ясна - они пропускают транзитный трафик между своим каналом интернета, и каналами других устройств.

Так почему нельзя поднимать BGP с микротиков из кольца?

 

3. Агрегация из CCR1036-12G-4S тоже не нужна, т.к. всё равно нужно ставить L2-"длинк"

 

L2 длинк просто будет осуществлять транзит трафика по оптической сети

Тогда что же будет делать CCR1036-12G-4S? (ведь терминация по вашей схеме на доступе)

 

4. Сомнительный доступ на CRS125G (всего один оптический порт. т.е. цепочку хотя бы из двух таких не сделаешь без медяков)

Ничего сомнительного. Он прямо с абонентского порта раздает адреса, не нужно беспокоится о транзите трафика абонента до первой терминирующей железки. Следовательно не требуется рисовать сложные схемы или вести учет вланов.

 

При чём тут учёт вланов? Допустим, я хочу взять два CRS125G и соединить их оптикой между собой, между ними L3-линк, но сделать этого не могу.

 

Тут же уже ответили почему на схеме все так нарисовано:

 

С разделением на магистральную сеть, региональную и сеть доступа.

[denis_vid]

сеть на 200К юзеров на микротиках и длинках?

 

С микротикам-то всё понятно. lowcost софтроутеры и несколько свитчей с неизвестными hw-характеристиками, тут конечно Saab95 зря сунулся в топик

 

А что не так с длинками? Как доступ их вообще кто только не использует в РФ(и мелкие и самые крупные). Как L2-агрегацию тоже используют. Некоторые используют DLink и как L3-агрегацию, обычно это мелочовка, но и Билайн тоже этим грешит

Не вижу принципиальной разницы между длинками и микротиками. И то и другое построено на говеном железе.

[NiTr0]

Не вижу принципиальной разницы между длинками и микротиками.

Разница в том, куда это ставится. Длинки на доступ - вполне ок, особенно если требовать от них лишь необходимый минимум фич. Хотя да, те же хуаеи будут значительно интереснее - но дороже.

На агрегации л2 длинки - тоже вполне ок. Если юзать только вланы.

А вот л3 юзать их - печально будет...

Микротик - область применения его старших железок довольно туманна, на доступ - не годны из-за цены, на агрегацию - из-за нестабильности, в ядро - ни по стабильности, ни по производительности не прокатят. Разве что в какой-то офис в центр в качестве файрвола/роутера воткнуть, если трафика много кушается...