Jump to content
Калькуляторы

Ядрышко небольшой районной сети

Досталась на удаленку небольшая локалка районного масштаба.

Дано:

Тысячи три активных абов. Топология звезда.

95% покрытия на опте: 100mbit (60%), гиг (40%). Там, где 3526 частично 50/50 либо 100mbit wdm по конверторам, либо гиг 1-2волокна.

На домах где-то DES-3526 (40%), где-то Compex PS2216 с маками (60%), много межподъездных гирлянд.

Узлы агрегации - где-то Catalyst 3550-24/48 + шасси с медиками (20%), где-то те же самые DES-3526 + шасси с медиками (30%), где-то DGS-3100-24TG (30%), где-то DGS-3120-24SC (20%), где-то микс.

С узлов агрегации всё сходится в центр по опте 1Gbps, через конвертора DMC-805G и далее медью в ядро WS-C4948-S (1 порт = 1 влан = 1 сегмент).

У 4948 загрузка цпу 60% и выше, портов свободных меньше десятка.

Сегментация по вланам - около 20 вланов на всю сеть, L2, домены широковещания огромные (/16)

У абонов статическая адресация (ручками вбитые настройки). Авторизации, ip-mac-port binding, DHCP opt.82, PPPoE и т.п. даже не пахло.

Есть VPN, ито чисто для раздачи реальников.

По сети гоняется iptv, на DES-3526 настроены MVR, ACL для фильтрации netbios и DSCP QoS, management vlan, igmp-snooping, router-ports-forbidden и т.п.

Там где нет DES-3526 - все тупо льется в основные сегментные вланы с igmp-snooping'ом.

На 3120-24SC идет проброска мультикаста по всем вланам и включен igmp-snooping.

В мир смотрят C7604 + RSP720-3CXL-GE + WS-X6748-GE-TX. Натинг, шейпинг, FW на PC самосбор. BGP AS, PI, IPv4 1024 адр. Аплинков два.

Учитывая статику, отсутствие port-binding и вообще общую обстановку, интернет иногда часто, ясное дело, подворовывают. Что нужно предотвратить в дальнейшем.

Реализован простейший мониторинг (табличка домов посегментно, пинговалка + rrcpcli, если что лежит - красная метка).

В целом всё работает, но временами крайне паршиво.

Сетка в таком полузаброшенном состоянии последние года два-три, однако каким-то чудом выживает. Денег практически не выделяют, стройки нет, подключений особо тоже.

Одно время (год-полтора) админа там не было вообще. Саппортов двое, в реальности один - один дневной, один вечерний.

Текучка абонов по чуть-чуть в минус, новые в основном съемщики жилья/мелкие организации, что не удивительно. МСК.

 

Задача:

Предотвратить несанкционированные доступ (издинг инета). Привести всё это хозяйство в более-менее надежное состояние. Унифицировать, структурировать сеть.

Посредственно, без глобальных перестановок и в рамках разумного. Чтобы года два проработало и много хлопот по админингу и экстренным вмешательствам (как сейчас часто) не доставляло.

Оборудование с целью экономии рассматриваю в основном вторичное. Бюджет на всё до 1млн.р. максимум.

 

Центральную аппаратную уже кое-как "распутал", теперь уже ориентируюсь что-куда.

На дома постепенно (с производительностью не более 10шт за неделю) расставляются DES-3526 с предварительной профилактикой электролитов своими силами, благо на вторичном рынке их сейчас пруд-пруди.

 

Есть мысль вместо WS-C4948-S в ядро поставить что-то посерьезнее. Неблокируемое, с большим количеством SFP, лучше модульное.

Смотрю в сторону шасси 4500/6500, пары модулей по 24хSFP, один на 48 меди. Какой вариант предпочтительнее, какой супервизор? Подскажите

По началу думал о стэке WS-C3750G-48TS-S + пара-тройка WS-C3750G-12S, но похоже шило-на-мыло. Плюс выяснил, что они блокируемые.

 

Затем охото привести агрегацию к общему виду, тоже чтобы звезды сходились по гигу во что-то вроде DGS-3120-24SC. Попутно поизбавляться от шасси и медиков.

Далее постепенно подробить домены широковещания одновременно с избавлением от статики.

 

=======================

Вопросы следующие:

1) стоит ли менять в ядре 4948, если да то на что? 10G тут не планируется и врят ли пригодится вообще

2) какой способ авторизации выбрать, учитывая все изложенные выше факторы?

3) каким образом осуществлять блокировку?

 

Буду признателен за любые полезные советы и обмен опытом. Без предложений отказаться от этой затеи, нанять толкового админа и т.п.

Edited by creed

Share this post


Link to post
Share on other sites

Суммарный трафик и суммарное число абонентов какое?

Я бы C4948 не менял, хорошая ведь вещь.

Разве что в стек поставил бы C3750G-12S, чтобы оптические порты расширить и от медиаконвертеров уйти.

Share this post


Link to post
Share on other sites

Всего абонентов около 5000, активных в районе 3000. Наружу порядка 2.7Гбит

Блокировка сейчас идет путем добавления статической привязки ip-mac на 4948.

Загрузка цпу у 4948 в обычном режиме порядка 60%. Учитывая неоднородность сети, когда творится что-то неладное, то там все 100%.

А стэк из нескольких C3750G-12S в любом случае с помощью lacp нужно будет выводить в 4948.

Если оставить адресацию как есть и 3750g-12s использовать чисто в качестве расширения портов, то имхо с тем же успехом можно было бы поставить несколько DGS-3120-24SC - там плотность портов в два раза больше, плюс есть медь для связки с 4948.

 

Возможно есть смысл использовать 3750g-12s как роутящее устройство, если бить сеть на более мелкие сегменты. Тогда большая часть с нагрузки с 4948 уйдет, правильно понимаю?

В таком случае стэк из пары WS-C3750G-12S + WS-C3750G-24TS-S (чисто для связки по меди с 4948).

 

Или же все-таки предпочтительнее будет использовать модульное шасси 6500? Важно, что вопрос цен тут играет чуть ли не решающую роль.

Edited by creed

Share this post


Link to post
Share on other sites

6506 с двумя суп32 и 65хх картамм нынче стоит как 4948+3750. Я бы взял 6тонник и мозг не парил

Share this post


Link to post
Share on other sites

Не занимайтесь техноонанизмом, уходите от тупарей на доступе, делайте авторизацию по порту (опция 82) с порт секьюрити, и будет счастье. Терминацию л2 на аннамберед можно на кисках 3550 сделать (вроде как 500-1к абонов прожует каждая), если не хотите все в ядро тащить.

А потом уже будете думать, что и как менять в ядре, и надо ли...

Share this post


Link to post
Share on other sites

А стэк из нескольких C3750G-12S в любом случае с помощью lacp нужно будет выводить в 4948.

Я имел ввиду StackWise, между C4948 и C3750.

А оказывается, он такой стек не умеет.

Смысла в стеке через обычные порты конечно же нет.

Share this post


Link to post
Share on other sites

Не надо никаких 82, это прошлый век и вообще задолбаетесь перенастраивать 3к абонентов.

Вообще, любые перенастройки в этой ситуации будут главной проблемой - половину абонентов перенастроить легко, а вторую половину - титанический труд (проверено).

 

Я бы в этой ситуации постепенно перевёл бы сеть на схему vlan-per-customer.

Настройки существующим абонентам при этом оставляются прежние - соответственно, у всех всё продолжает работать, а попытки поставить себе чужой ип приведут только к отсутствию связи.

По железу - вариантов много. Я бы, наверное, поставил пару компов i7. Скорее всего, вытянет даже один, второй в резерв.

Share this post


Link to post
Share on other sites
Я бы, наверное, поставил пару компов i7

А что за компьютеры такие, не расскажете?

 

Не ну влан на юзера конечно хорошо, только вот есть куски неуправляемые.

А с каких пор дхцп - это прошлый век, а темболее с опцией 82? О_о

Чушь в общем порете, за исключением "перевёл бы сеть на схему vlan-per-customer"

Share this post


Link to post
Share on other sites

В схеме vlan-на-клиента опция 82 не нужна, по большому счету.

Share this post


Link to post
Share on other sites

А можно ли сделать vlan-per-customer имея ограниченное количество белых адресов(не используя нат)?

Share this post


Link to post
Share on other sites

Ну собственно мы в своей сети это проходили.

 

1) стоит ли менять в ядре 4948, если да то на что? 10G тут не планируется и врят ли пригодится вообще

Не стоит. У вас проблемы на L2. Если их решить - загрузки не будет. 4948 пережует все с запасом.

 

2) какой способ авторизации выбрать, учитывая все изложенные выше факторы?

Я бы все таки переводил на DHCP, но оставил возможность работы на старых настройках вбитых статикой.

 

 

3) каким образом осуществлять блокировку?

В первую очередь Вам нужно сделать 100% управляемый доступ. Это надолго, но все реально.

Ставьте везде 3526, выясняйте в каком порту кто живет. Это легко автоматизировать.

Заодно и с проблемами на L2 разберетесь -сегментируйте, настраивайте Traffic Segmentation, loopdetect и т.д. Но нужно уметь готовить длинки.

Далее появляются варианты. Мы железобетонно прибиваем IP к порту с помощью ACL автоматически из биллинга. Это исключает *издинг инета. Могу поделиться - пишите личкой.

VLAN per customer хорошо, но боюсь абонентам надо будет перенастраиваться.

 

3120-24SC хорошо, но дорого. Боюсь миллиона не хватит. Смотрите в сторону DGS 3627G или даже древних DXS3326GSR - они работают и вполне сносно годами. Вам от них только L2 и нужен.

 

Ну и т.д. Дальше переделать все на гигабит, привести в порядок узлы аггрегации, уйти от конвертеров.

Боюсь миллиона не хватит.

И саппортов нужно больше.

Share this post


Link to post
Share on other sites

Я бы в этой ситуации постепенно перевёл бы сеть на схему vlan-per-customer.

Проблема на агрегации будет с DGS3100 (256 вланов, нет qinq). Хотя - если настроить ему vlan trunk, то пойдет...

 

VLAN per customer хорошо, но боюсь абонентам надо будет перенастраиваться.

Думаю не придется.

 

В целом - автоматизировать бы процесс перевода абонов со статики на дхцп+опция82 (будь то на коммутаторах доступа или на агрегации при централизованном дхцп, или дхцп средствами агрегации) - вообще шикарно было бы. Ну т.е. держать параллельно статик роуты и дхцп, если клиент несколько дней живет на дхцп - прибивать статику.

Share this post


Link to post
Share on other sites

На доступ управляшки, желательно которые умеют опшн82 да трафик сегментэйшн. Тянем через любые сфп свичи по системе влан на дом, желательно десятками, накрайняк лацп транками в едро. Насчет едра вот тут вопрос. Я бы сделал L3 на цискаре типа 4900м, если надо- с сфп картой.

Есть еще мегаэкономный вариант- стоить влан пер узер, тянуть куинку др браса, л3 нинадо тогда вообще. На домах воообще любые управляйки, лишь бы умели дот1ку.

Дальше нужен брас. Вот только не врите что у вас при 5к юзеров не найдется бабосов на бу в железе. Софтроутеры на таком трафике непредсказуемы. Где 3 гига, там через год 8. Под нат можно взять стопочку се100, дешево и сердито. Подрастете- махнете на се600. И это, забудьте уже про 3750 уже, оно устарело.

Бордер у вас неплохо поживает на 7604, там его и оставить. Докупить 4х10ге карту.

Про то что кто- то не перелезет на динамик айпи- бред. Постепенно неспешно все сделаете.

Share this post


Link to post
Share on other sites

Я что-то не понимать, у автора "В мир смотрят C7604 + RSP720-3CXL-GE + WS-X6748-GE-TX", что ещё надо? Как минимум ещё один слот есть.

Share this post


Link to post
Share on other sites

3к онлайн - это до 2.5 гбит где-то. Софт-брасы, если в параллель с резервированием, вполне имеют право на жизнь. Хотя можно и на 3550/3750 терминировать даже, а скорость резать на порту...

Share this post


Link to post
Share on other sites

Фуфуфу. Софтрбрасы пожалуйста, но до гига. Дальше уже ответственность повышенная. 76я чтобы не выкидывать сойдет бордером, только запихать в нее 6704 десятошный модуль.

Share this post


Link to post
Share on other sites

До боли знакомая конструкция, да и железо знакомое.

Если у вас нету сколь либо серьезного внутреннего трафика, 4948s вам пока хватит, надо только допилить тупосегменты, последствия этих сегментов вы и сейчас наблюдаете в виде скачков cpu на 4948. Если локальные ресурсы присутствуют можно подумать о 4948-10g даже не ради 10g порта, а ради более мощного проца.

 

Как вариант вижу вашу сеть в центре, как 4948-10G, соединенную директ-атачем со стеком из Eltex MES-3124F, вполне себе надежное и производительное решение.

 

Что касается доступа, то тут конечно просто необходимо переходить к нормальным свитчам доступа с dhcp-snooping, arp-inspection, ip sorce guard и port-isolation, ну и конечно option82. По поводу того, что dhcp option82 это прошлое, то я знаю только одну более правильную технологию - это vlan per user в сочетании с qinq с терминацией всего этого добра на нормальный честный bras, но то уже совсем другие ценовые категории, кроме всего прочего при наличии сколь либо значимого локального трафика это решение становится уже не таким красивым. И да vlan per user без qinq - это куча железа с индивидуальными настройками, что совсем неудобно. Для себя давно решили vlan per switch + port isolation + option82 без qinq или vlan per port в пределах одного коммутатора доступа, подключенного по qinq. Такие модели максимально упрощают и унифицируют настройки. Есть еще один вариант, для стареньких dot1q свитчей без opt82, но я бы его не советовал - он увеличивает нагрузку на агрегацию.

Share this post


Link to post
Share on other sites

Фуфуфу. Софтрбрасы пожалуйста, но до гига. Дальше уже ответственность повышенная. 76я чтобы не выкидывать сойдет бордером, только запихать в нее 6704 десятошный модуль.

 

Софтбрас вполне можно и после гига, просто цена решения будет уже малогуманная и да конечно уровень ответственности уже выше.

Т.е. при наличии готового софтбраса с достаточными аппаратными ресурсами можно и рассматривать вариант с апгрейдом до 10g плат, а вот как решение с нуля не думаю, что хорошая идея.

Share this post


Link to post
Share on other sites

Софтрбрасы пожалуйста, но до гига. Дальше уже ответственность повышенная.

Резервирование же. На самом деле - при наличии прямых рук с софт-брасами все довольно хорошо. Аптайм 2-3 года не проблема.

Share this post


Link to post
Share on other sites
А можно ли сделать vlan-per-customer имея ограниченное количество белых адресов(не используя нат)?
Если белых больше, чем абонентов - можно, разумеется.

 

А с каких пор дхцп - это прошлый век, а темболее с опцией 82? О_о
82 - прошлый век. Разумеется, dhcp должно работать на основе вланов.

 

Я бы все таки переводил на DHCP, но оставил возможность работы на старых настройках вбитых статикой.
Именно так.

Причём старым абонентам тоже надо давать dhcp - чтобы они один и тот же ип могли использовать как статикой, так и получать его же по dhcp.

Переставили венду или сбросился роутер - всё само заработало на автомате.

VLAN per customer хорошо, но боюсь абонентам надо будет перенастраиваться.
Не надо. У них всё продолжит работать на старых настройках.

 

Что касается доступа, то тут конечно просто необходимо переходить к нормальным свитчам доступа с dhcp-snooping, arp-inspection, ip sorce guard и port-isolation, ну и конечно option82.
Весь этот страшный набор костылей - героическая борьба со следствием вместо исправления причины. И он всё равно не будет панецеей - когда на одном свиче появятся два юзера с одинаковыми маками, например. И будет мешать, когда надо юзеру дать 2-3 ипа. А в случае ipv6 вообще начинается цирк - например, затруднено использование SLAAC, ибо непонятно, кто какой ип получил.

Зачем всё это, когда vlan per customer решает проблему полностью и насовсем?

но то уже совсем другие ценовые категории
Ценовая категория в случае vlan per customer получается меньше, как это ни странно. Просто потому, что железо на доступе можно ставить самое простое, без костылей, даже старое б/у. И при этом на нём прекрасно будет работать дуалстек, к примеру.
кроме всего прочего при наличии сколь либо значимого локального трафика это решение становится уже не таким красивым.
Это почему же?

Share this post


Link to post
Share on other sites
А с каких пор дхцп - это прошлый век, а темболее с опцией 82? О_о
82 - прошлый век. Разумеется, dhcp должно работать на основе вланов.

А откуда брать инфу какой влан? Слушать дисковеры на тысячах вланов?

 

Это почему же?

Трафик будет бегать до терминации.

Share this post


Link to post
Share on other sites

А откуда брать инфу какой влан? Слушать дисковеры на тысячах вланов?

 

У нас работает через релей на L3 свитче

 

Трафик будет бегать до терминации.

Ну и пусть себе бегает. В наше время его не так уж и много.

Share this post


Link to post
Share on other sites
82 - прошлый век. Разумеется, dhcp должно работать на основе вланов.

что-что?

Если вы имеете в виду что-то вроде связки влан на юзера + (к примеру) та же циска с аннамбередом и на ней релей и снупинг, который вешает опцию 82 - и отдавать абону адрес в соответствии с вланом - так и говорите, что опция 82 НА ДОСТУПЕ "прошлый век" и нужно вешать опцию 82 на л3 агрегации\терминации вланов.

Потому что судя по вашим словам - мне нужно гнать на дхцп сервер туеву хучу вланов и слушать их все, а я себе это слабо представляю хотя бы когда 4к+ абонов.

Софт охиреет просто от колва интерфейсов.

 

Или как выше говорили - паковать всё в q-in-q и гнать на брас, а там уже радиусом рулить как хочеться.

Edited by GrandPr1de

Share this post


Link to post
Share on other sites

А откуда брать инфу какой влан? Слушать дисковеры на тысячах вланов?

У нас работает через релей на L3 свитче

А релей это не опт82? Или я чего-то не знаю?

 

Потому что судя по вашим словам - мне нужно гнать на дхцп сервер туеву хучу вланов и слушать их все

Мне тоже так показалось.

Share this post


Link to post
Share on other sites

А релей это не опт82?

opt82 эт все же relay agent information, без которой relay вполне может жить своей жизнью ;) другое дело что relay без opt82 ныне не представляется информативным (однако, все еще встречается в жизни)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this