Магистраль и ядро локалки, перестройка, выбор железа

[Wingman]

Прошу помощи в подборе железок под задачи.

Задача - перестройка несущей магистрали внутренней сети ISP; перестройка логической сети - от больших бродкастовых доменов к vlan-на-дом.

 

Сейчас:

3 штуки DGS-3627G роутят пару десятков сегментов сети, статик маршрутизация. Соединены порт-чаннелами.

Бордер (PC) сейчас входит 8-Ge port-channel`ом в стек из WS-C3750G-24TS-E и WS-C3750G-12S-S. Они собирают аплинки, отдают их бордеру, забирают "переваренный" инет и отдают его во внутреннюю сеть.

Как-то так:

Юзеров порядка 12к (и это число довольно быстро растёт), соответственно на каждый dgs тысячи по 3-4 хомяков.

 

Из одного из DGS порт-чанел к бордеру, из другого - порт-чанел к серверной с БРАС`ами (бордер и серверная в разных местах географически).

 

 

Собсно, достали постоянные баги 3627. Начиная от потерь arp-записей на каком-то одном интерфейсе (и хрен поймешь сходу, сегодня полдня потратил), и заканчивая вечными проблемами с мультикастом.

Во-вторых, уже поджимает, скоро пора будет запускать между узлами 10g. Под это дело возникла мысль/идея/желание роутить локалку кошками, а длинки оставить гонять L2.

 

 

Сам я не кошковод, а учитывая разнообразие цисковского железа, где одна буковка может кардинально менять область применения железки, решил обратиться к сообществу =)

 

 

Что нужно:

1. Что-то присобачить к стеку 3750 под бордером, чтобы забрать из него во внут. сеть 10G. Есть ли 3750 с 10g слотами? =)

2. Что-то поставить как L3-центр локалки. При этом соединить по 10г с бордером и, возможно, с серверной.

3. Задачи L3-центра -- роутить до пары тысч серых сегментов локалки; гонять IPTV по pim-sm; ну и, конечно, ловить петли/штормы в подключенных вланах.

 

Очень мне нравятся те же 3750, поскольку по цене Б/У вполне сопоставимы с тем же 3627g =)

Но. Во-первых, существуют ли модели 3750 с 10г слотами?

Во-вторых, смущает малое количество портов. А стекировать - жалко, т.к. число вланов не увеличится, только число портов =)

В-третьих, какую нагрузку вытянет 3750? Вытянет ли пару-тройку тысяч интерфейсов?

 

p.s.

Oops. 3750 держит 12к маков. Нам уже почти впритык. Вот и ещё вопрос - как их между собой соединить. Порт-чанелом - портов, жалко, 10г либо нет, либо дорого =)

 

 

Edited June 20, 2010 by Wingman

[Zmeich]

Есть 3560E/3750E кошки с 2х10GE портами.

[C@T]

тоже очень интересуют эти же вопросы...

Oops. 3750 держит 12к маков. Нам уже почти впритык.

По видимому, у Вас 3750 работает в шаблоне "Vlan Template", раз в ТКАМ влезает 12К записей...

Если Вы захотите роутить L3 (SVI) на этой циске, то придется поменять sdm template на rouing/access/default,

и это сильно подсократит вам ткам-таблицу, в нее будет влезать всего-лишь от 3 до 6К маков (!!!) ,

или, в случае WS-C3750G-12S, 6К (да поправят меня уважаемые циско-гуру если что нет так...)

В-третьих, какую нагрузку вытянет 3750? Вытянет ли пару-тройку тысяч интерфейсов?

по доке, "There is no defined limit to the number of SVIs and routed ports that can be configured in a switch stack"

а в реальности... где-то на форуме говорилось о том, что 1000 SVI держит

[Danuuk]

Взять шасси 65xx, да забить нужными карточками. Имеются 10 гигабитные 4-, 8- или 16- портовые модули. Да и SUP720 с парой 10GE аплинков есть, по макам опять же запас появится.

[ghost]

Взять шасси 65xx, да забить нужными карточками. Имеются 10 гигабитные 4-, 8- или 16- портовые модули. Да и SUP720 с парой 10GE аплинков есть, по макам опять же запас появится.

65-й каталист еще надо суметь собрать, там своих заморочек вагон, его так просто платами не нашпигуешь.

[Wingman]

Взять шасси 65xx, да забить нужными карточками. Имеются 10 гигабитные 4-, 8- или 16- портовые модули. Да и SUP720 с парой 10GE аплинков есть, по макам опять же запас появится.

65-й каталист еще надо суметь собрать, там своих заморочек вагон, его так просто платами не нашпигуешь.

65 на бордер целим, жирновато для ядра локалки =)

[ghost]

В сторону juniper еще можно посмотреть.

 

при ваших запросах на бордер что-то типа ESR-1000 теоретически лучше проканает, а вот 65-й как раз на ядро пожалуй лучше нацелить.

[D^2]

extreme x480

http://shop.nag.ru/catalog/item/05289

http://shop.nag.ru/catalog/item/05290

 

или б.у. 6500

Edited June 21, 2010 by D^2

[mschedrin]

Продаем две 3750, покупаем одну 4900M. 8*10GE уже идут в шасси, дальше набиваем SFP или медными портами по мере необходимости.

Дешево и сердито :)

Edited June 21, 2010 by mschedrin

[Wingman]

Продаем две 3750, покупаем одну 4900M. 8*10GE уже идут в шасси, дальше набиваем SFP или медными портами по мере необходимости.

Дешево и сердито :)

А сколько они реально SVI потянут? =)

[mschedrin]

Продаем две 3750, покупаем одну 4900M. 8*10GE уже идут в шасси, дальше набиваем SFP или медными портами по мере необходимости.

Дешево и сердито :)

А сколько они реально SVI потянут? =)

Думаю потянут ровно столько сколько написано в документации :)

У меня больше 30 нигде нет.

[yakuzzza]

А что по трафику? Или вся проблема в проблемности D-Linkа?

Я так и не понял необходимости в большом количестве портов на бордере. У вас больше гигабита интернета? Больше двух?

В общем, хотелось бы более подробной схемы с информацией про трафик.

Edited June 21, 2010 by yakuzzza

[Wingman]

А что по трафику? Или вся проблема в проблемности D-Linkа?

Я так и не понял необходимости в большом количестве портов на бордере. У вас больше гигабита интернета? Больше двух?

В общем, хотелось бы более подробной схемы с информацией про трафик.

 

По трафику - скоро на магистралях действительно понадобится 10г. Но длинки-то этот траф прожевывают, в принципе.

Проблема - во-первых, в их глючности; во-вторых в невозможности завести много SVI.

[yakuzzza]

Разгружать магистраль. Фильтровать до попадания в магистрать. D-Link с 10Жэ - это ужасно.

[Wingman]

Разгружать магистраль. Фильтровать до попадания в магистрать. D-Link с 10Жэ - это ужасно.

Что фильтровать? =)

 

Проблема, собсно, не в 10г. 10г - это одно из условий выбора железа.

А уход от длинка в L3 обусловлен в основном:

1. Постоянной глючностью базового функционала -- например, тупо время от времени на одном из SVI начинает непрерывно терять и НЕ обновлять arp-записи.

2. Постоянная и неизлечимая глючность мультикаста и PIM.

3. Невозможность создать более 255 SVI. ПРИ ЭТОМ сдыхать он начинает гораздо раньше - при нескольких десятках нагруженых SVI.

[photon]

Разгружать магистраль. Фильтровать до попадания в магистрать. D-Link с 10Жэ - это ужасно.

Что фильтровать? =)

Все ненужное, начиная с broadcast-трафика, порождаемого Netbios, чатами и некоторыми играми. Лучше предварительно понаблюдать трафик с помощью Wireshark, чтобы выявить мусор. Длинки немного разгрузятся и не будут так часто дохнуть. Edited June 22, 2010 by photon

[cmhungry]

Разгружать магистраль. Фильтровать до попадания в магистрать. D-Link с 10Жэ - это ужасно.

полосатые живут, и ничего

[mschedrin]

А по-моему полосатые не особо хорошо живут с этими длинками :)

[mikevlz]

видимо они полосатые по-разному. У одних только желтые полоски, в другой район достались только черные :)

[yakuzzza]

А киньте ссылку. Интересно посмотреть, что там у них настроено и в реальности ли работает или просто декларирование?

Заранее благодарен.

[darkagent]

По трафику - скоро на магистралях действительно понадобится 10г. Но длинки-то этот траф прожевывают, в принципе.

Проблема - во-первых, в их глючности; во-вторых в невозможности завести много SVI.

весь L3 свести на тот же 4900M (или 65хх/76хх), очевидно же

Разгружать магистраль. Фильтровать до попадания в магистрать. D-Link с 10Жэ - это ужасно.

В принципе соглашусь с одним и не соглашусь с другим. Контролировать трафик до попадания в магистраль действительно нужно, те же storm control, те же netbios фильтры, да и всевозможный паразитный трафик вырезать не помешает. А вот D3627G с 10G очень даже хорошо живет, но только как L2, и только если не городить связности cisco rapid-pvst -> dlink rstp. по части обычного ieee stp или mstp у них дела обстоят гораздо лучше. но иногда можно и без stp обойтись, если грамотно разрулить все низсходящие направления - в этом случае D3627G заработает как швейцарские часы.

L3 на D3627 вобще отвратителен. если в очень маленьких сегментах (до 500 пользователей) нареканий нет, то в больших сегментах - боже упаси.

А по-моему полосатые не особо хорошо живут с этими длинками :)

раз на раз не приходится, в принципе как и у всех - в одном месте все может работать идеально, а в другом при идентичном построении сети все через пятую точку. жалобных постов на всевозможных форумах можно начитаться вдоволь, а вот благодарности - редкость, когда все работает хорошо - пользователи редко думают о том чтобы написать где то "спасибо, у нас все замечательно".

 

вообще очень красивая конфигурация на базе выше предложенного была б такой:

4900M, с него звездой по 10G -> 3627, весь L3 на cisco, длинки только L2.

при том что у 4900M потолок в 55к маков, 200к routing entry, и 70к multicast entry; а у тех же 3627G потолок в 16к маков - из сети можно выжать всего и по максимум. разве что необходимо следить за нагрузкой на L3 на 4900M, и при достижении средних значений в 50-60%, в параллель загнать еще одну 4900M и спустить с нее дублирующие линки - тогда можно будет и L2 и L3 развести/сбалансировать, да и такая избыточность повысит отказоустойчивость звезды в целом (особенно если эти две железки будут стоять в двух краях сети, и собирать будут на разных волокнах, чтоб и физику подстраховать).