Catalyst 6513 на 400 SFP

[MACTEP]

Добрый день!

Многоуважаемые гуру, подскажите, пожалуйста, можно ли на Catalyst 6513 собрать 400 SFP (SFP WDM 10км 1550nm Bidirectional) портов и как будет себя вести эта железка при большом трафике?

Edited May 4, 2008 by MACTEP

[UglyAdmin]

Модуль на 48 SFP

SUP720

Просвитчует, никуда не денется.

[SergeiK]

Nailer, я помню, тут описывал аритектуру 6500.

У 6513 на большинстве слотов по 20 гигабит на слот, то есть при большой нагрузке и трафике за пределы модуля (а предложенный модуль умеет трафик внутри себя обрабатывать сам) могут быть затруднения.

В остальном все будет хорошо.

[UglyAdmin]

В 6500 пропускная на модуль зависит от того, к какой шине подключается этот модуль.

Модули 67хх подключаются к SUP720/DFC по двум 20Г шинам на слот, так что овербукинг небольшой.

[MACTEP]

Модуль на 48 SFP

SUP720

Просвитчует, никуда не денется.

Если установка 9-ти модулей по 48 SFP возможна, то позволю себе уточнить задачу:

Catalyst 6513 планируется установить в ядро сети и тем самым исключить узлы агрегации (город не большой). На каждый дом (400 зданий) 1 Гигабит/сек по SFP в коммутатор D-Link DES 3028/3052 и IP сеть /24.

 

1. Конфигурация Catalyst 6513:

- Шасси Cisco Catalyst WS-C6513 - 1 шт.

- Вентиляторы Cisco Catalyst WS-C6K-6SLOT-FAN2 - 1 шт.

- Блок питания Cisco Catalyst WS-CAC-2500W - 2шт.

- Модуль Cisco Catalyst WS-SUP720-3B (MSFC3,PFC3B) - 1шт.

- Модуль Cisco Catalyst WS-X6748-SFP - 9 шт.

- Cisco Catalyst WS-X6748-GE-TX - 1 шт.

- 2 слота свободны.

Все верно?

 

2. Мои сомнения связаны с тем, что ни в какой документации не нашел возможность установки 9 модулей.

3. Справиться ли данная конфигурация с маршрутизацией четырехсот сетей, с подсчетом трафика и нарезкой полос.

4. Можно ли возложить на Catalyst 6513 функцию шлюза в Интернет: NAT, 2 канала (80 и 30 Мбит/сек), PI-512 ?

Edited May 4, 2008 by MACTEP

[Egor]

1. А софт?

2. доки читать внимательно (шасси+супервизор+модуль), если где-нибудь не написано, по каким слотам можно ставить, значит можно ставить как угодно. Вот применительно к супервизору - у него, насколько помню, есть предпочтения по слоту.

3,4. NAT и подсчет трафика лучше убрать, а то может от этого с ним быть всякое...

Нарезку полос - искать на форуме людей, которые в боевом режиме пользуются фичей UBRL (здесь есть такие) и спрашивать у них ;)

 

[Nailer]

Модуль на 48 SFP

SUP720

Просвитчует, никуда не денется.

Если установка 9-ти модулей по 48 SFP возможна, то позволю себе уточнить задачу:

Catalyst 6513 планируется установить в ядро сети и тем самым исключить узлы агрегации (город не большой). На каждый дом (400 зданий) 1 Гигабит/сек по SFP в коммутатор D-Link DES 3028/3052 и IP сеть /24.

 

1. Конфигурация Catalyst 6513:

- Шасси Cisco Catalyst WS-C6513 - 1 шт.

- Вентиляторы Cisco Catalyst WS-C6K-6SLOT-FAN2 - 1 шт.

- Блок питания Cisco Catalyst WS-CAC-2500W - 2шт.

- Модуль Cisco Catalyst WS-SUP720-3B (MSFC3,PFC3B) - 1шт.

- Модуль Cisco Catalyst WS-X6748-SFP - 9 шт.

- Cisco Catalyst WS-X6748-GE-TX - 1 шт.

- 2 слота свободны.

Все верно?

 

2. Мои сомнения связаны с тем, что ни в какой документации не нашел возможность установки 9 модулей.

3. Справиться ли данная конфигурация с маршрутизацией четырехсот сетей, с подсчетом трафика и нарезкой полос.

4. Можно ли возложить на Catalyst 6513 функцию шлюза в Интернет: NAT, 2 канала (80 и 30 Мбит/сек), PI-512 ?

Работать такое не будет.

Забудьте про 13 шасси, в него встанет только 5 карт на 48 портов, остальные только 24-портовые.

Кроме того, блоки на 2500 ватт можно взять только бэушные, потому что они давно были заменены на 3000-ники.

 

Единственный вариант шасси под ваши задачи - 6509 с карточками 6748-SFP. Кроме того, если это ядро, то настоятельно рекомендую не экономить и поставить второй суп.

 

В качетстве шлюза его точно лучше не использовать, забъете весь TCAM натом.

[MACTEP]

1. А софт?

А к этому "зверю" даже не знаю с какой стороны подойти :).

 

[MACTEP]

Работать такое не будет.

Что не так? Где ошибка?

 

Забудьте про 13 шасси, в него встанет только 5 карт на 48 портов, остальные только 24-портовые.

Т.о. всего можно установить модули 5*48+5*24 и получим 360 SFP потров? Я как раз и обратил свой взор на 6513, чтобы закрыть 400 портов :(.

А как же это:

(с) Cisco Catalyst 6500 Series Mixed Media Gigabit Ethernet Modules: "High mixed media Gigabit Ethernet port densities: From 8 up to 48 ports per module, and up to 410 mixed media/fiber Gigabit Ethernet ports per system"

 

Кроме того, блоки на 2500 ватт можно взять только бэушные, потому что они давно были заменены на 3000-ники.

Я как раз и присматривался к Б/У или в этом тоже есть "подстава"?

 

Единственный вариант шасси под ваши задачи - 6509 с карточками 6748-SFP. Кроме того, если это ядро, то настоятельно рекомендую не экономить и поставить второй суп.

В том-то и дело, что на 6509 не получается собрать 400 SFP портов:

4isp.ru: Cisco Catalyst WS-C6509 CoreHight Bundle:

Шасси Cisco Catalyst WS-C6509 - 1шт.

Вентиляторы Cisco Catalyst WS-C6K-6SLOT-FAN2 - 1шт.

Модуль Cisco Catalyst WS-SUP720-3B (MSFC3,PFC3B) - 1шт.

Модуль Cisco Catalyst WS-X6748-SFP - 1шт.+6шт.

Модуль Cisco Catalyst WS-X6748-GE-TX - 1шт.

Блок питания Cisco Catalyst WS-CAC-2500W - 2шт.

----- ИТОГО: 336 SFP порта -----

 

Даже второй СУП не помещается. А что он даст?

Edited May 4, 2008 by MACTEP

[Nailer]

Работать такое не будет.

Что не так? Где ошибка?

 

Забудьте про 13 шасси, в него встанет только 5 карт на 48 портов, остальные только 24-портовые.

Т.о. всего можно установить модули 5*48+5*24 и получим 360 SFP потров? Я как раз и обратил свой взор на 6513, чтобы закрыть 400 портов :(.

А как же это:

(с) Cisco Catalyst 6500 Series Mixed Media Gigabit Ethernet Modules: "High mixed media Gigabit Ethernet port densities: From 8 up to 48 ports per module, and up to 410 mixed media/fiber Gigabit Ethernet ports per system"

 

Кроме того, блоки на 2500 ватт можно взять только бэушные, потому что они давно были заменены на 3000-ники.

Я как раз и присматривался к Б/У или в этом тоже есть "подстава"?

 

Единственный вариант шасси под ваши задачи - 6509 с карточками 6748-SFP. Кроме того, если это ядро, то настоятельно рекомендую не экономить и поставить второй суп.

В том-то и дело, что на 6509 не получается собрать 400 SFP портов:

4isp.ru: Cisco Catalyst WS-C6509 CoreHight Bundle:

Шасси Cisco Catalyst WS-C6509 - 1шт.

Вентиляторы Cisco Catalyst WS-C6K-6SLOT-FAN2 - 1шт.

Модуль Cisco Catalyst WS-SUP720-3B (MSFC3,PFC3B) - 1шт.

Модуль Cisco Catalyst WS-X6748-SFP - 1шт.+6шт.

Модуль Cisco Catalyst WS-X6748-GE-TX - 1шт.

Блок питания Cisco Catalyst WS-CAC-2500W - 2шт.

----- ИТОГО: 336 SFP порта -----

 

Даже второй СУП не помещается. А что он даст?

Изврат с 410 портами рассчитывается следующим образом:

 

Берем 13-слотовое шасси

В 5 двухканальных слотов ставим карты 6748-SFP, итого 5*48=240 портов.

В оставшиеся 8 одноканальных ставим 1 суп (2 порта) и 7 карт 6724-SFP по 24 порта. Итого 2 + 168 = 170.

 

В итоге 170+240 = искомые 410.

Причем один порт (второй на супе) будет как раз mixed-media, т.е. 1000BaseT/SFP.

 

Второй суп стоит поставить для резервирования первого, чтобы не куковать, когда первый сдохнет.

Сдыхают циски редко, но и с ними это случается, поэтому лучше не рисковать, если вы замышляете серьезное ядро.

 

В принципе, в вашем случае все-таки можно использовать 13-е шасси, набив его карточками 6748 и 6724. Если поставить два супа, то получится 388 портов, включая порты на головах. Но лучше, ИМХО, так не извращаться, потому как не остается никакого резерва. Полностью набить 13-е шасси карточками 6748 не получится, они могут работать только в 5 слотах шасси. В оставшихся 8 могут работать только 6724 и супы.

 

В Б/У подстава только в том, что оно Б/У :-)

Edited May 4, 2008 by Nailer

[ssk]

А чего бы не поставить Extreme BD 10808? 7 плат по 60 SFP, да и на шину со слота у него 60Гбит выводится, 1 слот свободен.

[zoro]

доку на Extreme хрен найдешш :(

тут на сиську нужно думать откуда взять "правду", перелапачивать кучу доки... а Extreme по сравнению с ней смотрится темным "ишаком"... доки нет...

[ssk]

доку на Extreme хрен найдешш :(

тут на сиську нужно думать откуда взять "правду", перелапачивать кучу доки... а Extreme по сравнению с ней смотрится темным "ишаком"... доки нет...

о какой доке идет речь?

[UglyAdmin]

Если речь идёт об аггрегации 400 домов, то можно обойтись и более дешевым SUP2+SFM, один фиг суммарная даже пиковая нагрузка будет хорошо если процентов 10-15 от максимальной, так что и 256Г за глаза...

Одним шасси при этом не обойтись и придётся их как-то связывать.

А так да, 410 SFP максимум при одном SUP720 и расти некуда.

 

Extreme:

У BlackDiamond 8800 Series, примерно такие же ограничения, правда можно втиснуть 400 SFP при двух MSM.

А вот BlackDiamond 10808 может уже 480 SFP (8 модулей по 60 портов)...

 

Доки да, в паблике не лежат, но у продавцов выцарапать можно. :)

 

Может, урезать осетра и давать 100М на дом?

[Nag]

Если речь идёт об аггрегации 400 домов, то можно обойтись и более дешевым SUP2+SFM,

Суп2 и 48-ми портовые гигабитные модули, увы, несовместимы.

Разве что растащить это все на пару 6513 шассиков дешевыми 16-ти портовыми модулями.

Самое смешное, что это все выйдет по цене пары модулей x6748... :-)

 

[MACTEP]

Изврат с 410 портами рассчитывается следующим образом:

...

В итоге 170+240 = искомые 410.

Спасибо!

 

Второй суп стоит поставить для резервирования первого, чтобы не куковать, когда первый сдохнет.

Сдыхают циски редко, но и с ними это случается, поэтому лучше не рисковать, если вы замышляете серьезное ядро.

Если второй SUP необходим только для резервирования, то можно его прикупить и положить рядом на полочку. А с учетом того, что они выходят из строя очень редко, то время простоя до ручной замены будет очень небольшое. Или все-таки второй SUP работает совместно с первым и дает прибавку в производительности?

 

 

В принципе, в вашем случае все-таки можно использовать 13-е шасси, набив его карточками 6748 и 6724. Если поставить два супа, то получится 388 портов, включая порты на головах. Но лучше, ИМХО, так не извращаться, потому как не остается никакого резерва. Полностью набить 13-е шасси карточками 6748 не получится, они могут работать только в 5 слотах шасси. В оставшихся 8 могут работать только 6724 и супы.

 

В Б/У подстава только в том, что оно Б/У :-)

Насколько я понял из форума, то у доброй половины стоят именно Б/У. Корректно ли мое наблюдение?

[Nailer]

Изврат с 410 портами рассчитывается следующим образом:

...

В итоге 170+240 = искомые 410.

Спасибо!

 

Второй суп стоит поставить для резервирования первого, чтобы не куковать, когда первый сдохнет.

Сдыхают циски редко, но и с ними это случается, поэтому лучше не рисковать, если вы замышляете серьезное ядро.

Если второй SUP необходим только для резервирования, то можно его прикупить и положить рядом на полочку. А с учетом того, что они выходят из строя очень редко, то время простоя до ручной замены будет очень небольшое. Или все-таки второй SUP работает совместно с первым и дает прибавку в производительности?

 

 

В принципе, в вашем случае все-таки можно использовать 13-е шасси, набив его карточками 6748 и 6724. Если поставить два супа, то получится 388 портов, включая порты на головах. Но лучше, ИМХО, так не извращаться, потому как не остается никакого резерва. Полностью набить 13-е шасси карточками 6748 не получится, они могут работать только в 5 слотах шасси. В оставшихся 8 могут работать только 6724 и супы.

 

В Б/У подстава только в том, что оно Б/У :-)

Насколько я понял из форума, то у доброй половины стоят именно Б/У. Корректно ли мое наблюдение?

Можно, конечно, и держать второй суп в зипе, но перерыв в обслуживании все равно будет. Хотя вам виднее, насколько он допустим для вашей сети. Советую при этом сделать сервачок, который будет архивировать конфигурации, чтобы не остаться с работающим ненастроенным супом, конфига для которого нету. Руками архивировать конфигурации все равно нормально не получается, как правило.

 

Второй суп в 6500 производительности не добавляет, просто стоит и ждет своего часа :-)

 

 

[MACTEP]

Кручу-верчу... Нет, не получается обойтись одним шасси 6513. Во-первых, совсем позабыл, что нужен модуль с медными портами для подключения служебных и развлекательных серверов. А во-вторых, ознакомился с генпланом города, на котором заложен новый микрорайон.

Всемирный разум, как всегда прав! :)

 

Т.о. задача усложнилась: теперь требуется 480 SFP портов.

Видимо, придется воспользоваться вариантом с двумя 6509. Помогите сконфигурировать!

Edited May 5, 2008 by MACTEP

[Nailer]

Кручу-верчу... Нет, не получается обойтись одним шасси 6513. Во-первых, совсем позабыл, что нужен модуль с медными портами для подключения служебных и развлекательных серверов. А во-вторых, ознакомился с генпланом города, на котором заложен новый микрорайон.

Всемирный разум, как всегда прав! :)

 

Т.о. задача усложнилась: теперь требуется 480 SFP портов.

Видимо, придется воспользоваться вариантом с двумя 6509. Помогите сконфигурировать!

Все-таки не очень правильную схему вы делаете.

Не стоит сгонять все в центр, тем более, что он один.

Проблема с шеститонником может быть не в том, что сгорит суп, который вы сможете быстро поменять на лежащий рядом.

Проблема может быть со всей серверной, которая сгорит целиком (тьфу-тьфу-тьфу), или будет залита вместе с оборудованием, или в лучшем случае банально обесточена. После этого вы окажетесь с неработающей сетью и вышедшим из строя оборудованием, замену которому ждать несколько недель.

 

Кроме того, ядро иногда нужно обслуживать, перезагружать, переливать софт и т.д.

 

Я бы посоветовал оставить уровни агрегации и их подключать их двумя каналами 10GE к двум шеститонникам ядра, расположенным в разных помещениях. Весь этот хабар (доступ с агрегацией и агрегацию с ядрами) связать оптическими колечками.

Таким образом вы избавитесь от одиночной точки отказа, которая может убить вашу сеть надолго.

 

Путь безусловно более затратный, но если вы хотите сделать все правильно и обеспечить возможности для роста, то другого варианта нет. Кроме того, вы слегка сэкономите на оптике (480 волокон тянуть из района в одно здание - это сильно).

[MACTEP]

Я бы посоветовал оставить уровни агрегации и их подключать их двумя каналами 10GE к двум шеститонникам ядра, расположенным в разных помещениях.

Именно из-за проблем с организацией отказоустойчивых и антивандальных узлов агрегации приходится тянуть все это хозяйство в центр. Да и банальные проблемы с размещением узлов агрегации в "хрущевках" заставляют отказаться от этой затеи. А ведь там тоже необходимо обеспечить питание от 2-х подстанций, кондиционирование и сохранность дорогого оборудования.

 

А вот на счет второго помещения можно подумать. Есть такая комнатка в другом здании, но к ней имеют доступ другие службы и не в любое время туда можно попасть. Хотя по топологии кабеля это помещение очень удобно :). Если принять вариант с двумя помещениями, то какая конфигурация должна быть и достаточно ли будет 2*10GE?

 

480 волокон тянуть из района в одно здание - это сильно

Ядро как раз в центре города, что позволяет вывести несколько лучей кабеля в разные стороны. Edited May 5, 2008 by MACTEP

[bairt]

а если по хорошему то имеет смысл колечко из 3 узлов. потому что в случае когда 2 , если один из них выходит из строя, то второй загибается от потока

[Nailer]

Я бы посоветовал оставить уровни агрегации и их подключать их двумя каналами 10GE к двум шеститонникам ядра, расположенным в разных помещениях.

Именно из-за проблем с организацией отказоустойчивых и антивандальных узлов агрегации приходится тянуть все это хозяйство в центр. Да и банальные проблемы с размещением узлов агрегации в "хрущевках" заставляют отказаться от этой затеи. А ведь там тоже необходимо обеспечить питание от 2-х подстанций, кондиционирование и сохранность дорогого оборудования.

 

А вот на счет второго помещения можно подумать. Есть такая комнатка в другом здании, но к ней имеют доступ другие службы и не в любое время туда можно попасть. Хотя по топологии кабеля это помещение очень удобно :). Если принять вариант с двумя помещениями, то какая конфигурация должна быть и достаточно ли будет 2*10GE?

В любом случае стоит ориентироваться на девятислотовое шасси, 720-ый супервизор с 3B и на 6700 серию карточек. Все это заработает в любых сочетаниях.

 

Хватит ли вам 20 гигабит, мне сказать сложно, но думаю, что да :-) В любом случае как минимум 4 порта на карте есть, значит вы можете поднять сразу 40.

 

Какая у вас топология оптики и какое оборудование стоит в домах?

 

 

[MACTEP]

Какая у вас топология оптики и какое оборудование стоит в домах?

Чистая звезда.

На уровне доступа коммутаторы D-Link: DES-3028 и DES-3052.

 

[Nailer]

Какая у вас топология оптики и какое оборудование стоит в домах?

Чистая звезда.

На уровне доступа коммутаторы D-Link: DES-3028 и DES-3052.

Топология сети чистая звезда или топология оптики чистая звезда?

[MACTEP]

Ну, если мы говорим волокно из ядра в дом без узлов агрегации, то топология сети - звезда.

А если про топологию кабеля, то из ядра выходит 3 луча, которые затем начинают делиться. Тут получается "дерево".