C7606 - проблема с 10 GE int

[KoloBok]

Приветствую, Коллеги!

 

Есть такая конфигурация: два маршрутизатора CS7606, RSP720-3CXL, IOS 12.2 (33) src3.

Один - бордер, второй - ядро сети. Работали себе и незаметно так подошли к пределу Port-channel'а - к 8 GE линкам. Решил расширить стык установкой 10GE интерфейсов. В ядерном маршрутизаторе уже была установлена плата WS-X6708-10GE с 5 активными линками. Установил в бордерный маршрутизатор WS-X6704-10GE с интерфейсом XENPACK. Использовал оригинальные модули Cisco - один Х2 и один XENPACK. Линк поднялся, но были жуткие потери даже на не нагруженном канале - до 50% потерь и более. Установка аттеньюаторов в соответствии с рекомендацииями Cisco не помогла. Установил в бордерный еще одну плату WS-X6708-10GE и на двух X2 модулях поднял таки нормальный 10 GE линк.

До конца проблему не разобрал (почему не работал линк на паре X2-XENPACK) - просто не было времени. На паре Х2 все работало.

Однако по мере роста загрузки 10 GE линка стали появляться проблемы. В один прекрасный день увеличив нагрузку на 500mbps случился коллапс: пинг с одного на второй маршрутизатор превысил 150ms. Танцы в течении двух дней не помогли: как только утилизация линка превышает 7,5gbps, происходит резкое увеличение задержки до совершенно неразумных величин. При этом ошибок, дропов на портах нет. Временно решил проблему разгрузив этот линк. Однако решение временное, ибо трафик растет ежедневно.

Опыта эксплуатации столь загруженных 10GE линков нет.

 

Вопрос: 1. подскажите пожалуйста, это нормальная реакция на загрузку? Я привык, что 1000base-tx можно прогрузить на 950mbps. Как ведет себя 10GE? Что я делаю не правильно?

2. Как решить вопрос организации 20Gbps линка между двумя Cisco 7606?

 

[UglyAdmin]

ХММ, WS6708-10GE имеет наверх 40Г, так что более 4х10Г от неё получить не получится, если не между её портами...

Не оно?

[DelSt]

show platform hardware capacity fabric

[md77]

Приветствую, Коллеги!

 

Вопрос: 1. подскажите пожалуйста, это нормальная реакция на загрузку? Я привык, что 1000base-tx можно прогрузить на 950mbps. Как ведет себя 10GE? Что я делаю не правильно?

2. Как решить вопрос организации 20Gbps линка между двумя Cisco 7606?

1. Посмотрите действительно, во-первых, загрузку каналов к фабрике ( командой описанной выше ) и, во-вторых, нужно не забывать, что 6708 oversubscribed и порты под linerate на ней занимать нельзя в произвольном порядке. Порты 1,4,5,7 там включены через 1-й канал к фабрике, 2,3,6,8 - через нулевой. Причем эти группы портов тоже, в свою очередь, разбиваются на подгруппы и у каждой подгруппы есть свое ограничение на полосу ( 16Gbit ). Если вы хотите на 6708 использовать 4 порта на linerate - их нужно правильно выбрать.

 

2. Etherchannel.

 

Насчет проблемы с 6704 - то, что вы описали не нормально. Но тут нужно разбираться где конкретно происходили дропы. sh int tex/x counters errors посмотрите.

[heap]

Извиняюсь за оффтоп, в скором времени самому предстоит крутить 10Г на данной железке. Есть маленький нюансы - плату буду крутить на 4 порта, где критический момент PPS (без DFC). Может кто подскажет - как можно общий PPS промониторить на железке при помощи SNMP?

Тот, который показывает команда:

show platform hardware capacity forwarding

[Britney]

уважаемые, а где кладезь мудрости находится по поводу особенностей архитектуры цискиных железок? Цискосайт не особо щедр в этом вопросе, а уж очень интересно стало где и какой подводный камень спрятан.

[rus-p]

Извиняюсь за оффтоп, в скором времени самому предстоит крутить 10Г на данной железке. Есть маленький нюансы - плату буду крутить на 4 порта, где критический момент PPS (без DFC). Может кто подскажет - как можно общий PPS промониторить на железке при помощи SNMP?

Тот, который показывает команда:

show platform hardware capacity forwarding

Если вы имеете в виду карту 6704, и экономите на DFC, то вашей сети запаса хватит надолго, а гораздо раньше вылезут проблемы с малыми буферами и обрезанным QOS. Если не хотите стать циско гуру в вопросах траблшутинга дропа пакетов, ставьте 6708, они идут с DFC по умолчанию, и выше в топике про их внутреннюю кухню все написано.

 

to Britney:

Все уже написали, и если прибавите сюда инфу по очередям, их дисциплинам, трешхолдам, вреду, буферам из официального даташита, выстроится вполне ясная картина. По крайней мере для эксплуатации хватит.

 

Edited March 16, 2010 by rus-p

[Nailer]

уважаемые, а где кладезь мудрости находится по поводу особенностей архитектуры цискиных железок? Цискосайт не особо щедр в этом вопросе, а уж очень интересно стало где и какой подводный камень спрятан.

Презентации с Networkers, погуглите.

[heap]

Если вы имеете в виду карту 6704, и экономите на DFC, то вашей сети запаса хватит надолго, а гораздо раньше вылезут проблемы с малыми буферами и обрезанным QOS. Если не хотите стать циско гуру в вопросах траблшутинга дропа пакетов, ставьте 6708, они идут с DFC по умолчанию, и выше в топике про их внутреннюю кухню все написано.

Можно с этого места поподробнее? По-возможности может личка или ICQ, чтобы не флудить?

Да, плата 6704. Но вот в данном контексте в ее задачи будет в основном входить L2 коммутация, какие могут крыться подводные камни и при каких условиях готовится покупать на нее DFC модуль? Собственно 6708 была поначалу отодвинута в сторону ввиду того, что она с оверсубскрайбингом. Картинка с CFC/DFC нарисовалась немного позже, как тут уже писали сайт циски бедновато светит эту тему. То бишь инфо есть, вот только отрыть без целенаправленного поиска тяжеловато. Расчет исходил из того, что на шину у нее будут все честные 40 Гбит.

[DelSt]

Извиняюсь за оффтоп, в скором времени самому предстоит крутить 10Г на данной железке. Есть маленький нюансы - плату буду крутить на 4 порта, где критический момент PPS (без DFC). Может кто подскажет - как можно общий PPS промониторить на железке при помощи SNMP?

Тот, который показывает команда:

show platform hardware capacity forwarding

Ты ничего не путаешь?

 

Можно с этого места поподробнее? По-возможности может личка или ICQ, чтобы не флудить?

Пишите здесь. Все хотят быть умными (с) Edited March 17, 2010 by DelSt

[rus-p]

Про 6704 можно много чего написать, но суть сводиться к следующему, с какими-то патернами трафика и конфигурации портов работает с какими-то нет. Цискин сайт гуглить действительно сложновато, но в cisco-nsp много чего найдете.

Вот еще вам для размышления http://www.cciecandidate.com/?p=505

Если у вас тупой интернет, то вам дропы не так страшны, берите смело.

 

6704 старая карта, разработчик учел недостатки и выпустил 6708, которая гарантированно не овербукнута если вы используете четыре правильных порта.

 

[KoloBok]

Спасибо, Коллеги!

 

Мой случай: банальное несоответствие оборудования поставленным задачам. Просто выросли из 7606.

Будем менять. Вероятнее всего - на MX240.

[visir]

Зачем брать MX240, если сразу его забиваете ? Лучше MX480, разница в цене шасси невелика.

[Atlant]

Приветствую, Коллеги!

 

Вопрос: 1. подскажите пожалуйста, это нормальная реакция на загрузку? Я привык, что 1000base-tx можно прогрузить на 950mbps. Как ведет себя 10GE? Что я делаю не правильно?

2. Как решить вопрос организации 20Gbps линка между двумя Cisco 7606?

1. Посмотрите действительно, во-первых, загрузку каналов к фабрике ( командой описанной выше ) и, во-вторых, нужно не забывать, что 6708 oversubscribed и порты под linerate на ней занимать нельзя в произвольном порядке. Порты 1,4,5,7 там включены через 1-й канал к фабрике, 2,3,6,8 - через нулевой. Причем эти группы портов тоже, в свою очередь, разбиваются на подгруппы и у каждой подгруппы есть свое ограничение на полосу ( 16Gbit ). Если вы хотите на 6708 использовать 4 порта на linerate - их нужно правильно выбрать.

 

2. Etherchannel.

 

Насчет проблемы с 6704 - то, что вы описали не нормально. Но тут нужно разбираться где конкретно происходили дропы. sh int tex/x counters errors посмотрите.

Не смог найти в доках и даташитах разбивки по подгруппам. Подскажите таки как идет разбивка среди четырех портов одного канала?

Заранее спасибо.

[Telesis]

http://www.cisco.com/en/US/prod/collateral....html#wp9000681

[Atlant]

Спасибо - но по ссылке неполный ответ.

 

Ответ нашел:

Q. Is the 8-port 10 Gigabit Ethernet module not oversubscribed if I only use half the ports?

A. Yes, you can use only ports 1, 2, 5, and 6 to provide 40 Gbps local switching. To make it easier for you to configure your network, we have a new software command for you to go into performance mode. The software command

router(config)#[no] hw-module slot x oversubscription

 

will administratively disable the oversubscribed ports (ports 3, 4, 7, and 8) and put them in "shutdown" state. In this mode, the user cannot do "no shut" on the disabled ports. When user do "show interface" on the disabled ports, the output will show "disabled for performance" to distinguish between normal port shutdown and shutdown for performance.

[UglyAdmin]

Однако, даже в правильных портах почему-то не тянет wirespeed.

Более того, сталкивался со случаем, когда загрузка по модулю влияет на пропускную способность другого модуля, который с CFC. =-O

[UglyAdmin]

Оказалось, ССЗБ - был включен весьма злой SPAN, что забивало фабрику напрочь.