KoloBok Posted March 15, 2010 · Report post Приветствую, Коллеги! Есть такая конфигурация: два маршрутизатора CS7606, RSP720-3CXL, IOS 12.2 (33) src3. Один - бордер, второй - ядро сети. Работали себе и незаметно так подошли к пределу Port-channel'а - к 8 GE линкам. Решил расширить стык установкой 10GE интерфейсов. В ядерном маршрутизаторе уже была установлена плата WS-X6708-10GE с 5 активными линками. Установил в бордерный маршрутизатор WS-X6704-10GE с интерфейсом XENPACK. Использовал оригинальные модули Cisco - один Х2 и один XENPACK. Линк поднялся, но были жуткие потери даже на не нагруженном канале - до 50% потерь и более. Установка аттеньюаторов в соответствии с рекомендацииями Cisco не помогла. Установил в бордерный еще одну плату WS-X6708-10GE и на двух X2 модулях поднял таки нормальный 10 GE линк. До конца проблему не разобрал (почему не работал линк на паре X2-XENPACK) - просто не было времени. На паре Х2 все работало. Однако по мере роста загрузки 10 GE линка стали появляться проблемы. В один прекрасный день увеличив нагрузку на 500mbps случился коллапс: пинг с одного на второй маршрутизатор превысил 150ms. Танцы в течении двух дней не помогли: как только утилизация линка превышает 7,5gbps, происходит резкое увеличение задержки до совершенно неразумных величин. При этом ошибок, дропов на портах нет. Временно решил проблему разгрузив этот линк. Однако решение временное, ибо трафик растет ежедневно. Опыта эксплуатации столь загруженных 10GE линков нет. Вопрос: 1. подскажите пожалуйста, это нормальная реакция на загрузку? Я привык, что 1000base-tx можно прогрузить на 950mbps. Как ведет себя 10GE? Что я делаю не правильно? 2. Как решить вопрос организации 20Gbps линка между двумя Cisco 7606? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
UglyAdmin Posted March 15, 2010 · Report post ХММ, WS6708-10GE имеет наверх 40Г, так что более 4х10Г от неё получить не получится, если не между её портами... Не оно? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
DelSt Posted March 15, 2010 · Report post show platform hardware capacity fabric Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
md77 Posted March 15, 2010 · Report post Приветствую, Коллеги! Вопрос: 1. подскажите пожалуйста, это нормальная реакция на загрузку? Я привык, что 1000base-tx можно прогрузить на 950mbps. Как ведет себя 10GE? Что я делаю не правильно? 2. Как решить вопрос организации 20Gbps линка между двумя Cisco 7606? 1. Посмотрите действительно, во-первых, загрузку каналов к фабрике ( командой описанной выше ) и, во-вторых, нужно не забывать, что 6708 oversubscribed и порты под linerate на ней занимать нельзя в произвольном порядке. Порты 1,4,5,7 там включены через 1-й канал к фабрике, 2,3,6,8 - через нулевой. Причем эти группы портов тоже, в свою очередь, разбиваются на подгруппы и у каждой подгруппы есть свое ограничение на полосу ( 16Gbit ). Если вы хотите на 6708 использовать 4 порта на linerate - их нужно правильно выбрать. 2. Etherchannel. Насчет проблемы с 6704 - то, что вы описали не нормально. Но тут нужно разбираться где конкретно происходили дропы. sh int tex/x counters errors посмотрите. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
heap Posted March 16, 2010 · Report post Извиняюсь за оффтоп, в скором времени самому предстоит крутить 10Г на данной железке. Есть маленький нюансы - плату буду крутить на 4 порта, где критический момент PPS (без DFC). Может кто подскажет - как можно общий PPS промониторить на железке при помощи SNMP? Тот, который показывает команда: show platform hardware capacity forwarding Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Britney Posted March 16, 2010 · Report post уважаемые, а где кладезь мудрости находится по поводу особенностей архитектуры цискиных железок? Цискосайт не особо щедр в этом вопросе, а уж очень интересно стало где и какой подводный камень спрятан. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rus-p Posted March 16, 2010 (edited) · Report post Извиняюсь за оффтоп, в скором времени самому предстоит крутить 10Г на данной железке. Есть маленький нюансы - плату буду крутить на 4 порта, где критический момент PPS (без DFC). Может кто подскажет - как можно общий PPS промониторить на железке при помощи SNMP?Тот, который показывает команда: show platform hardware capacity forwarding Если вы имеете в виду карту 6704, и экономите на DFC, то вашей сети запаса хватит надолго, а гораздо раньше вылезут проблемы с малыми буферами и обрезанным QOS. Если не хотите стать циско гуру в вопросах траблшутинга дропа пакетов, ставьте 6708, они идут с DFC по умолчанию, и выше в топике про их внутреннюю кухню все написано. to Britney: Все уже написали, и если прибавите сюда инфу по очередям, их дисциплинам, трешхолдам, вреду, буферам из официального даташита, выстроится вполне ясная картина. По крайней мере для эксплуатации хватит. Edited March 16, 2010 by rus-p Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nailer Posted March 16, 2010 · Report post уважаемые, а где кладезь мудрости находится по поводу особенностей архитектуры цискиных железок? Цискосайт не особо щедр в этом вопросе, а уж очень интересно стало где и какой подводный камень спрятан. Презентации с Networkers, погуглите. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
heap Posted March 16, 2010 · Report post Если вы имеете в виду карту 6704, и экономите на DFC, то вашей сети запаса хватит надолго, а гораздо раньше вылезут проблемы с малыми буферами и обрезанным QOS. Если не хотите стать циско гуру в вопросах траблшутинга дропа пакетов, ставьте 6708, они идут с DFC по умолчанию, и выше в топике про их внутреннюю кухню все написано. Можно с этого места поподробнее? По-возможности может личка или ICQ, чтобы не флудить? Да, плата 6704. Но вот в данном контексте в ее задачи будет в основном входить L2 коммутация, какие могут крыться подводные камни и при каких условиях готовится покупать на нее DFC модуль? Собственно 6708 была поначалу отодвинута в сторону ввиду того, что она с оверсубскрайбингом. Картинка с CFC/DFC нарисовалась немного позже, как тут уже писали сайт циски бедновато светит эту тему. То бишь инфо есть, вот только отрыть без целенаправленного поиска тяжеловато. Расчет исходил из того, что на шину у нее будут все честные 40 Гбит. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
DelSt Posted March 17, 2010 (edited) · Report post Извиняюсь за оффтоп, в скором времени самому предстоит крутить 10Г на данной железке. Есть маленький нюансы - плату буду крутить на 4 порта, где критический момент PPS (без DFC). Может кто подскажет - как можно общий PPS промониторить на железке при помощи SNMP?Тот, который показывает команда: show platform hardware capacity forwarding Ты ничего не путаешь? Можно с этого места поподробнее? По-возможности может личка или ICQ, чтобы не флудить?Пишите здесь. Все хотят быть умными (с) Edited March 17, 2010 by DelSt Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rus-p Posted March 17, 2010 · Report post Про 6704 можно много чего написать, но суть сводиться к следующему, с какими-то патернами трафика и конфигурации портов работает с какими-то нет. Цискин сайт гуглить действительно сложновато, но в cisco-nsp много чего найдете. Вот еще вам для размышления http://www.cciecandidate.com/?p=505 Если у вас тупой интернет, то вам дропы не так страшны, берите смело. 6704 старая карта, разработчик учел недостатки и выпустил 6708, которая гарантированно не овербукнута если вы используете четыре правильных порта. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
KoloBok Posted March 17, 2010 · Report post Спасибо, Коллеги! Мой случай: банальное несоответствие оборудования поставленным задачам. Просто выросли из 7606. Будем менять. Вероятнее всего - на MX240. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
visir Posted March 18, 2010 · Report post Зачем брать MX240, если сразу его забиваете ? Лучше MX480, разница в цене шасси невелика. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Atlant Posted May 14, 2010 · Report post Приветствую, Коллеги! Вопрос: 1. подскажите пожалуйста, это нормальная реакция на загрузку? Я привык, что 1000base-tx можно прогрузить на 950mbps. Как ведет себя 10GE? Что я делаю не правильно? 2. Как решить вопрос организации 20Gbps линка между двумя Cisco 7606? 1. Посмотрите действительно, во-первых, загрузку каналов к фабрике ( командой описанной выше ) и, во-вторых, нужно не забывать, что 6708 oversubscribed и порты под linerate на ней занимать нельзя в произвольном порядке. Порты 1,4,5,7 там включены через 1-й канал к фабрике, 2,3,6,8 - через нулевой. Причем эти группы портов тоже, в свою очередь, разбиваются на подгруппы и у каждой подгруппы есть свое ограничение на полосу ( 16Gbit ). Если вы хотите на 6708 использовать 4 порта на linerate - их нужно правильно выбрать. 2. Etherchannel. Насчет проблемы с 6704 - то, что вы описали не нормально. Но тут нужно разбираться где конкретно происходили дропы. sh int tex/x counters errors посмотрите. Не смог найти в доках и даташитах разбивки по подгруппам. Подскажите таки как идет разбивка среди четырех портов одного канала?Заранее спасибо. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Telesis Posted May 14, 2010 · Report post http://www.cisco.com/en/US/prod/collateral....html#wp9000681 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Atlant Posted May 20, 2010 · Report post Спасибо - но по ссылке неполный ответ. Ответ нашел: Q. Is the 8-port 10 Gigabit Ethernet module not oversubscribed if I only use half the ports? A. Yes, you can use only ports 1, 2, 5, and 6 to provide 40 Gbps local switching. To make it easier for you to configure your network, we have a new software command for you to go into performance mode. The software command router(config)#[no] hw-module slot x oversubscription will administratively disable the oversubscribed ports (ports 3, 4, 7, and 8) and put them in "shutdown" state. In this mode, the user cannot do "no shut" on the disabled ports. When user do "show interface" on the disabled ports, the output will show "disabled for performance" to distinguish between normal port shutdown and shutdown for performance. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
UglyAdmin Posted August 20, 2012 · Report post Однако, даже в правильных портах почему-то не тянет wirespeed. Более того, сталкивался со случаем, когда загрузка по модулю влияет на пропускную способность другого модуля, который с CFC. =-O Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
UglyAdmin Posted August 23, 2012 · Report post Оказалось, ССЗБ - был включен весьма злой SPAN, что забивало фабрику напрочь. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...