allan_sundry Опубликовано 20 февраля, 2013 (изменено) · Жалоба Доброе время суток! Есть Cisco 7604 c RSP720-3CXL-GE. Планируем использовать в качестве бордера - 2-3 full view, десяток крупных клиентов, шейпинг... Ожидаемый объем трафика - около 5Gbps и 1Mpps в начале с дальнейшим ростом. Возник вопрос какую линейную плату ставить - предлагают 7600-ES20-10G3C или WS-X6704-10GE. upd: 7600-ES20-10G3C это Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3C, т.е. если хочется DFC то мне нужно смотреть в сторону 7600-ES20-10G3CXL (Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3CXL)?! Изменено 20 февраля, 2013 пользователем allan_sundry Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
D^2 Опубликовано 21 февраля, 2013 · Жалоба upd: 7600-ES20-10G3C это Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3C, т.е. если хочется DFC то мне нужно смотреть в сторону 7600-ES20-10G3CXL (Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3CXL)?! да. PFC и DFC должны совпадать в системе, чтобы не было деградации Возник вопрос какую линейную плату ставить - предлагают 7600-ES20-10G3C или WS-X6704-10GE. если не нужен VPLS/H-VPLS, H-QoS и т.д. - ставьте более дешевую карту WS-C6704-10GE. А лучше WS-X6708-10GE-3CXL - там размер буфера на портах зметно больше, чем на x6704 (но она dCEF enabled по\тому надо брать именно 3CXL ревизию) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
allan_sundry Опубликовано 21 февраля, 2013 · Жалоба да. PFC и DFC должны совпадать в системе, чтобы не было деградации Насколько я понимаю при связке RSP720-3CXL-GE + 7600-ES20-10G3С DFC будет работать в режиме 3С - какая-то польза от него будет на моих задачах или нет? Про буферы по 16М на порт у WS-X6704-10GE читал - возможны ли потери и при какой загрузке порта? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
secandr Опубликовано 21 февраля, 2013 · Жалоба allan_sundry у нас начались потере при загрузке интерфейса выше 50%. Решение проблемы - установка dfc в линейную плату. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
allan_sundry Опубликовано 21 февраля, 2013 · Жалоба у нас начались потере при загрузке интерфейса выше 50%. Решение проблемы - установка dfc в линейную плату. печально... интерсно у кого еще были потери при загрузке интерфейсов WS-X6704-10GE всего на 50% Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
StSphinx Опубликовано 21 февраля, 2013 · Жалоба Есть в наличии WS-6704-10GE, максимальная загрузка: In Traffic 6.189 G (61.89%) Out Traffic 4.358 G (43.58%), дропов не наблюдается. Плата с CFC. Забыл добавить, это не загрузка всей платы, это порт смотрящий на бордер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
secandr Опубликовано 21 февраля, 2013 · Жалоба StSphinx дропов не наблюдали, наблюдали рост ошибок overrun. Загрузка по интерфейсам in/out: 1 2/4 2 3/5 3 8/4 4 4/8 Сыпал третий: 7606-angar#sh int Te 3/3 | i overrun 0 input errors, 0 CRC, 0 frame, 214 overrun, 0 ignored Ошибки практически не влияли на tcp трафик, но коцали udp трафик. Картинка раз в 5-10 минут сыпала кубиками. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
D^2 Опубликовано 21 февраля, 2013 · Жалоба Решение проблемы - установка dfc в линейную плату. DFC карта не связана никак с портовыми буферами Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
secandr Опубликовано 21 февраля, 2013 · Жалоба Решение проблемы - установка dfc в линейную плату. DFC карта не связана никак с портовыми буферами workground по багу в TAC был именно такой. Ждём dfc, будем проверять. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
D^2 Опубликовано 21 февраля, 2013 · Жалоба workground по багу в TAC был именно такой. Ждём dfc, будем проверять. баг багом но какая связь с портовыми буферами? =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
allan_sundry Опубликовано 21 февраля, 2013 · Жалоба workground по багу в TAC был именно такой. Ждём dfc, будем проверять. Интересно поможет или нет. Есть в наличии WS-6704-10GE, максимальная загрузка: In Traffic 6.189 G (61.89%) Out Traffic 4.358 G (43.58%), дропов не наблюдается. Плата с CFC. эт хорошо! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 22 февраля, 2013 · Жалоба Catalyst 6506 CEF720 4 port 10-Gigabit Ethernet WS-X6704-10GE SAL1152BHR4 Centralized Forwarding Card WS-F6700-CFC SAL1202CCDM 4.0 Ok Нагрузка в ЧНН out-4.9 in-6.2 #sh int Te 4/2 | i overrun 65 input errors, 62 CRC, 1 frame, 0 overrun, 0 ignored Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 22 февраля, 2013 · Жалоба cisco 7606, сап 720-3BXL, одна из плат WS-X6704-10GE ingress 47% egress 16% ошибок нет, порты транковые, судя по частым сообщениям на форуме по WS-X6704-10GE тоже сижу и жду когда появятся ошибки )) to StSphinx, если нетрудно покажите как порты настроены что там, сабы или просто транковые, hold-queue крутили? и т.д. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
StSphinx Опубликовано 22 февраля, 2013 · Жалоба cisco 7606, сап 720-3BXL, одна из плат WS-X6704-10GE ingress 47% egress 16% ошибок нет, порты транковые, судя по частым сообщениям на форуме по WS-X6704-10GE тоже сижу и жду когда появятся ошибки )) to StSphinx, если нетрудно покажите как порты настроены что там, сабы или просто транковые, hold-queue крутили? и т.д. interface TenGigabitEthernet9/1 description =MX80= switchport switchport trunk encapsulation dot1q switchport trunk allowed vlan 1099,2996 switchport mode trunk logging event link-status load-interval 60 no cdp enable no vtp spanning-tree bpdufilter enable hold-queue 4096 in hold-queue 4096 out end А это самый загруженный порта платы, зеркалим трафик в сторону СОРМа, соотв. вечерами загружен в "полку" и присутствуют output drops: TenGigabitEthernet9/4 is up, line protocol is down (monitoring) Hardware is C6k 10000Mb 802.3, address is 000d.6694.b000 (bia 000d.6694.b000) Description: =COPM= MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 87/255, rxload 1/255 Encapsulation ARPA, loopback not set Keepalive set (10 sec) Full-duplex, 10Gb/s, media type is 10Gbase-LR input flow-control is on, output flow-control is off ARP type: ARPA, ARP Timeout 04:00:00 Last input never, output never, output hang never Last clearing of "show interface" counters 2w0d Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 714337443 Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 0 bits/sec, 0 packets/sec 5 minute output rate 3441411000 bits/sec, 517167 packets/sec L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes 0 packets input, 0 bytes, 0 no buffer Received 0 broadcasts (0 IP multicasts) 0 runts, 0 giants, 0 throttles 0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 0 watchdog, 0 multicast, 0 pause input 0 input packets with dribble condition detected 1019673400200 packets output, 844555437915492 bytes, 0 underruns 0 output errors, 0 collisions, 0 interface resets 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 PAUSE output 0 output buffer failures, 0 output buffers swapped out Голова в шассике: WS-SUP720-3BXL, софт - 12.2(33)SXI5 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 22 февраля, 2013 · Жалоба Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
allan_sundry Опубликовано 22 февраля, 2013 · Жалоба пользуясь случаем хочу спросить: где так сказать правильно терминироватьVLANы - на линейной карте или на супервизоре? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
StSphinx Опубликовано 22 февраля, 2013 · Жалоба Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально Если это мне адресовано, но собсно я и не парюсь :) Да и не сказал бы что особо накладно, по крайней мере, пока что. А отзеркалить сплиттерами в моем случае, наверное, будет не менее накладно. Что касается того, сколько прожует, то если верить циске, карта без переподписки и должна прожевать 80G FD, что наверное нужно считать за почти правду, так как в шасси 6509(в моем случае) на каждый слот два канала к свичфабрике и ws-6704-10 имеет 2x20G коннектора. http://shop.nag.ru/uploads/docs/Doc/1/cisco_catalyst_6500_series_10_gigabit_ethernet_interface_modules.pdf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
necrozz Опубликовано 22 февраля, 2013 · Жалоба Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально Если это мне адресовано, но собсно я и не парюсь :) Да и не сказал бы что особо накладно, по крайней мере, пока что. А отзеркалить сплиттерами в моем случае, наверное, будет не менее накладно. Что касается того, сколько прожует, то если верить циске, карта без переподписки и должна прожевать 80G FD, что наверное нужно считать за почти правду, так как в шасси 6509(в моем случае) на каждый слот два канала к свичфабрике и ws-6704-10 имеет 2x20G коннектора. http://shop.nag.ru/uploads/docs/Doc/1/cisco_catalyst_6500_series_10_gigabit_ethernet_interface_modules.pdf Я могу ошибаться, но imho на WS-6704-10GE стоит 2 FPGA - один на 1 и 2 порты, второй на 3 и 4. FPGA через себя пережовывает максимум 16G в кажду сторону, итого вы при суммарном трафике в 16G in или out на 1 и 2 порту вы получите кучу дропов и, как следствие, потери. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
StSphinx Опубликовано 22 февраля, 2013 · Жалоба Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально Если это мне адресовано, но собсно я и не парюсь :) Да и не сказал бы что особо накладно, по крайней мере, пока что. А отзеркалить сплиттерами в моем случае, наверное, будет не менее накладно. Что касается того, сколько прожует, то если верить циске, карта без переподписки и должна прожевать 80G FD, что наверное нужно считать за почти правду, так как в шасси 6509(в моем случае) на каждый слот два канала к свичфабрике и ws-6704-10 имеет 2x20G коннектора. http://shop.nag.ru/uploads/docs/Doc/1/cisco_catalyst_6500_series_10_gigabit_ethernet_interface_modules.pdf Я могу ошибаться, но imho на WS-6704-10GE стоит 2 FPGA - один на 1 и 2 порты, второй на 3 и 4. FPGA через себя пережовывает максимум 16G в кажду сторону, итого вы при суммарном трафике в 16G in или out на 1 и 2 порту вы получите кучу дропов и, как следствие, потери. Ну тут два варианта - либо прочитать доку по архитектуре шасси и описание карты, и поверить, либо сгенерить 16g+ трафика и посмотреть что будет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zi_rus Опубликовано 23 февраля, 2013 · Жалоба Я могу без доки сказать что будет, у нас так случилось. На 6704 на одну пару портов как раз шел большой трафик (сейчас не найду точных цифр, но да, это было порядка 16G), на этих портах стали расти overrun'ы, канал на свич фабрику был загружен только на 40%, так что меня это несколько озадачило, но было предложено вынести один из линков этой пары на другую, в пределах карты, так и было сделано, это и решило проблему. Новости о том что там есть ограничение в 16G на пару портов многое объясняют, тогда я этого не знал Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
secandr Опубликовано 23 февраля, 2013 · Жалоба D^2 Получим платку проверим, узнаем. ИМХО - там с мультикастом как-то по разному работа происходит... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
cibris Опубликовано 24 февраля, 2013 · Жалоба А в WS-X6708 как дела обстоят? Щас будем устанавливать 7609 с двумя RSP720-3CXL-GE и WS-X6708-10G-3CXL. Тоже нагруженные линки лучше через один втыкать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
shellsmith Опубликовано 25 февраля, 2013 · Жалоба А в WS-X6708 как дела обстоят? Щас будем устанавливать 7609 с двумя RSP720-3CXL-GE и WS-X6708-10G-3CXL. Тоже нагруженные линки лучше через один втыкать? На мой взгляд - еще хуже, чем на WS-X6704: (fabric asic) #show int Te7/1 capabilities | inc ASIC Ports-in-ASIC (Sub-port ASIC) : 1,4-5,7 (1) #show int Te7/2 capabilities | inc ASIC Ports-in-ASIC (Sub-port ASIC) : 2-3,6,8 (2) (FPGA pairs) ((1,4),(5,7)),((2,3),(6,8)) The inner pairs are 16Gbits. The quadruples are 20Gbits. Переподписка 2:1, при больших объемах трафика между портами - кошмар какой-то. Можно отключить 4 порта из 8, тогда будет несколько лучше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
necrozz Опубликовано 25 февраля, 2013 · Жалоба А в WS-X6708 как дела обстоят? Щас будем устанавливать 7609 с двумя RSP720-3CXL-GE и WS-X6708-10G-3CXL. Тоже нагруженные линки лучше через один втыкать? На мой взгляд - еще хуже, чем на WS-X6704: (fabric asic) #show int Te7/1 capabilities | inc ASIC Ports-in-ASIC (Sub-port ASIC) : 1,4-5,7 (1) #show int Te7/2 capabilities | inc ASIC Ports-in-ASIC (Sub-port ASIC) : 2-3,6,8 (2) (FPGA pairs) ((1,4),(5,7)),((2,3),(6,8)) The inner pairs are 16Gbits. The quadruples are 20Gbits. Переподписка 2:1, при больших объемах трафика между портами - кошмар какой-то. Можно отключить 4 порта из 8, тогда будет несколько лучше. Зато нет проблем с буферами в отличие от WS6704. Просто нужно четко понимать, что ты покупешь не 8 linerate портов и планировать нагрузку на карту заранее. Проблема в том, что иногда она плохо планируется )) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 25 февраля, 2013 · Жалоба Зато нет проблем с буферами в отличие от WS6704. Просто нужно четко понимать, что ты покупешь не 8 linerate портов и планировать нагрузку на карту заранее. Проблема в том, что иногда она плохо планируется )) Или уже думать над asr9k, хотя и 7600 нормальный девайс, если не брать в расчет задранный ценник на ES платы Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...