[allan_sundry]

Доброе время суток!

 

Есть Cisco 7604 c RSP720-3CXL-GE.

Планируем использовать в качестве бордера - 2-3 full view, десяток крупных клиентов, шейпинг...

Ожидаемый объем трафика - около 5Gbps и 1Mpps в начале с дальнейшим ростом.

 

Возник вопрос какую линейную плату ставить - предлагают 7600-ES20-10G3C или WS-X6704-10GE.

 

upd: 7600-ES20-10G3C это Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3C, т.е. если хочется DFC то мне нужно смотреть в сторону 7600-ES20-10G3CXL (Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3CXL)?!

Изменено 20 февраля, 2013 пользователем allan_sundry

[D^2]

upd: 7600-ES20-10G3C это Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3C, т.е. если хочется DFC то мне нужно смотреть в сторону 7600-ES20-10G3CXL (Cisco 7600 ES20 line card, 2x10GE XFP with DFC 3CXL)?!

да. PFC и DFC должны совпадать в системе, чтобы не было деградации

 

Возник вопрос какую линейную плату ставить - предлагают 7600-ES20-10G3C или WS-X6704-10GE.

если не нужен VPLS/H-VPLS, H-QoS и т.д. - ставьте более дешевую карту WS-C6704-10GE. А лучше WS-X6708-10GE-3CXL - там размер буфера на портах зметно больше, чем на x6704 (но она dCEF enabled по\тому надо брать именно 3CXL ревизию)

[allan_sundry]

да. PFC и DFC должны совпадать в системе, чтобы не было деградации

 

Насколько я понимаю при связке RSP720-3CXL-GE + 7600-ES20-10G3С DFC будет работать в режиме 3С - какая-то польза от него будет на моих задачах или нет?

 

Про буферы по 16М на порт у WS-X6704-10GE читал - возможны ли потери и при какой загрузке порта?

[secandr]

allan_sundry у нас начались потере при загрузке интерфейса выше 50%. Решение проблемы - установка dfc в линейную плату.

[allan_sundry]

у нас начались потере при загрузке интерфейса выше 50%. Решение проблемы - установка dfc в линейную плату.

 

печально... интерсно у кого еще были потери при загрузке интерфейсов WS-X6704-10GE всего на 50%

[StSphinx]

Есть в наличии WS-6704-10GE,

максимальная загрузка:

In Traffic 6.189 G (61.89%)

Out Traffic 4.358 G (43.58%),

дропов не наблюдается. Плата с CFC.

Забыл добавить, это не загрузка всей платы, это порт смотрящий на бордер.

[secandr]

StSphinx дропов не наблюдали, наблюдали рост ошибок overrun.

 

Загрузка по интерфейсам in/out:

1 2/4

2 3/5

3 8/4

4 4/8

 

Сыпал третий:

 

7606-angar#sh int Te 3/3 | i overrun
    0 input errors, 0 CRC, 0 frame, 214 overrun, 0 ignored

 

Ошибки практически не влияли на tcp трафик, но коцали udp трафик. Картинка раз в 5-10 минут сыпала кубиками.

[D^2]

Решение проблемы - установка dfc в линейную плату.

DFC карта не связана никак с портовыми буферами

[secandr]

Решение проблемы - установка dfc в линейную плату.

DFC карта не связана никак с портовыми буферами

workground по багу в TAC был именно такой. Ждём dfc, будем проверять.

[D^2]

workground по багу в TAC был именно такой. Ждём dfc, будем проверять.

баг багом

но какая связь с портовыми буферами? =)

[allan_sundry]

workground по багу в TAC был именно такой. Ждём dfc, будем проверять.

 

Интересно поможет или нет.

 

Есть в наличии WS-6704-10GE,

максимальная загрузка:

In Traffic 6.189 G (61.89%)

Out Traffic 4.358 G (43.58%),

дропов не наблюдается. Плата с CFC.

эт хорошо!

[Ivan Rostovikov]

Catalyst 6506

CEF720 4 port 10-Gigabit Ethernet WS-X6704-10GE SAL1152BHR4

Centralized Forwarding Card WS-F6700-CFC SAL1202CCDM 4.0 Ok

 

Нагрузка в ЧНН out-4.9 in-6.2

 

#sh int Te 4/2 | i overrun

65 input errors, 62 CRC, 1 frame, 0 overrun, 0 ignored

[alks]

cisco 7606, сап 720-3BXL, одна из плат WS-X6704-10GE

ingress 47%

egress 16%

ошибок нет, порты транковые, судя по частым сообщениям на форуме по WS-X6704-10GE тоже сижу и жду когда появятся ошибки ))

to StSphinx, если нетрудно покажите как порты настроены что там, сабы или просто транковые, hold-queue крутили? и т.д.

[StSphinx]

cisco 7606, сап 720-3BXL, одна из плат WS-X6704-10GE

ingress 47%

egress 16%

ошибок нет, порты транковые, судя по частым сообщениям на форуме по WS-X6704-10GE тоже сижу и жду когда появятся ошибки ))

to StSphinx, если нетрудно покажите как порты настроены что там, сабы или просто транковые, hold-queue крутили? и т.д.

interface TenGigabitEthernet9/1
description =MX80=
switchport
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 1099,2996
switchport mode trunk
logging event link-status
load-interval 60
no cdp enable
no vtp
spanning-tree bpdufilter enable
hold-queue 4096 in
hold-queue 4096 out
end

 

А это самый загруженный порта платы, зеркалим трафик в сторону СОРМа, соотв. вечерами загружен в "полку" и присутствуют output drops:

TenGigabitEthernet9/4 is up, line protocol is down (monitoring)
 Hardware is C6k 10000Mb 802.3, address is 000d.6694.b000 (bia 000d.6694.b000)
 Description: =COPM=
 MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,
    reliability 255/255, txload 87/255, rxload 1/255
 Encapsulation ARPA, loopback not set
 Keepalive set (10 sec)
 Full-duplex, 10Gb/s, media type is 10Gbase-LR
 input flow-control is on, output flow-control is off
 ARP type: ARPA, ARP Timeout 04:00:00
 Last input never, output never, output hang never
 Last clearing of "show interface" counters 2w0d
 Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 714337443
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 5 minute input rate 0 bits/sec, 0 packets/sec
 5 minute output rate 3441411000 bits/sec, 517167 packets/sec
 L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes
 L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast
 L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes
    0 packets input, 0 bytes, 0 no buffer
    Received 0 broadcasts (0 IP multicasts)
    0 runts, 0 giants, 0 throttles
    0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
    0 watchdog, 0 multicast, 0 pause input
    0 input packets with dribble condition detected
    1019673400200 packets output, 844555437915492 bytes, 0 underruns
    0 output errors, 0 collisions, 0 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier, 0 PAUSE output
    0 output buffer failures, 0 output buffers swapped out

 

Голова в шассике: WS-SUP720-3BXL, софт - 12.2(33)SXI5

[alks]

Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм

порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально

[allan_sundry]

пользуясь случаем хочу спросить: где так сказать правильно терминироватьVLANы - на линейной карте или на супервизоре?

[StSphinx]

Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм

порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально

 

Если это мне адресовано, но собсно я и не парюсь :) Да и не сказал бы что особо накладно, по крайней мере, пока что.

А отзеркалить сплиттерами в моем случае, наверное, будет не менее накладно.

 

Что касается того, сколько прожует, то если верить циске, карта без переподписки и должна прожевать 80G FD, что наверное нужно считать за почти правду, так как в шасси 6509(в моем случае) на каждый слот два канала к свичфабрике и ws-6704-10 имеет 2x20G коннектора.

 

http://shop.nag.ru/uploads/docs/Doc/1/cisco_catalyst_6500_series_10_gigabit_ethernet_interface_modules.pdf

[necrozz]

Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм

порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально

 

Если это мне адресовано, но собсно я и не парюсь :) Да и не сказал бы что особо накладно, по крайней мере, пока что.

А отзеркалить сплиттерами в моем случае, наверное, будет не менее накладно.

 

Что касается того, сколько прожует, то если верить циске, карта без переподписки и должна прожевать 80G FD, что наверное нужно считать за почти правду, так как в шасси 6509(в моем случае) на каждый слот два канала к свичфабрике и ws-6704-10 имеет 2x20G коннектора.

 

http://shop.nag.ru/uploads/docs/Doc/1/cisco_catalyst_6500_series_10_gigabit_ethernet_interface_modules.pdf

Я могу ошибаться, но imho на WS-6704-10GE стоит 2 FPGA - один на 1 и 2 порты, второй на 3 и 4. FPGA через себя пережовывает максимум 16G в кажду сторону, итого вы при суммарном трафике в 16G in или out на 1 и 2 порту вы получите кучу дропов и, как следствие, потери.

[StSphinx]

Забейте болт на зеркалирование трафика, накладно это, лучше поставьте сплиттера + дешевый свич 10Г типа длинка с него уже отдайте траф в сорм

порт собственно у меня почти также настроен, ладно спс буду знать что еще несколько Г пережует нормально

 

Если это мне адресовано, но собсно я и не парюсь :) Да и не сказал бы что особо накладно, по крайней мере, пока что.

А отзеркалить сплиттерами в моем случае, наверное, будет не менее накладно.

 

Что касается того, сколько прожует, то если верить циске, карта без переподписки и должна прожевать 80G FD, что наверное нужно считать за почти правду, так как в шасси 6509(в моем случае) на каждый слот два канала к свичфабрике и ws-6704-10 имеет 2x20G коннектора.

 

http://shop.nag.ru/uploads/docs/Doc/1/cisco_catalyst_6500_series_10_gigabit_ethernet_interface_modules.pdf

Я могу ошибаться, но imho на WS-6704-10GE стоит 2 FPGA - один на 1 и 2 порты, второй на 3 и 4. FPGA через себя пережовывает максимум 16G в кажду сторону, итого вы при суммарном трафике в 16G in или out на 1 и 2 порту вы получите кучу дропов и, как следствие, потери.

Ну тут два варианта - либо прочитать доку по архитектуре шасси и описание карты, и поверить, либо сгенерить 16g+ трафика и посмотреть что будет.

[zi_rus]

Я могу без доки сказать что будет, у нас так случилось. На 6704 на одну пару портов как раз шел большой трафик (сейчас не найду точных цифр, но да, это было порядка 16G), на этих портах стали расти overrun'ы, канал на свич фабрику был загружен только на 40%, так что меня это несколько озадачило, но было предложено вынести один из линков этой пары на другую, в пределах карты, так и было сделано, это и решило проблему. Новости о том что там есть ограничение в 16G на пару портов многое объясняют, тогда я этого не знал

[secandr]

D^2 Получим платку проверим, узнаем.

ИМХО - там с мультикастом как-то по разному работа происходит...

[cibris]

А в WS-X6708 как дела обстоят?

Щас будем устанавливать 7609 с двумя RSP720-3CXL-GE и WS-X6708-10G-3CXL. Тоже нагруженные линки лучше через один втыкать?

[shellsmith]

А в WS-X6708 как дела обстоят?

Щас будем устанавливать 7609 с двумя RSP720-3CXL-GE и WS-X6708-10G-3CXL. Тоже нагруженные линки лучше через один втыкать?

 

На мой взгляд - еще хуже, чем на WS-X6704:

(fabric asic) 
#show int Te7/1 capabilities | inc ASIC 
Ports-in-ASIC (Sub-port ASIC) : 1,4-5,7 (1) 
#show int Te7/2 capabilities | inc ASIC 
Ports-in-ASIC (Sub-port ASIC) : 2-3,6,8 (2) 

(FPGA pairs) 
((1,4),(5,7)),((2,3),(6,8)) 

The inner pairs are 16Gbits. 
The quadruples are 20Gbits.

 

Переподписка 2:1, при больших объемах трафика между портами - кошмар какой-то. Можно отключить 4 порта из 8, тогда будет несколько лучше.

[necrozz]

А в WS-X6708 как дела обстоят?

Щас будем устанавливать 7609 с двумя RSP720-3CXL-GE и WS-X6708-10G-3CXL. Тоже нагруженные линки лучше через один втыкать?

 

На мой взгляд - еще хуже, чем на WS-X6704:

(fabric asic) 
#show int Te7/1 capabilities | inc ASIC 
Ports-in-ASIC (Sub-port ASIC) : 1,4-5,7 (1) 
#show int Te7/2 capabilities | inc ASIC 
Ports-in-ASIC (Sub-port ASIC) : 2-3,6,8 (2) 

(FPGA pairs) 
((1,4),(5,7)),((2,3),(6,8)) 

The inner pairs are 16Gbits. 
The quadruples are 20Gbits.

 

Переподписка 2:1, при больших объемах трафика между портами - кошмар какой-то. Можно отключить 4 порта из 8, тогда будет несколько лучше.

Зато нет проблем с буферами в отличие от WS6704. Просто нужно четко понимать, что ты покупешь не 8 linerate портов и планировать нагрузку на карту заранее. Проблема в том, что иногда она плохо планируется ))

[alks]

Зато нет проблем с буферами в отличие от WS6704. Просто нужно четко понимать, что ты покупешь не 8 linerate портов и планировать нагрузку на карту заранее. Проблема в том, что иногда она плохо планируется ))

 

Или уже думать над asr9k, хотя и 7600 нормальный девайс, если не брать в расчет задранный ценник на ES платы