замена 6500 на 7600, подводные камни ?сво

[artplanet]

Сейчас в качестве бордера стоит Cisco 6500 с процессором VS-S720-3CXL

На железке запущено: пара fw, один внутренний fw со вторым бордером

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
x.y.z.62     4       49542  374998  439341 311331129    0    0 31w0d           0
x.y.z.1      4       29076  783159  379300 311330990    0    0 10w2d         607
x.y.z.254    4       29076 68357081  378820 311330990    0    0 12w1d      612623
x.y.z.143   4       49542 28850742 31504696 311331129    2    0 4w0d       467590
x.y.z.42   4        9002 44465888  318850 311330990    0    0 4d21h      611255

далее - снимаем на ней netflow, а так же стоит парочка port mirroring и умный PBR:

Extended IP access list ADDOS-00-UDP
   10 permit udp 0.0.0.0 255.255.252.255 x.y.z.0 0.0.1.255 (5112758 matches)
Extended IP access list ADDOS-00
   10 permit ip 0.0.0.0 255.255.252.255 x.y.z.0 0.0.1.255 (2764096 matches)

таких ACL около 16 штук, внутри PBR стоит разный ip nexthop

сам pbr применен на int vlan аплинков.

 

нагрузка на процессор минимальна и иногда подскакивает во время обновления bgp

CPU utilization for five seconds: 3%/0%; one minute: 17%; five minutes: 17%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process 
278    66843044 544466888        122  0.47%  0.77%  0.82%   0 IP Input         
582   921859536 321142929       2870  0.39%  3.81%  4.27%   0 BGP Router   

 

периодически прилетают ддос атаки в 10-20mpps,в это время на бордере нагрузка нигде не прыгает и так же держится в районе 3-10%

но для того чтобы сделать защиту посильнее - нам нужно добавить пару модулей (ибо тут ограничение на модуль 48Mpps с DFC платами, а в случае атаки syn флуд - где защите нужно отвечает на каждый syn пакет - то макс mpps на модуль падает до 24Mpps (24 в сторону защиты и 24 от защиты в тот же модуль).

А так как сейчас стоит шасси 6504E - то мы можем сделать максимум 3 модуля.

Стали задумываться о шасси 7606 (6506 не рассматриваем - слишком высокое - много места в стойке.)

 

В итоге с чем мы столкнемся при смене шасси и процессора ?

будет ли какая то разница в нагрузке на процессор между sup720-3bxl и rsp720-3cxl ? (скорость расчета bgp не учитываем)

Все ли наши роли будут на 7600 работать аппаратно как и на 6500 (без учета расчета bgp)

Как мы видели на этом форуме у людей при трафике 1Gb/s на rsp720 нагрузка на процессор уже 50%. ( тема хоть и старая - но всё же она нас немного пугает http://forum.nag.ru/forum/index.php?showtopic=65465 )

какие будут показатели в mpps на 7606 при установке модулей WS-X6704-10Ge/WS-X6708-10Ge с модулями DFC), так же 48Mpps или цифры будут другие ? ( http://www.cisco.com/c/en/us/support/docs/switches/catalyst-6500-series-switches/107258-C6K-PFC-DFC-CFC.html )

будет ли разница в mpps между 7606 и 7606S ?

 

Так же вопрос - можно ли в 7606 вместо второго проца установить модуль WS-X6704 например

по поводу mpps - если верить ссылке

http://www.cisco.com/c/en/us/products/collateral/routers/7606-router/product_data_sheet09186a0080088773.html

240Mpps на шасси если всё стоит с DFC платами. А это как раз 4 модуля и один процессор (и наверно еще один в резерве)

если можно ставить 5ть модулей - то тогда 240Mpps на 5ть модулей и еще 48mpps на процессор 3cxl или 30mpps на процессор 3bxl

Edited November 10, 2016 by artplanet

[zhenya`]

А зачем менять проц? Ваш должен встать в 76ое шасси

[artplanet]

А зачем менять проц? Ваш должен встать в 76ое шасси

 

физически влезет, а вот по документациям в 7600 шасси ставиться только SUP720-3BXL или RSP720-3CXL

http://www.cisco.com/c/en/us/products/collateral/routers/7606-router/product_data_sheet09186a0080088773.html

• Supervisor support - Cisco Catalyst 6500 Supervisor Engine 32 (WS-SUP32-GE-3B and WS-SUP32-10GE-3B), Cisco Catalyst 6500 Supervisor Engine 720 (WS-SUP720-3B and WS-SUP720-3BXL), and the new Cisco Route Switch Processor 720 (RSP720-3C and RSP720-3CXL)

ни слова о VS-S720-3CXL

 

плюс ответ на форуме cisco

https://supportforums.cisco.com/discussion/11652216/vs-s720-10g-3c-7600

Edited November 11, 2016 by artplanet

[SyJet]

http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-6500-series-switches/product_data_sheet09186a0080159856.html

[zlolotus]

А сколько у вас трафика переваривал VS-S720-3CXL ?

[abab]

А кузов c 6504E продавать не собираетесь? Я бы может подумал бы. Блики питания там какие кстати?

[artplanet]

http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-6500-series-switches/product_data_sheet09186a0080159856.html

 

и к чему это? доки мы уже почитали. Там нету явного ответа на наши вопросы. Вот и задаем их к спецам. Может кто что знает.

 

А сколько у вас трафика переваривал VS-S720-3CXL ?

 

в самом трафике не смотрели - 30-40 гигабит. А вот mpps мы на днях видели:

 1 minute input rate 5623643000 bits/sec, 10337568 packets/sec
 1 minute output rate 12720218000 bits/sec, 23354536 packets/sec

и весь трафик был отправлен в один модуль внутри одного 20ге канала.

 

правда при таком трафике стали появляться очереди

Input queue: 0/2000/1837336310/0 (size/max/drops/flushes); Total output drops: 0

модуль был WS-X6708-10GE-3CXL

 

А кузов c 6504E продавать не собираетесь? Я бы может подумал бы. Блики питания там какие кстати?

 

может и будем, с этим в личку лучше. Блоки 2700 стоят.

system power redundancy mode = redundant
system power total =     2669.10 Watts (63.55 Amps @ 42V)
system power used =      1770.30 Watts (42.15 Amps @ 42V)
system power available =  898.80 Watts (21.40 Amps @ 42V)
                       Power-Capacity PS-Fan Output Oper
PS   Type               Watts   A @42V Status Status State
---- ------------------ ------- ------ ------ ------ -----
1    PWR-2700-AC/4      2669.10 63.55  OK     OK     on 
2    PWR-2700-AC/4      2669.10 63.55  OK     OK     on 
                       Pwr-Allocated  Oper
Fan  Type               Watts   A @42V State
---- ------------------ ------- ------ -----
1    FAN-MOD-4HS          96.18  2.29  OK
                       Pwr-Requested  Pwr-Allocated  Admin Oper
Slot Card-Type          Watts   A @42V Watts   A @42V State State
---- ------------------ ------- ------ ------- ------ ----- -----
1    VS-S720-10G         363.30  8.65   363.30  8.65  on    on
2    WS-X6704-10GE       363.30  8.65   363.30  8.65  on    on
3    WS-X6708-10GE       473.76 11.28   473.76 11.28  on    on
4    WS-X6708-10GE       473.76 11.28   473.76 11.28  on    on
system auxiliary power mode = off
system auxiliary power redundancy operationally = non-redundant
system primary connector power limit =   4000.08 Watts (95.24 Amps @ 42V)
system auxiliary connector power limit = 4000.08 Watts (95.24 Amps @ 42V)
system primary power used =              1770.30 Watts (42.15 Amps @ 42V)
system auxiliary power used =            0 Watt

[SyJet]

 

и к чему это? доки мы уже почитали. Там нету явного ответа на наши вопросы. Вот и задаем их к спецам. Может кто что знает.

Видать не читали, иначе в этом документе под табличкой нашли эту ссыль http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-6500-virtual-switching-system-1440/product_data_sheet0900aecd806ed759.html

А там вот такое:

[artplanet]

ну так читаем вместе внимательно - модели 7603, 7609 и 7613. А мы планируем купить 7606

 

а так же читали здесь:

http://www.cisco.com/c/en/us/products/collateral/routers/7606-router/product_data_sheet09186a0080088773.html

Supervisor support - Cisco Catalyst 6500 Supervisor Engine 32 (WS-SUP32-GE-3B and WS-SUP32-10GE-3B), Cisco Catalyst 6500 Supervisor Engine 720 (WS-SUP720-3B and WS-SUP720-3BXL), and the new Cisco Route Switch Processor 720 (RSP720-3C and RSP720-3CXL) - ни слова про VS-S720-3C

 

а так же читали здесь:

https://supportforums.cisco.com/discussion/11652216/vs-s720-10g-3c-7600

The spec sheet might be mistaken. I don't believe that sup is supported on 7600s. If you have a Cisco support contract, it's a question you might bounce off TAC. Otherwise, we'll see if anyone describes this sup is known to work in a 7600 chassis.

The Sup-720-VS was designed for VSS and it is only supported on the 6500 series.

 

 

то есть везде написано что 7606 не поддерживает VS-S720-3CXL

а рисковать и покупать железку чтобы потом ее выкидывать мы не будем

[artplanet]

нашел очень интересное решение для себя.

К примеру такой портчанел успешно работает, при условии что в 3 и 4 слоту одинаковые модули:

VO.bb#show int po9
Port-channel9 is up, line protocol is up (connected)
 Hardware is EtherChannel, address is 0025.84f1.4e6a (bia 0025.84f1.4e6a)
 Description: VO.bb2
 MTU 1500 bytes, BW 20000000 Kbit, DLY 10 usec, 
    reliability 255/255, txload 5/255, rxload 3/255
 Encapsulation ARPA, loopback not set
 Keepalive set (10 sec)
 Full-duplex, 10Gb/s
 Transport mode LAN (10GBASE-R, 10.3125Gb/s), media type is unknown
 input flow-control is on, output flow-control is off
 Members in this channel: Te3/3 Te4/3
 30 second input rate 238782000 bits/sec, 328018 packets/sec
 30 second output rate 457395000 bits/sec, 306752 packets/sec

и сами порты

 

VO.bb#show int tenGigabitEthernet 3/3
 30 second input rate 122141000 bits/sec, 169799 packets/sec
 30 second output rate 243761000 bits/sec, 159428 packets/sec

VO.bb#show int tenGigabitEthernet 4/3
 30 second input rate 122958000 bits/sec, 160858 packets/sec
 30 second output rate 197670000 bits/sec, 150586 packets/sec

 

модули

 3    8  CEF720 8 port 10GE with DFC            WS-X6708-10GE      SAL13442GAF
 4    8  CEF720 8 port 10GE with DFC            WS-X6708-10GE      SAL1339ZKTY
 3  Distributed Forwarding Card WS-F6700-DFC3CXL   SAL1343223V  1.6    Ok
 4  Distributed Forwarding Card WS-F6700-DFC3CXL   SAL1343203J  1.6    Ok

 

при этом я не смог сделать портчанел на двух разных модулях WS-X6704-10Ge - но тут один модуль стоит с CFC, а второй с 3BXL (второй бордер)

в логах была ошибка:

Nov 11 13:51:37.951: %EC-SP-5-CANNOT_BUNDLE_LACP: Te3/2 is not compatible with aggregators in channel 2 and cannot attach to them (qos-card types of Te3/2 do not match Te2/2)

[necrozz]

при этом я не смог сделать портчанел на двух разных модулях WS-X6704-10Ge - но тут один модуль стоит с CFC, а второй с 3BXL (второй бордер)

в логах была ошибка:

Nov 11 13:51:37.951: %EC-SP-5-CANNOT_BUNDLE_LACP: Te3/2 is not compatible with aggregators in channel 2 and cannot attach to them (qos-card types of Te3/2 do not match Te2/2)

А такое если попробовать ей при этом скормить ?

 no platform qos channel-consistency

[artplanet]

при этом я не смог сделать портчанел на двух разных модулях WS-X6704-10Ge - но тут один модуль стоит с CFC, а второй с 3BXL (второй бордер)

в логах была ошибка:

Nov 11 13:51:37.951: %EC-SP-5-CANNOT_BUNDLE_LACP: Te3/2 is not compatible with aggregators in channel 2 and cannot attach to them (qos-card types of Te3/2 do not match Te2/2)

А такое если попробовать ей при этом скормить ?

 no platform qos channel-consistency

 

скормил - и сразу проц в полку и стали падать bgp сессии. а портчанел не всё равно не заработал. Слава богу заранее предупредили о плановых работах и клиенты не сильно ругались.

[necrozz]

при этом я не смог сделать портчанел на двух разных модулях WS-X6704-10Ge - но тут один модуль стоит с CFC, а второй с 3BXL (второй бордер)

в логах была ошибка:

Nov 11 13:51:37.951: %EC-SP-5-CANNOT_BUNDLE_LACP: Te3/2 is not compatible with aggregators in channel 2 and cannot attach to them (qos-card types of Te3/2 do not match Te2/2)

А такое если попробовать ей при этом скормить ?

 no platform qos channel-consistency

 

скормил - и сразу проц в полку и стали падать bgp сессии. а портчанел не всё равно не заработал. Слава богу заранее предупредили о плановых работах и клиенты не сильно ругались.

 

Ээээмм, вы точно скормили

 no platform qos channel-consistency

на SUP720 ? Потому, что я немного завтыкал... ( Я так поднимал LAGG на SUP-2T, на 720 ком*** немного по другому выглядит :

no mls qos channel-consistency

в конфигурации интерфейса. Ну и собственно я описанную вами проблему у себя так решил.

[necrozz]

Ну и из основных вопросов:

В итоге с чем мы столкнемся при смене шасси и процессора ?

Из нашей практики вы столкнетесь с не очень значительным увеличением производительности и с большой долей вероятности огребете глюков от 76xx платформы... Так например мы без плясок с бубнами вокруг tcam shadowing обойтись не смогли ни на одной из 76xx. А в то время этот workaround не был сильно распространен, а контракта как водится нет.

[artplanet]

Ээээмм, вы точно скормили

 no platform qos channel-consistency

на SUP720 ? Потому, что я немного завтыкал... ( Я так поднимал LAGG на SUP-2T, на 720 ком*** немного по другому выглядит :

no mls qos channel-consistency

в конфигурации интерфейса. Ну и собственно я описанную вами проблему у себя так решил.

 

вот уже не помню - да и не сильно важно. Мы сейчас решили поставить шасси Cisco 6509-E с 8ю модулями WS-X6708-10GE-3CXL, и сделаем портчанел из 8 первых портов всех модулей - для того чтобы атака равномерно прилетела на все 8м модулей.

Далее - поставим параллельно наше оборудование по фильтрации, так же в каждый 5ый порт каждого модуля. И в итоге сможем отфильтровать в фул дуплексе 96mpps (чисто в теории)

А это уже очень большие цифры.

У нас сейчас логика такая - каждый модуль может пережевать 48Mpps, в итоге если на каждый модуль прилетит по 12Mpps - то дальше по таблице маршрутизации и PBR роутингу с set next ip - 12.5% входящих пакетов уйдут в 5ый порт текущего модуля и остальные 87.5% уйдут по шине в другие 5ые порты всех модулей. И так будет с 8ю модулями.

В итоге мы получим, 12Mpps прилетело в 8ой порт, 12Mpps мы отправили в 5ый порт(12.5% пакетов из 8го порта текущего модуля и 87.5% пакетов из остальных модулей). Из 5го порта вернулось 12Mpps ответов на каждый syn пакет, и далее 12Mpps вернулось в 8ой порт.

Но это опять же если считать каждый пакет дважды. Пришел в порт, ушел в порт или в шину. А если считать нужно только те пакеты которые пришли на модуль - то тогда мы сможем поставить еще по 8 железок в параллель и уже цифры из 96mpps превратится в 192mpps. Только для такой цифры у нас внешних каналов не хватит :-(

 

А с такими цифрами уже и передумали брать 7606S, ибо 7609 - уже больше чем 6509. Да и 6509-E на складе валяется. И блоки питания AC по 6000 киловат есть в наличии. Осталось только все спланировать и перенести.