[Ivan Rostovikov]

Всем привет.

Такая ситуация:

 

cat 6506 модуль 6704.

 

интерфейс 1 - отражает трафик с портов 2 и 4 (monitoring session)

загружен по передаче примерно на 9Г.

 

 

интерфейс 2 - полка на 7Г по передаче и полка 6Г на прием.

 

 

интерфейс 3 - не задействован

 

 

интерфейс 4 - загружен на 2.5Г на передачу и 4Г на прием

 

Беспокоит полка на интерфейсе 2.

От чего - не пойму.

Возможно неверно распределил порты по FPGA группам ?

Кто знает как правильно ?

[shvlad1]

для начала

show module
show fabric utiliza
show platform hardwa capa

[Ivan Rostovikov]

С удовольствием.

Сегодня часиков в 9 вечера, когда будет "пик" трафика - все покажу.

[zhenya`]

а там ж и так записывается макс значение и дата..

[Ivan Rostovikov]

#sh modu

Mod Ports Card Type Model Serial No.

--- ----- -------------------------------------- ------------------ -----------

1 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1333WG7U

3 48 CEF720 48 port 1000mb SFP WS-X6748-SFP SAD083704PL

4 4 CEF720 4 port 10-Gigabit Ethernet WS-X6704-10GE SAL1152BHR4

5 2 Supervisor Engine 720 (Hot) WS-SUP720-3B SAL09497BJL

6 2 Supervisor Engine 720 (Active) WS-SUP720-3B SAL1130VGY0

 

Mod MAC addresses Hw Fw Sw Status

--- ---------------------------------- ------ ------------ ------------ -------

1 0026.cb0b.b5b0 to 0026.cb0b.b5df 3.2 12.2(18r)S1 12.2(33)SXI3 Ok

3 000b.fcf8.1790 to 000b.fcf8.17bf 1.1 12.2(18r)S1 12.2(33)SXI3 Ok

4 001c.585c.d0d8 to 001c.585c.d0db 2.6 12.2(14r)S5 12.2(33)SXI3 Ok

5 0014.a97e.3378 to 0014.a97e.337b 4.7 8.5(3) 12.2(33)SXI3 Ok

6 001a.2f3c.0d8c to 001a.2f3c.0d8f 5.4 8.4(2) 12.2(33)SXI3 Ok

 

Mod Sub-Module Model Serial Hw Status

---- --------------------------- ------------------ ----------- ------- -------

1 Distributed Forwarding Card WS-F6700-DFC3B SAL1222S3GA 4.6 Ok

3 Centralized Forwarding Card WS-F6700-CFC SAL1327T7YX 4.1 Ok

4 Centralized Forwarding Card WS-F6700-CFC SAL1202CCDM 4.0 Ok

5 Policy Feature Card 3 WS-F6K-PFC3B SAL09497AVP 2.5 Ok

5 MSFC3 Daughterboard WS-SUP720 SAL094978AP 2.10 Ok

6 Policy Feature Card 3 WS-F6K-PFC3B SAL1130VZ46 2.3 Ok

6 MSFC3 Daughterboard WS-SUP720 SAL1111JVQV 3.0 Ok

 

Mod Online Diag Status

---- -------------------

1 Pass

3 Pass

4 Pass

5 Pass

6 Pass

 

#sh pl ha capacity

System Resources

PFC operating mode: PFC3B

Supervisor redundancy mode: administratively sso, operationally sso

Switching resources: Module Part number Series CEF mode

1 WS-X6748-GE-TX CEF720 dCEF

3 WS-X6748-SFP CEF720 CEF

4 WS-X6704-10GE CEF720 CEF

5 WS-SUP720-3B supervisor CEF

6 WS-SUP720-3B supervisor CEF

 

Power Resources

Power supply redundancy mode: administratively redundant

operationally non-redundant (single power supply)

System power: 2771W, 0W (0%) inline, 1621W (58%) total allocated

Powered devices: 0 total, 0 Class3, 0 Class2, 0 Class1, 0 Class0, 0 Cisco

 

Flash/NVRAM Resources

Usage: Module Device Bytes: Total Used %Used

1 dfc#1-bootflash: 15990784 0 0%

3 dfc#3-bootflash: 15990784 0 0%

4 dfc#4-bootflash: 15990784 0 0%

5 slavenvram: 1964024 114487 6%

5 slaveconst_nvram: 129004 6616 5%

5 slavesup-bootdisk: 512073728 170606592 33%

5 slavebootflash: 65536000 0 0%

6 RP bootflash: 65536000 670428 1%

6 SP sup-bootdisk: 512073728 371695616 73%

6 SP const_nvram: 129004 6616 5%

6 SP nvram: 1964024 114487 6%

 

CPU Resources

CPU utilization: Module 5 seconds 1 minute 5 minutes

1 4% / 1% 5% 5%

3 29% / 2% 28% 28%

4 2% / 1% 1% 1%

5 RP 2% / 0% 2% 1%

5 SP 5% / 2% 7% 7%

6 RP 5% / 2% 6% 6%

6 SP 32% / 2% 26% 25%

Processor memory: Module Bytes: Total Used %Used

1 206436832 95647788 46%

3 206436832 41580900 20%

4 206436832 41722888 20%

5 RP 360554352 116620200 32%

5 SP 337591344 124939724 37%

6 RP 360590128 186068452 52%

6 SP 348607144 146247352 42%

I/O memory: Module Bytes: Total Used %Used

5 RP 67108864 16487652 25%

5 SP 67108864 13903320 21%

6 RP 67108864 16487652 25%

6 SP 67108864 15705560 23%

 

EOBC Resources

Module Packets/sec Total packets Dropped packets

1 Rx: 54 1918895723 0

Tx: 51 286028201 3

3 Rx: 65 1918895421 0

Tx: 60 223000647 8

4 Rx: 15 1918895154 0

Tx: 9 111000581 8

5 RP Rx: 0 26059502 3

Tx: 0 26177176 0

5 SP Rx: 33 110555236 3753

Tx: 32 107725497 0

6 RP Rx: 159 749743323 6318

Tx: 158 738821736 0

6 SP Rx: 85 398413228 24801

Tx: 88 425819640 0

 

VLAN Resources

VLANs: 4094 total, 106 VTP, 1 extended, 15 internal, 3972 free

 

L2 Forwarding Resources

MAC Table usage: Module Collisions Total Used %Used

1 0 65536 3298 5%

5 0 65536 17750 27%

6 0 65536 17752 27%

 

VPN CAM usage: Total Used %Used

512 0 0%

L3 Forwarding Resources

FIB TCAM usage: Total Used %Used

72 bits (IPv4, MPLS, EoM) 196608 74838 38%

144 bits (IP mcast, IPv6) 32768 130 1%

 

detail: Protocol Used %Used

IPv4 74836 38%

MPLS 1 1%

EoM 1 1%

 

IPv6 1 1%

IPv4 mcast 126 1%

IPv6 mcast 3 1%

 

Adjacency usage: Total Used %Used

1048576 2701 1%

 

Forwarding engine load:

Module pps peak-pps peak-time

1 611414 1282530 19:47:14 MSK Sun Sep 15 2013

5 5959164 6462715 21:40:49 MSK Wed Oct 16 2013

6 6024762 35675075 18:24:58 MSK Sun Oct 27 2013

 

Netflow Resources

TCAM utilization: Module Created Failed %Used

1 1 0 0%

5 1 0 0%

6 3 0 0%

ICAM utilization: Module Created Failed %Used

1 0 0 0%

5 0 0 0%

6 0 0 0%

 

Flowmasks: Mask# Type Features

IPv4: 0 reserved none

IPv4: 1 unused none

IPv4: 2 unused none

IPv4: 3 reserved none

 

IPv6: 0 reserved none

IPv6: 1 unused none

IPv6: 2 unused none

IPv6: 3 reserved none

 

CPU Rate Limiters Resources

Rate limiters: Total Used Reserved %Used

Layer 3 9 5 1 56%

Layer 2 5 3 3 60%

 

ACL/QoS TCAM Resources

Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR,

QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND,

Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source,

LOUdst - LOU destination, ADJ - ACL adjacency

 

Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst AND OR ADJ

1 3% 7% 5% 13% 1% 1% 5% 5% 0% 0% 1%

5 3% 7% 5% 14% 1% 1% 5% 5% 0% 0% 1%

6 3% 7% 5% 13% 1% 1% 5% 5% 0% 0% 1%

 

L3 Multicast Resources

IPv4 replication mode: egress

IPv6 replication mode: egress

Bi-directional PIM Designated Forwarder Table usage: 4 total, 0 (0%) used

Replication capability: Module IPv4 IPv6

1 egress egress

3 egress egress

4 egress egress

5 egress egress

6 egress egress

MET table Entries: Module Total Used %Used

1 65516 30 1%

5 65516 0 0%

6 65516 30 1%

 

QoS Policer Resources

Aggregate policers: Module Total Used %Used

1 1024 53 5%

6 1024 53 5%

Microflow policer configurations: Module Total Used %Used

1 64 1 1%

6 64 1 1%

 

Switch Fabric Resources

Bus utilization: current: 24%, peak was 26% at 21:39:26 MSK Sun Oct 20 2013

Fabric utilization: Ingress Egress

Module Chanl Speed rate peak rate peak

1 0 20G 10% 26% @19:26 15Sep13 19% 28% @19:52 30Sep13

1 1 20G 3% 8% @17:01 21Oct13 7% 48% @16:30 15Sep13

3 0 20G 26% 31% @19:31 04Nov13 19% 26% @19:50 07Nov13

3 1 20G 20% 26% @12:46 04Nov13 14% 22% @20:20 13Oct13

4 0 20G 45% 67% @22:11 13Sep13 11% 27% @16:56 06Nov13

4 1 20G 24% 39% @20:58 05Nov13 75% 80% @19:40 07Nov13

5 0 20G 0% 1% @15:54 20Sep13 0% 1% @20:22 07Nov13

6 0 20G 16% 22% @00:06 04Nov13 48% 53% @19:13 25Oct13

Switching mode: Module Switching mode

1 dcef

3 acef

4 acef

5 crossbar

6 dcef

 

Interface Resources

Interface drops:

Module Total drops: Tx Rx Highest drop port: Tx Rx

1 6054885666 932392 2 34

3 45205113 1234369087 33 17

4 427726 79130434 1 2

 

Interface buffer sizes:

Module Bytes: Tx buffer Rx buffer

1 (asic-1) 1221120 174016

3 (asic-1) 1221120 173504

4 (asic-1) 14622592 2064768

IBC Resources

Module Packets/sec Total packets Dropped packets

5 RP Rx: 0 273341 0

Tx: 0 273341 0

5 SP Rx: 18 58191159 0

Tx: 0 273489 0

6 RP Rx: 283 1347631222 0

Tx: 49 189670461 0

6 SP Rx: 25 99590082 110249

Tx: 41 177252393 0

 

SPAN Resources

Source sessions: 16 maximum, 1 used

Type Max Used

Local 2(*) 1

Local-tx 14 0

RSPAN source 2(*) 0

ERSPAN source 2(*) 0

Capture 1(*) 0

Service module 1(*) 0

OAM loopback 1(*) 0

* - shared source sessions and the total can not exceed 2

Destination sessions: 64 maximum, 0 used

Type Max Used

RSPAN destination 64(*) 0

ERSPAN destination 23(*) 0

* - shared destination sessions and the total can not exceed 64

 

Multicast LTL Resources

Usage: 30656 Total, 3394 Used

 

#sh fabric utilization

slot channel speed Ingress % Egress %

1 0 20G 11 20

1 1 20G 2 6

3 0 20G 27 19

3 1 20G 19 16

4 0 20G 46 13

4 1 20G 27 74

5 0 20G 0 0

6 0 20G 17 48

[vitalyb]

ошибки на интерфейсах посмотрите

 

и, например, http://forum.nag.ru/forum/index.php?showtopic=79450 с кучей подобных топиков

Изменено 7 ноября, 2013 пользователем vitalyb

[SergeiK]

#sh pl ha capacity

System Resources

PFC operating mode: PFC3B

Supervisor redundancy mode: administratively sso, operationally sso

Switching resources: Module Part number Series CEF mode

1 WS-X6748-GE-TX CEF720 dCEF

3 WS-X6748-SFP CEF720 CEF

4 WS-X6704-10GE CEF720 CEF

5 WS-SUP720-3B supervisor CEF

6 WS-SUP720-3B supervisor CEF

 

У вас там CFC, может в это упираетесь? Теоретический пределе работы без DFC, без dcef - 30Мpps, как мне помниться.

[myst]

Кстати да, вот кстати кратенькая пдфка наглядная по архитектуре

http://www.net130.com/technic/networks2003/RST-2011.pdf

[Ivan Rostovikov]

>У вас там CFC, может в это упираетесь? Теоретический пределе работы без DFC, без dcef - 30Мpps, как мне помниться.

Я так понимаю при трафике 10-20 Г до 30mpps еще далеко

А что даст в плане производительности DFC ?

 

 

 

[SergeiK]

>У вас там CFC, может в это упираетесь? Теоретический пределе работы без DFC, без dcef - 30Мpps, как мне помниться.

Я так понимаю при трафике 10-20 Г до 30mpps еще далеко

А что даст в плане производительности DFC ?

30Mpps на все карты. У вас же там не только 4x10G, но и 2 карты по 48х1G, одна из которых, так же, CFC.

 

И, в худшем случае, 30Mpps * 64байт * 8 бит = 15360Мбит = 15Гбит.

 

СFC не знает ничего про маршруты и MAC-и и за каждым пакетом бегает к Sup. Пакет данных к Sup не тащит, но спрашивает его, что с ним делать.

DFC ведет свои таблицы, которые синхронизирует с Sup-ом, поэтому работает намного эффективнее.

Но функции всей системы в целом наследую функции слабейшего элемента. То есть если DFC3B, а не 3BXL, то вся система будет 3B.

[NikAlexAn]

>У вас там CFC, может в это упираетесь? Теоретический пределе работы без DFC, без dcef - 30Мpps, как мне помниться.

Я так понимаю при трафике 10-20 Г до 30mpps еще далеко

А что даст в плане производительности DFC ?

Ну вроде как не совсем так судя по следующему:

 

Forwarding engine load:

Module pps peak-pps peak-time

1 611414 1282530 19:47:14 MSK Sun Sep 15 2013

5 5959164 6462715 21:40:49 MSK Wed Oct 16 2013

6 6024762 35675075 18:24:58 MSK Sun Oct 27 2013

peak pps для 6 карты смотрите.

[rdntw]

а если в шасси одна карта c CFC, а другая с DFC. будет работать?

или придется на все LC придется докупать DFC?

[DVM-Avgoor]

а если в шасси одна карта c CFC, а другая с DFC. будет работать?

или придется на все LC придется докупать DFC?

 

http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-6500-series-switches/qa_cisco_catalyst_6500_series_16port_10gigabit_ethernet_module.html

Q. Can we mix these 10 Gigabit Ethernet modules and other modules with centralized forwarding card (CFC) or other DFCs in the same chassis?
A. Yes, we will support a mix of DFC and CFC in the same chassis. The chassis will operate in the mode of the lowest common denominator (Table 2).

 

Т.е. работать то по идее будет. Но вот зачем?

Одна карта с CFC будет гонять трафик через Sup, эффекта от DFC будет мало.

 

http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-6500-series-switches/prod_white_paper0900aecd80673385.html

[secandr]

Снесите настройки мироринга во время ЧНН, удивитесь. Только снесите всё, что касается мироринга.

 

Я уже такую тему тут поднимал для 7600. Мочему-то с мирорингом возникает полка на 10Г интерфейсах. Почему выяснить не удалось, TAC вообще сделал вид, что они не причём. Инженеры с TAC звонили потом и рассказывали, что так быть не может, потому, что не может быть никогда...

Изменено 27 августа, 2014 пользователем secandr

[rdntw]

Т.е. работать то по идее будет. Но вот зачем?

Одна карта с CFC будет гонять трафик через Sup, эффекта от DFC будет мало.

а что если у меня в шасси 3 карты DFC и 1 CFC. На общую производительность это "слабо" повлияет, так?

 

Yes, we will support a mix of DFC and CFC in the same chassis. The chassis will operate in the mode of the lowest common denominator

 

а вот тут кажется написано что если хоть одна есть с CFC, то всё шасси будет в режиме CFC.

правильно я понял?

[DVM-Avgoor]

а что если у меня в шасси 3 карты DFC и 1 CFC. На общую производительность это "слабо" повлияет, так?

 

 

Дык зависит от раскладки трафика между картами. Строго индивидуально т.е.

 

а вот тут кажется написано что если хоть одна есть с CFC, то всё шасси будет в режиме CFC.

правильно я понял?

 

Нет, CFC это не режим, это CEF720 в чистом виде. Т.е. на карте нет какой-либо форвардинг-логики, просто два ASIC гоняющих трафик, и вся логика форвардинга/полисинга идет через sup.

Режим есть только между DFC и PFC, и выбирается он между PFC супов и DFC карт по принципу наименьшего, т.е. само наличие CFC карт на режим работы PFC/DFC никак не влияет.

[rdntw]

спасибо!

[g3fox]

С DFC ведь идут только карты с переподпиской на фабрику? Я про WS-6708.

А 6704 идут без переподписки на фабрику, но между ASIC групп портов 1-2 и 2-3 всего 16Г фулл-дуплекса.

Кругом говно и кидалово :(

[DVM-Avgoor]

С DFC ведь идут только карты с переподпиской на фабрику? Я про WS-6708.

А 6704 идут без переподписки на фабрику, но между ASIC групп портов 1-2 и 2-3 всего 16Г фулл-дуплекса.

Кругом говно и кидалово :(

 

Там два асика на 20Г, это физический предел шины. И циско указывает это как

dCEF720 Modules: Up to 48 Mpps (per slot) / 2x 20 Gbps (dedicated per slot)

Однако такие условия в реальности почти недостижимы. И многие упираются в 32Гбит/с на картах с DFC.

 

Ну надо простить старушку 65/76. Архитектура древняя, на нее лепят припарки уже 15+ лет, пытаясь обеспечить совместимость с легаси и выжать еще что-либо с коробки.

Увы, всему есть предел. Все равно среди б/у у 65ых коробок конкурентов нет :)

[rdntw]

а что если у меня в шасси 3 карты DFC и 1 CFC. На общую производительность это "слабо" повлияет, так?

 

 

Дык зависит от раскладки трафика между картами. Строго индивидуально т.е.

 

а вот тут кажется написано что если хоть одна есть с CFC, то всё шасси будет в режиме CFC.

правильно я понял?

 

Нет, CFC это не режим, это CEF720 в чистом виде. Т.е. на карте нет какой-либо форвардинг-логики, просто два ASIC гоняющих трафик, и вся логика форвардинга/полисинга идет через sup.

Режим есть только между DFC и PFC, и выбирается он между PFC супов и DFC карт по принципу наименьшего, т.е. само наличие CFC карт на режим работы PFC/DFC никак не влияет.

 

 

http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-6500-series-switches/white_paper_c11-676346.html

на таблице 7 "PFC/DFC Interoperability Matrix" написано что pfc4хх идет только с DFC4хх картами.

Идея которая заключалась в докупке карт DFC3 на 6748CFC не покатит. Видимо придется брать DFC4

[DVM-Avgoor]

http://www.cisco.com...c11-676346.html

на таблице 7 "PFC/DFC Interoperability Matrix" написано что pfc4хх идет только с DFC4хх картами.

Идея которая заключалась в докупке карт DFC3 на 6748CFC не покатит. Видимо придется брать DFC4

ШТОА?! Я аж не удержался. PFC4 идет только к Sup2T. У вас Sup2T?

[rdntw]

http://www.cisco.com...c11-676346.html

на таблице 7 "PFC/DFC Interoperability Matrix" написано что pfc4хх идет только с DFC4хх картами.

Идея которая заключалась в докупке карт DFC3 на 6748CFC не покатит. Видимо придется брать DFC4

ШТОА?! Я аж не удержался. PFC4 идет только к Sup2T. У вас Sup2T?

 

ну да. обычный, не XL

[DVM-Avgoor]

ну да. обычный, не XL

 

А в чем соль брать Sup2T если у вас карты CFC и/или не 68/69?

[rdntw]

ну да. обычный, не XL

 

А в чем соль брать Sup2T если у вас карты CFC и/или не 68/69?

в тот то и дело что покупалось до меня, поэтому сейчас и хочу "сделать нормально" ( докупить dfc4)

[g3fox]

Немного оффтоп, но новую тему начинать не хочется.

Посмотрел архитектуру ASR9K.

Слайд "ASR9000: линейная карта A9K-4T (4x10GE)"

Там снова какая-то лажа:

Сразу видно, что есть Bgidge FPGA, которые подключены к Fabric Interface на скорости 30Гбит/с.

Как на два порта 10Г может быть 30Гбит/с? Опять переподписка 4:3? Или имеется ввиду 30Гбит/с полудуплекса?