[serg_sk]

Приветствую.

 

Есть проблема. Но начну с оборудования.

Имеется Cisco 6509 + Sup7203B.

 

Mod Ports Card Type Model Serial No.

--- ----- -------------------------------------- ------------------ -----------

1 1 1 port 10-Gigabit Ethernet Module WS-X6502-10GE SAD063102CJ

2 48 48 port 10/100 mb RJ45 WS-X6348-RJ-45 SAL0605HBEM

3 16 16 port 1000mb GBIC ethernet WS-X6416-GBIC SAD05060THH

4 16 16 port 1000mb GBIC ethernet WS-X6416-GBIC SAL0540CS1A

5 2 Supervisor Engine 720 (Active) WS-SUP720-BASE SAD080403YE

6 1 1 port 10-Gigabit Ethernet Module WS-X6502-10GE SAD0617007T

 

 

Mod Sub-Module Model Serial Hw Status

---- --------------------------- ------------------ ----------- ------- -------

1 10GBASE-LR Serial 1310nm lo WS-G6488 SAD0631017B 1.1 Ok

2 Inline Power Module WS-F6K-VPWR 1.0 Ok

5 Policy Feature Card 3 WS-F6K-PFC3B SAD0914053A 2.1 Ok

5 MSFC3 Daughterboard WS-SUP720 SAD072504WS 1.5 Ok

6 10GBASE-LR Serial 1310nm lo WS-G6488 SAD0729064P 1.1 Ok

 

 

System Resources

PFC operating mode: PFC3B

Supervisor redundancy mode: administratively sso, operationally sso

Switching resources: Module Part number Series CEF mode

1 WS-X6502-10GE CEF256 CEF

2 WS-X6348-RJ-45 classic CEF

3 WS-X6416-GBIC classic CEF

4 WS-X6416-GBIC classic CEF

5 WS-SUP720-BASE supervisor CEF

6 WS-X6502-10GE CEF256 CEF

 

Для сбора статистики для биллинга запущен netflow, который отжирает 100% TCAM.

 

Netflow Resources

TCAM utilization: Module Created Failed %Used

5 130946 0 100%

ICAM utilization: Module Created Failed %Used

5 2 247451 1%

 

Flowmasks: Mask# Type Features

IPv4: 0 reserved none

IPv4: 1 Intf Ful Intf NDE L3 Feature

IPv4: 2 unused none

IPv4: 3 reserved none

 

IPv6: 0 reserved none

IPv6: 1 unused none

IPv6: 2 unused none

IPv6: 3 reserved none

 

# show mls netflow table-contention detailed

Earl in Module 5

Detailed Netflow CAM (TCAM and ICAM) Utilization

================================================

TCAM Utilization : 100%

ICAM Utilization : 3%

Netflow TCAM count : 130948

Netflow ICAM count : 4

Netflow Creation Failures : 5309

Netflow CAM aliases : 0

 

netflow собирает со всех юзерских вланов, + на вланах на первом модуле. 10г аплинк.

 

Конфигурация такая:

ip flow-cache timeout inactive 120

ip flow-cache timeout active 1

mls ip nat netflow-frag-l4-zero

no mls acl tcam share-global

mls aging fast time 16 threshold 50

mls aging long 300

mls aging normal 64

mls netflow interface

mls flow ip interface-full

mls nde sender version 5

mls qos

mls cef error action reset

 

Подскажите как можно разгрузить TCAM.

Edited November 30, 2012 by serg_sk

[uxcr]

Манипуляции с aging редко дают результат, уменьшение таймеров вызывает опять нагрузку на проц, из-за учащения выдёргивания данных начинает проваливаться io.

Может помочь, но обычно никому не нужно, сохранение только полей dst ip+dst-port.

Переходите на DFC, там нетфлоу собирается на каждой карте отдельно, но и то на практике установленного dfc на обычного интернет-трафика хватает на 400мбит/с, потом те же беды. Вдвое большей ёмкостью обладают 3bxl, это означает замену супервизора тьфу, pfc, и установку соответствующих dfc.

Почесав репу, в своё время забили на эти изыски, и отправили траф в span для разбора на 8-core ng_netflow.

Edited December 1, 2012 by uxcr

[dignity]

только через span, мне кажется может быть даже проще заменять железку на что-то с поддержкой sflow, если Вас погрешность не смущает.

[avtomax.com.ua]

Только перешли с суп2 на суп720, так что заменить суп неу возможности. Кроме того топикстартер не сказал главное. Как поставили новый суп720б и плату с портом 10Г, циска стала падать рандомно. Вот и обратили внимание на вышеуказаную проблему, думая о том что циска падает именно из за этого.

[uxcr]

Вряд ли, есть такой же перегруженный суп720, терминирует в L2 ~7-8гбит , стоит без ребута несколько лет.

А в "show platform hardware capacity" никакого криминала?

[serg_sk]

#show platform hardware capacity

System Resources

PFC operating mode: PFC3B

Supervisor redundancy mode: administratively sso, operationally sso

Switching resources: Module Part number Series CEF mode

1 WS-X6502-10GE CEF256 CEF

2 WS-X6348-RJ-45 classic CEF

4 WS-X6416-GBIC classic CEF

5 WS-SUP720-BASE supervisor CEF

6 WS-X6502-10GE CEF256 CEF

7 WS-X6516A-GBIC CEF256 CEF

 

Power Resources

Power supply redundancy mode: administratively redundant

operationally redundant

System power: 2331W, 0W (0%) inline, 1108W (48%) total allocated

Powered devices: 0 total, 0 Class3, 0 Class2, 0 Class1, 0 Class0, 0 Cisco

 

Flash/NVRAM Resources

Usage: Module Device Bytes: Total Used %Used

5 SP disk0: 256540672 184492032 72%

5 SP disk1: 127840256 73547776 58%

5 SP sup-bootflash: 65536000 34933760 53%

5 SP const_nvram: 129004 30324 24%

5 SP nvram: 1964024 121557 6%

5 RP bootflash: 65536000 1558868 2%

 

CPU Resources

CPU utilization: Module 5 seconds 1 minute 5 minutes

5 RP 70% / 3% 46% 37%

5 SP 20% / 2% 27% 27%

Processor memory: Module Bytes: Total Used %Used

5 RP 391739920 109179292 28%

5 SP 367044960 107497804 29%

I/O memory: Module Bytes: Total Used %Used

5 RP 67108864 13902404 21%

5 SP 67108864 15705560 23%

 

EOBC Resources

Module Packets/sec Total packets Dropped packets

5 RP Rx: 56 29231731 789

Tx: 44 25099734 0

5 SP Rx: 31 26649825 235

Tx: 38 30779608 0

 

VLAN Resources

VLANs: 4094 total, 501 VTP, 7 extended, 14 internal, 3572 free

 

L2 Forwarding Resources

MAC Table usage: Module Collisions Total Used %Used

5 0 65536 3569 5%

 

VPN CAM usage: Total Used %Used

512 0 0%

L3 Forwarding Resources

FIB TCAM usage: Total Used %Used

72 bits (IPv4, MPLS, EoM) 196608 13778 7%

144 bits (IP mcast, IPv6) 32768 8 1%

 

detail: Protocol Used %Used

IPv4 13778 7%

MPLS 0 0%

EoM 0 0%

 

IPv6 1 1%

IPv4 mcast 4 1%

IPv6 mcast 3 1%

 

Adjacency usage: Total Used %Used

1048576 3345 1%

 

Forwarding engine load:

Module pps peak-pps peak-time

5 231063 783847 20:20:13 Ukraine Wed Nov 28 2012

 

Netflow Resources

TCAM utilization: Module Created Failed %Used

5 130947 0 100%

ICAM utilization: Module Created Failed %Used

5 3 731319 2%

 

Flowmasks: Mask# Type Features

IPv4: 0 reserved none

IPv4: 1 Intf Ful Intf NDE L3 Feature

IPv4: 2 unused none

IPv4: 3 reserved none

 

IPv6: 0 reserved none

IPv6: 1 unused none

IPv6: 2 unused none

IPv6: 3 reserved none

 

CPU Rate Limiters Resources

Rate limiters: Total Used Reserved %Used

Layer 3 9 4 1 44%

Layer 2 5 3 3 60%

 

ACL/QoS TCAM Resources

Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR,

QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND,

Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source,

LOUdst - LOU destination, ADJ - ACL adjacency

 

Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst AND OR ADJ

5 15% 17% 1% 1% 1% 1% 0% 0% 0% 0% 1%

 

L3 Multicast Resources

IPv4 replication mode: ingress

Bi-directional PIM Designated Forwarder Table usage: 4 total, 0 (0%) used

Replication capability: Module IPv4 IPv6

1 ingress -

2 ingress -

4 ingress -

5 egress -

6 ingress -

7 egress -

MET table Entries: Module Total Used %Used

5 65516 6 1%

 

QoS Policer Resources

Aggregate policers: Module Total Used %Used

5 1024 1 1%

Microflow policer configurations: Module Total Used %Used

5 64 1 1%

 

Switch Fabric Resources

Bus utilization: not supported

Fabric utilization: Ingress Egress

Module Chanl Speed rate peak rate peak

1 0 8G 9% 0% 10% 0%

5 0 20G 1% 0% 1% 0%

6 0 8G 0% 0% 0% 0%

7 0 8G 7% 0% 10% 0%

Switching mode: Module Switching mode

1 crossbar

5 bus

6 crossbar

7 crossbar

 

Interface Resources

Interface drops:

Module Total drops: Tx Rx Highest drop port: Tx Rx

1 0 83145 0 1

2 1133 0 6 0

4 7054 2303 2 2

5 578 2051 1 1

7 639 382 9 7

 

Interface buffer sizes:

Module Bytes: Tx buffer Rx buffer

1 67107840 262080

2 112640 80896

4 442368 81920

6 67107840 262080

7 901120 147456

IBC Resources

Module Packets/sec Total packets Dropped packets

5 RP Rx: 311 131447394 0

Tx: 87 29554480 0

5 SP Rx: 14 6450212 0

Tx: 427 189957767 0

 

SPAN Resources

Source sessions: 16 maximum, 0 used

Type Max Used

Local 2(*) 0

Local-tx 14 0

RSPAN source 2(*) 0

ERSPAN source 2(*) 0

Service module 1(*) 0

OAM loopback 1(*) 0

* - shared source sessions and the total can not exceed 2

Destination sessions: 64 maximum, 0 used

Type Max Used

RSPAN destination 64(*) 0

ERSPAN destination 24(*) 0

* - shared destination sessions and the total can not exceed 64

 

Multicast LTL Resources

Usage: 30656 Total, 2051 Used

[alks]

Убирайте netflow с тазика, что 6500 что 7600 серия не тянет его в больших объемах

[serg_sk]

И каким образом тогда собирать статистику? :)

[dignity]

SPAN на linux и там же netflow генератор и сенсор... Кстати

WS-X6502-10GE - это экзотичная экзотика... Вам бы WS-x6704-10GE, и SPAN по 2м десяткам на linux.

[alks]

И каким образом тогда собирать статистику? :)

 

ну как выше предлагали, ну или вынести на другую железку

650 760 реально быстро плохеет от netflow

[avtomax.com.ua]

У нас (serg_sk это коллега) в циске сейчас две платы по 10Г стоит. В каждой свой аплинк. Это сейчас надо ставить третью, из нее в какой то тазик с линухом... Может есть другой вариант? Да и основной вопрос это не 100% загрузка, а то что циска падает тогда когда ей захотелось.

[Ajar]

У вас циска работает неоптимально т.е. на ней почти все кроме ната , покупка 6502 модуля ситуацию не спасет . В скайпе я не писал , но вам нужно сделать планирование сети . Почти те же задачи у нас в одной домомсети делает старый древний SUP2 c массой аггрегированных портов , acl - мы убрали . Итого вам нужно принципиально вынести доступ с этой циски , оставить на ней только аггрегацию и внешнюю маршрутизацию. Доступ сделайте на обычном X86