[Alba]

ИМХО, ненормально высокая загрузка проца. :)

пинги порядка 100-150мс

IOS c6sup2_rp Software (c6sup2_rp-JK2O3SV-M), Version 12.1(26)E9, RELEASE SOFTWARE (fc1)

 

на железке 52 влана, роутинг, acl (30% tcam), netflow, около 5000 маков

сейчас на двух портах тестируется роутинг мультикаста. (до включения было тоже самое)

 

CPU utilization for five seconds: 99%/84%; one minute: 99%; five minutes: 99%

6 62637544 3104972 20173 3.74% 1.38% 1.14% 0 Check heaps

16 48347636 115019957 420 2.52% 2.16% 1.71% 0 ARP Input

71 295726676 633781720 466 3.01% 3.44% 2.97% 0 IP Input

105 107177364 9843439 10888 1.47% 1.25% 1.17% 0 CEF process

182 6415037241236752480 518 1.63% 1.81% 1.01% 0 SNMP ENGINE

 

что нужно из конфига показать?

Изменено 31 августа, 2008 пользователем Alba

[ingress]

показывайте весь.

[cmhungry]

ИМХО, ненормально высокая загрузка проца. :)

CPU utilization for five seconds: 99%/84%; one minute: 99%; five minutes: 99%

нетфлоу прибить пробовали? ip verify source reachable-via rx на клиентских вланах можно попробовать поднять...

[Alba]

!
! Last configuration change at 21:33:44 MSK Tue Aug 19 2008
! NVRAM config last updated at 16:55:36 MSK Wed Aug 13 2008 by xxxx
!
version 12.1
service timestamps debug datetime msec localtime
service timestamps log datetime msec localtime
service password-encryption
service compress-config
service sequence-numbers
service counters max age 10
no service dhcp
!
hostname Cisco6500
!
boot system flash sup-bootflash:
boot bootldr bootflash:c6msfc2-boot-mz.121-8a.EX
logging console warnings
aaa new-model
aaa authentication login default local
aaa authentication login nopass none
aaa authentication enable default enable
enable password 7 xxxxxxxxxxxxxxxxxxxx
!
username xxxx privilege 15 password 7 xxxxxxxxxxxxxxxxxxxx
clock timezone MSK 3
clock summer-time MSK recurring
vtp mode transparent
ip subnet-zero
no ip source-route
!
!
ip tcp selective-ack
ip tcp timestamp
ip domain-name xxxxxxx.xx
ip name-server xx.xx.x.x
!
ip multicast-routing
ip ssh time-out 120
ip ssh authentication-retries 3
mls flow ip full
mls flow ipx destination
mls nde sender version 5
mls nde interface
!
!
!
spanning-tree mode pvst
no spanning-tree vlan 1-4094
!
redundancy
mode rpr-plus
main-cpu
  auto-sync running-config
  auto-sync standard
!
!
vlan 2
name net2-xxxxxxxxxxxxx
!
vlan 3
name net3-xxxxxxxxxxxxx
!
vlan 48
name net48-xxxxxxxxxxx
!
vlan 128
name net128-xxxxxxxxx
!
vlan 131
name net131-xxxxxxxxxx
!
.................................
vlan 732
name net732-xxxxxxxxxxxxx
!
location xxxxxxxxxxxxxxxxxxxxxxxxx
!
interface Tunnel0
description xxxxxxxxxxx
ip address 172.30.1.2 255.255.255.252
ip rip send version 1
ip rip receive version 1
keepalive 10 3
tunnel source xx.xxx.xxx.x
tunnel destination xx.xxx.xxx.x
tunnel path-mtu-discovery
!
interface GigabitEthernet1/1
no ip address
shutdown
!
interface GigabitEthernet1/2
no ip address
shutdown
!
interface GigabitEthernet3/1
description xxxxxxxxxxxxxxxx
logging event link-status
switchport
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 2-4094
switchport mode trunk
no cdp enable
!
interface GigabitEthernet3/2
description xxxxxxxxxxxxxxxx
switchport
switchport trunk encapsulation dot1q
switchport mode trunk
no cdp enable
!
interface GigabitEthernet3/3
description xxxxxxxxxxx
switchport
switchport trunk encapsulation dot1q
switchport mode trunk
no cdp enable
!
....................................................
interface GigabitEthernet6/16
speed nonegotiate
switchport
switchport trunk encapsulation dot1q
switchport mode trunk
sync-restart-delay 200
no cdp enable
!
interface Vlan1
no ip address
shutdown
!
interface Vlan2
ip address xx.xx.x.x 255.255.255.0
ip access-group 2002 in
ip access-group 2002 out
ip pim sparse-dense-mode
ip igmp join-group 239.255.12.123
ip igmp static-group 239.255.12.123
!
interface Vlan3
ip address xx.xx.x.x 255.255.255.0 secondary
ip address xx.xx.x.x 255.255.255.0 secondary
ip address xx.xx.x.x 255.255.255.0
ip access-group 2003 in
ip access-group 2003 out
no ip redirects
!
interface Vlan48
ip address xx.xx.xx.x 255.255.255.0
ip access-group 2048 in
ip access-group 2048 out
!
interface Vlan128
description net128-xxxxxxxxxxxxx
ip address xx.xx.xxx.x 255.255.255.0 secondary
ip address xx.xx.xxx.x 255.255.255.0 secondary
ip address xx.xx.xxx.x 255.255.255.0
ip access-group 2128 in
ip access-group 2128 out
no ip redirects
!
interface Vlan712
ip address xx.xx.xxx.x 255.255.255.0 secondary
ip address xx.xx.xxx.x 255.255.255.0 secondary
ip address xx.xx.xxx.x 255.255.255.0 secondary
ip address xx.xx.xxx.x 255.255.255.0
ip access-group 2208 in
ip access-group 2208 out
no ip redirects
!
interface Vlan720
no ip address
shutdown
!
ip default-gateway xx.xx.x.x
ip classless
ip route 0.0.0.0 0.0.0.0 xx.xx.x.x
ip route xx.xx.xx.x 255.255.255.0 172.30.1.1
ip flow-export source Vlan549
ip flow-export version 5
ip flow-export destination xx.xx.x.x xxxx
ip flow-aggregation cache prefix
export destination xx.xx.x.x xxxx
enabled
!
no ip http server
!

тут много записей вида access-list ................
тут много записей вида access-list ................
тут много записей вида access-list ................
тут много записей вида access-list ................


тут много записей вида arp xxx.xxx.xxx.xxx xxxx.xxxx.xxxx ARPA
тут много записей вида arp xxx.xxx.xxx.xxx xxxx.xxxx.xxxx ARPA
тут много записей вида arp xxx.xxx.xxx.xxx xxxx.xxxx.xxxx ARPA
тут много записей вида arp xxx.xxx.xxx.xxx xxxx.xxxx.xxxx ARPA

no cdp run
route-map testmap permit 10
match ip address 199
set ip next-hop xx.xx.x.x
!
snmp-server community private RW 1
snmp-server community public RO 1
snmp-server ifindex persist
snmp-server location xxxxxxxxxxxxxxxxxxxxxxxx
snmp-server contact xxxxxxxxxxxx
snmp-server enable traps rf
snmp-server enable traps sonet
snmp-server host xx.xx.x.x public 
snmp-server tftp-server-list 1
!
!
line con 0
line vty 0 4
session-timeout 180 
exec-timeout 180 0
transport input ssh
line vty 5 10
transport input telnet rlogin
!
ntp clock-period 17180110
ntp master
ntp update-calendar
ntp server xx.xx.x.x
!
end

[ingress]

по тунелю много трафика ходит?

кол-во статик арп записей?

есть интерфейсы на которых pbr?

где интерфейсы на которых включен подсчёт?

 

mls flow ipx destination

ip rip send version 1

ip rip receive version 1

^^^^^^^^^^^^^^^

это зачем?

 

в логах или трапах есть что нить интересное? :)

 

 

p.s. имхо GRE на Sup2 software-switched

 

Изменено 19 августа, 2008 пользователем ingress

[Alba]

по тунелю много трафика ходит?

кол-во статик арп записей?

есть интерфейсы на которых pbr?

где интерфейсы на которых включен подсчёт?

 

mls flow ipx destination

ip rip send version 1

ip rip receive version 1

^^^^^^^^^^^^^^^

это зачем?

 

в логах или трапах есть что нить интересное? :)

 

 

p.s. имхо GRE на Sup2 software-switched

по туннелу - максимум 128кбит, да и то, это один физик проброшен по радиоканалу.

 

статикарп - 5 тыщ :(

 

интерфейсов с pbr нет - пробовал включать для тестов, но, видимо прийдётся от этой мысли отказаться...

 

подсчёт включен на всех вланах (хотя, никаких команд для этого не вводилось - mls flow ip full, mls flow ipx destination, mls nde sender version 5, mls nde interface) и всё - траф начал экспортиться

 

насчёт ip rip - как-то даже не обратил внимания сразу - настроил туннель по какому-то мануалу и забыл, что это такое :)

 

в логах - ничё интересного... единственное, что было - когда тестировал Acl-и и нагенерил в них около 40000 правил - тогда были маты на то, что tcam кончились :) а щас - то, что заливка статикарп по tftp, да отлуп по access-list на управляющий влан (логирование ext acl выключено)

 

итого: из конфига убраны строки

mls flow ipx destination

ip rip send version 1

ip rip receive version 1

 

[ingress]

а пробовали сделать, то что cmhungry написал?

нетфлову лучше явно указать интерфейсы.

добавьте на SVI - no ip proxy-arp

попробуйте убрать ARP привязку.

[Alba]

а пробовали сделать, то что cmhungry написал?

нетфлову лучше явно указать интерфейсы.

добавьте на SVI - no ip proxy-arp

попробуйте убрать ARP привязку.

дописал на нетранзитные vlan-ы

ip verify source reachable-via rx

no ip proxy-arp

 

щас буду смотреть, что изменится...

 

кстати, а как лучше вносить одинаковые изменения на интерфейсы? есть какое-нибудь волшебное решение?

попробовал через interface range vlan, но, что-то никакого эффекта :)

[chainick]

ip unreacheables пробовали отключить?

[cmhungry]

кстати, а как лучше вносить одинаковые изменения на интерфейсы? есть какое-нибудь волшебное решение?

попробовал через interface range vlan, но, что-то никакого эффекта :)

int range vlan 1205 - 1210 вполне работает

[mastodont]

уберите

ip igmp join-group 239.255.12.123

ip igmp static-group 239.255.12.123

этот трафик обрабатывается процессором.

[Alba]

ip unreacheables пробовали отключить?

пока не пробовал - делаю всё поэтапно :)

на даный момент картина выглядит следующим образом (в аттаче).

 

по-поводу ip igmp - там трафика нету, я периодически _тестирую_ мультикаст.

 

кстати, а как лучше вносить одинаковые изменения на интерфейсы? есть какое-нибудь волшебное решение?

попробовал через interface range vlan, но, что-то никакого эффекта :)

int range vlan 1205 - 1210 вполне работает

такую команду прожёвывает, но, вносимые изменения потом по show ru не видны нигде. :(

[max1976]

А вы посмотрите количество броадкаста на интерфейсах. Была похожая картинка.

[ingress]

на даный момент картина выглядит следующим образом (в аттаче).

уже более менее

что то нужное отключили?

Изменено 21 августа, 2008 пользователем ingress

[Alba]

на даный момент картина выглядит следующим образом (в аттаче).

уже более менее

что то нужное отключили?

только

ip verify source reachable-via rx

no ip proxy-arp

 

но, после этого на одном из районов упали все secondary подсети... на этом влане сделал no ip verify source, всё поднялось, но, загрузка заметно поднялась :(

где можно почитать про эту команду, как оно вообще работает?

[ingress]

в кратце, разрешает только пакеты в адресе источника которых стоит адрес достижимый через данный интерфейс(конектед, статик, igp, egp)

 

напишите конфу этого влана, и и все маршруты кроме конектед(если они есть и их немного)

[cmhungry]

на даный момент картина выглядит следующим образом (в аттаче).

уже более менее

что то нужное отключили?

только

ip verify source reachable-via rx

no ip proxy-arp

 

но, после этого на одном из районов упали все secondary подсети... на этом влане сделал no ip verify source, всё поднялось, но, загрузка заметно поднялась :(

где можно почитать про эту команду, как оно вообще работает?

На флуд очень похоже с подменой source ip

[Alba]

в кратце, разрешает только пакеты в адресе источника которых стоит адрес достижимый через данный интерфейс(конектед, статик, igp, egp)

 

напишите конфу этого влана, и и все маршруты кроме конектед(если они есть и их немного)

interface Vlan128

description net128-esenina40

ip address 10.10.130.1 255.255.255.0 secondary

ip address 79.140.79.41 255.255.255.248 secondary

ip address 79.140.79.225 255.255.255.248 secondary

ip address 10.10.129.1 255.255.255.0 secondary

ip address 10.10.128.1 255.255.255.0

ip access-group 2128 in

ip access-group 2128 out

no ip redirects

no ip proxy-arp

end

 

 

show ip route static

10.0.0.0/8 is variably subnetted, 63 subnets, 4 masks

S 10.0.0.0/8 is directly connected, Null0

S 10.0.0.0/15 [1/0] via 10.10.0.3

S 10.10.16.0/24 [1/0] via 172.30.1.1

S 10.100.0.0/14 [1/0] via 10.10.0.3

S 10.124.0.0/15 [1/0] via 10.10.0.4

79.0.0.0/8 is variably subnetted, 33 subnets, 3 masks

S 79.140.78.24/29 [1/0] via 79.140.78.38

S* 0.0.0.0/0 [1/0] via 10.10.0.3

S 192.168.0.0/16 [1/0] via 192.168.253.77

 

[Alba]

ещё вопрос... как всё-таки лучше заливать access-листы?

правил бывает от 6 тыщ до 15 тыщ... циска переваривает их без проблем, но, в самом процессе заливки (и, видимо конвертации) железка сильно тормозит (вырастают пинги и, периодически даже рвутся соединения)...

ацл-ев около 50 (кол-во правил примерно равномерно распределено).

[jama]

ввобще на циске есть неплохой мануал про траблшутингу высокого cpu usage

 

http://www.cisco.com/en/US/products/hw/swi...0804916e0.shtml

 

а так, вообще у вас загрузка по прерываниям.

проверьте включен ли ip cef

 

и покажите вывод

sh platform hardware capacity pfc

правла не знаю, покатит ли такое на sup2

[Alba]

ввобще на циске есть неплохой мануал про траблшутингу высокого cpu usage

 

http://www.cisco.com/en/US/products/hw/swi...0804916e0.shtml

 

а так, вообще у вас загрузка по прерываниям.

проверьте включен ли ip cef

 

и покажите вывод

sh platform hardware capacity pfc

правла не знаю, покатит ли такое на sup2

ip cef включен

show platform hardware - такого нету... :(

за ссылку спасибо, буду изучать...

 

а пока-же - загрузка процессора выглядит следующим весьма интересным образом...

[IvanI]

Както так я своего флудораста отлавливал, может сгодится:

sho ip nat tr - у вас вроде нету ната

sho ip cef или sho ip cac flo

комманды помню неточно - кошака давно продали, смотреть количество записей при нормальной работе и при 100% цпу, если большая разница то искать хост от которого много записей.

 

[UglyAdmin]

а пока-же - загрузка процессора выглядит следующим весьма интересным образом...

А что у Вас зелёное, что синее???

[Alba]

а пока-же - загрузка процессора выглядит следующим весьма интересным образом...

А что у Вас зелёное, что синее???

.1.3.6.1.4.1.9.2.1.56.0 зелёное (5sec)

.1.3.6.1.4.1.9.2.1.58.0 синее (5min)

[UglyAdmin]

Тогда зеленое можете выбросить совсем, или мониторить его через STG раз в 5 секунд. Оно не имеет смысла при более редком опросе...