Jump to content
Калькуляторы

Загрузка CPU на 85%, прошу помочь

Cisco 2821 1gb Ram 256m на флехе.

 

1 Uplinker 40Mb\s

1 BGP FullView

 

Ната нет.

 

Шайп через CBWFQ

Ниже стоящему аплинкеру через rate-limmit

 

sh processes cpu s

 

CPU utilization for five seconds: 91%/79%; one minute: 83%; five minutes: 83%

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

222 48001540 363761 131959 10.00% 1.62% 1.51% 0 BGP Scanner

223 34828 6145 5667 0.81% 1.18% 0.41% 322 SSH Process

77 64720 215038049 0 0.22% 0.43% 0.50% 0 traffic_shape

78 1461632 4751975 307 0.14% 0.06% 0.07% 0 IP Input

17 1127160 8121963 138 0.07% 0.07% 0.08% 0 ARP Input

2 20168 586278 34 0.07% 0.02% 0.00% 0 Load Meter

3 49392 249220 198 0.00% 0.00% 0.00% 0 IP SNMP

4 0 1 0 0.00% 0.00% 0.00% 0 EDDRI_MAIN

5 39404132 2010520 19599 0.00% 0.77% 1.04% 0 Check heaps

6 1080 984 1097 0.00% 0.00% 0.00% 0 Pool Manager

7 0 2 0 0.00% 0.00% 0.00% 0 Timers

8 168 48836 3 0.00% 0.00% 0.00% 0 IPC Dynamic Cach

9 0 1 0 0.00% 0.00% 0.00% 0 IPC Zone Manager

10 2008 2921714 0 0.00% 0.00% 0.00% 0 IPC Periodic Tim

11 1476 2921715 0 0.00% 0.00% 0.00% 0 IPC Deferred Por

12 0 1 0 0.00% 0.00% 0.00% 0 IPC Seat Manager

13 0 1 0 0.00% 0.00% 0.00% 0 IPC BackPressure

14 0 1 0 0.00% 0.00% 0.00% 0 OIR Handler

15 0 1 0 0.00% 0.00% 0.00% 0 Crash writer

16 49968 97402 513 0.00% 0.00% 0.00% 0 Environmental mo

18 0 2 0 0.00% 0.00% 0.00% 0 ATM Idle Timer

 

 

 

 

#sh memory

Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)

Processor 450F1960 976283296 268536240 707747056 707331380 707537316

I/O 3F400000 12582912 5959288 6623624 6243568 6623356

 

 

 

 

 

sh processes

CPU utilization for five seconds: 87%/79%; one minute: 83%; five minutes: 83%

PID QTy PC Runtime (ms) Invoked uSecs Stacks TTY Process

1 Cwe 400AB11C 96 929 103 5468/6000 0 Chunk Manager

2 Csp 4008F038 20224 586292 34 1128/3000 0 Load Meter

3 Mwe 41800184 49392 249220 19810820/12000 0 IP SNMP

4 Mwe 424A785C 0 1 023384/24000 0 EDDRI_MAIN

5 Lst 400A800C 39408284 2010724 19599 5388/6000 0 Check heaps

6 Cwe 400AF1C4 1080 984 1097 5356/6000 0 Pool Manager

7 Mst 412A3E9C 0 2 0 5504/6000 0 Timers

8 Mwe 401125E4 168 48837 3 5700/6000 0 IPC Dynamic Cach

9 Mwe 40103628 0 1 0 5700/6000 0 IPC Zone Manager

10 Mwe 401027D4 2008 2921780 0 5612/6000 0 IPC Periodic Tim

11 Mwe 40102624 1476 2921781 0 5636/6000 0 IPC Deferred Por

12 Mwe 40103304 0 1 0 5576/6000 0 IPC Seat Manager

13 Mwe 401088B4 0 1 0 5672/6000 0 IPC BackPressure

14 Mwe 40258878 0 1 011672/12000 0 OIR Handler

15 Mwe 402F6F38 0 1 023608/24000 0 Crash writer

16 Msi 403F7958 49972 97404 513 5500/6000 0 Environmental mo

17 Mwe 40D150D4 1127384 8122275 138 4752/6000 0 ARP Input

18 Mwe 40DCA7C4 0 2 0 5452/6000 0 ATM Idle Timer

19 Mwe 4125E104 0 2 0 5492/6000 0 AAA high-capacit

20 Lwe 41261FEC 0 1 0 5688/6000 0 AAA_SERVER_DEADT

21 Mwe 412CA900 0 1 011652/12000 0 Policy Manager

 

sh ip traffic

IP statistics:

Rcvd: 1129869117 total, 2973929 local destination

165 format errors, 126 checksum errors, 505183 bad hop count

0 unknown protocol, 0 not a gateway

0 security failures, 0 bad options, 676 with options

Opts: 0 end, 664 nop, 0 basic security, 0 loose source route

0 timestamp, 0 extended security, 664 record route

0 stream ID, 0 strict source route, 12 alert, 0 cipso, 0 ump

0 other

Frags: 0 reassembled, 273 timeouts, 0 couldn't reassemble

0 fragmented, 0 fragments, 0 couldn't fragment

Bcast: 1634711 received, 0 sent

Mcast: 0 received, 0 sent

Sent: 2963312 generated, 1121962392 forwarded

Drop: 292093 encapsulation failed, 0 unresolved, 0 no adjacency

2028650 no route, 0 unicast RPF, 83 forced drop

0 options denied

Drop: 0 packets with source IP address zero

Drop: 0 packets with internal loop back IP address

58763 physical broadcast

 

ICMP statistics:

Rcvd: 927 format errors, 42039 checksum errors, 0 redirects, 1104 unreachable

215780 echo, 1145 echo reply, 0 mask requests, 0 mask replies, 0 quench

0 parameter, 332 timestamp, 0 info request, 15 other

0 irdp solicitations, 0 irdp advertisements

Sent: 0 redirects, 1255050 unreachable, 1280 echo, 215780 echo reply

0 mask requests, 0 mask replies, 0 quench, 332 timestamp

0 info reply, 505033 time exceeded, 0 parameter problem

0 irdp solicitations, 0 irdp advertisements

 

TCP statistics:

Rcvd: 1036915 total, 9388 checksum errors, 934 no port

Sent: 846151 total

 

BGP statistics:

Rcvd: 4676826 total, 8 opens, 0 notifications, 4632426 updates

44392 keepalives, 0 route-refresh, 0 unrecognized

Sent: 4143903 total, 8 opens, 6 notifications, 4053550 updates

90339 keepalives, 0 route-refresh

 

IP-EIGRP statistics:

Rcvd: 0 total

Sent: 0 total

 

PIMv2 statistics: Sent/Received

Total: 0/0, 0 checksum errors, 0 format errors

Registers: 0/0 (0 non-rp, 0 non-sm-group), Register Stops: 0/0, Hellos: 0/0

Join/Prunes: 0/0, Asserts: 0/0, grafts: 0/0

Bootstraps: 0/0, Candidate_RP_Advertisements: 0/0

Queue drops: 0

State-Refresh: 0/0

 

IGMP statistics: Sent/Received

Total: 0/0, Format errors: 0/0, Checksum errors: 0/0

Host Queries: 0/0, Host Reports: 0/0, Host Leaves: 0/0

DVMRP: 0/0, PIM: 0/0

Queue drops: 0

 

UDP statistics:

Rcvd: 1665834 total, 2 checksum errors, 1529820 no port

Sent: 139752 total, 0 forwarded broadcasts

 

OSPF statistics:

Rcvd: 0 total, 0 checksum errors

0 hello, 0 database desc, 0 link state req

0 link state updates, 0 link state acks

 

Sent: 0 total

0 hello, 0 database desc, 0 link state req

0 link state updates, 0 link state acks

 

ARP statistics:

Rcvd: 537366 requests, 1369 replies, 0 reverse, 0 other

Sent: 262236 requests, 522847 replies (15 proxy), 0 reverse

 

Edited by baronzzz

Share this post


Link to post
Share on other sites

зачем при 1 uplinke FullView?

 

"CPU utilization for five seconds: 91%/79%; one minute: 83%; five minutes: 83%"

Хотя 79% уже говорят что коробку нужно уже другую.

 

Share this post


Link to post
Share on other sites

Уточню, данной коробки хватало примерно пол года. выше 40% неподнимался. Сегодня вот 80 - 90 %....прошу помочь разобраться !

 

Share this post


Link to post
Share on other sites

ПРимерно такой, вырезал сабинтерфейсы, ессенсо заменил ипы

Building configuration...

 

Current configuration : 20535 bytes

!

! Last configuration change at 11:56:36 YEKST Fri Nov 19 2010 by rico

! NVRAM config last updated at 10:17:04 YEKST Fri Nov 19 2010 by rico

!

version 12.4

service nagle

no service pad

service telnet-zeroidle

service tcp-keepalives-in

service tcp-keepalives-out

service timestamps debug datetime localtime

service timestamps log datetime localtime

service password-encryption

service sequence-numbers

no service dhcp

!

hostname outpost-c2821

!

boot-start-marker

boot system flash c2800nm-adventerprisek9-mz.124-25c.bin

boot-end-marker

!

logging buffered 4096 debugging

enable secret 5

!

aaa new-model

!

!

aaa authentication login vty local

aaa authorization console

aaa authorization exec vty local if-authenticated

!

aaa session-id common

clock timezone YEKST 5

clock summer-time MSD recurring last Sun Mar 2:00 last Sun Oct 3:00

no ip source-route

!

!

ip cef

!

!

no ip bootp server

no ip domain lookup

ip domain name *****.net

ip auth-proxy max-nodata-conns 3

ip admission max-nodata-conns 3

!

!

voice-card 0

no dspfarm

!

!

!

!

!

!

!

!

!

!

!

!

!

!

username ******

archive

log config

logging enable

hidekeys

!

!

ip tcp path-mtu-discovery

ip ssh time-out 60

ip ssh authentication-retries 2

ip ssh logging events

ip ssh version 2

!

class-map match-all client1-out

match access-group name client1-out

.

.

.

.

.

.

.

.

.

policy-map CBWFQ-OUT

class client1-out

shape average 524288 16384 32768

bandwidth 8

random-detect dscp-based

.

.

.

.

.

.policy-map CBWFQ-IN

class client1-in

shape average 524288 16384 32768

bandwidth 8

random-detect dscp-based

.

.

!

interface GigabitEthernet0/0

description 2UpLinker

no ip address

ip virtual-reassembly max-fragments 64 max-reassemblies 1024

load-interval 30

duplex auto

speed auto

no mop enabled

service-policy output CBWFQ-IN

.

.

.

 

 

!

interface GigabitEthernet0/1

description #########Clients##########

no ip address

ip virtual-reassembly

load-interval 30

duplex auto

speed auto

no cdp enable

service-policy output CBWFQ-OUT

!

interface GigabitEthernet0/1.726

description ######### cLIENT1 #########

encapsulation dot1Q 726

ip address ***,***,***,**** 255.255.255.252

ip access-group 4 in

ip access-group 4 out

no ip redirects

no ip unreachables

no ip proxy-arp

no cdp enable

!

.

.

.

 

!

router bgp xxxxx

no synchronization

bgp log-neighbor-changes

network xxx.xxxx.xxx.xxx mask 255.255.252.0

network xxx.xxx.xxx.0 mask 255.255.255.0

network xxx.xxx.xxx.255 mask 255.255.255.255

aggregate-address xxx.Xxx.xxx.0 255.255.252.0 summary-only

neighbor yyy.yyy.1.2 remote-as Xxx2324

neighbor yy.yyy.1.2 description UPlinker

neighbor yy.yyy.1.2 update-source GigabitEthernet0/0.500

neighbor yyy.yyy.1.2 version 4

neighbor yyy.yyy.1.2 send-community both

neighbor yyy.yyy.1.2 route-map Foratec-OUT out

neighbor qqq.qqq.56.250 remote-as 44bbb

neighbor qqq.qqq.56.250 description LinKey

neighbor qqq.qqq.56.250 update-source GigabitEthernet0/0.501

neighbor qqq.qqq.56.250 version 4

no auto-summary

!

 

 

 

ip forward-protocol nd

ip route 0.0.0.0 0.0.0.0 yyy.yyy.1.2 254

ip route xxx.xxx.56.0 255.255.252.0 Null0

!

ip as-path access-list 5 permit ^$

ip as-path access-list 5 permit _44bbb$

ip as-path access-list 5 deny .*

!

no ip http server

no ip http secure-server

!

scheduler allocate 20000 1000

process cpu threshold type total rising 70 interval 10

process cpu threshold type interrupt rising 60 interval 10

process cpu threshold type process rising 60 interval 10

process cpu statistics limit entry-percentage 5 size 300

ntp clock-period 17180088

 

 

Share this post


Link to post
Share on other sites

ip virtual-reassembly Надо выкинуть отовсюду.

 

А еще поглядеть, не летит ли какой лишний трафик к вам.

Edited by sol

Share this post


Link to post
Share on other sites

Посмотрите в mrtg или какти или что там у вас еще есть. Наверняка где-то какая-то аномалия по траффику нарисовалась.

Share this post


Link to post
Share on other sites

sol Убрал, ничего не изменилось.

 

mschedrin кроме как анамалии загрузки проца в какти вроде нету.

Share this post


Link to post
Share on other sites

mschedrin все же ты оказался прав, глянув более пристоольно в Cacti, обнаружил исходящий траф в 8 мегобит от клиента к себе. Отрубил, все сразу успакоилось. дальше анализ.

 

ВереШарк показал, что эта сцу**а засаряет весь свой канал и соотвественно поганет жизгь мне ARP запросами типа:

Who has xxx.xxx.xxx.xxx tell 127.0.0.1

Who has xxx.xxx.xxx.xxx tell 127.0.0.20

Who has xxx.xxx.xxx.xxx tell 127.0.0.39

Who has xxx.xxx.xxx.xxx tell 127.0.0.134

И так далее.....

 

Может кто подсказать как бороться с этими паразитами, п.с. так сказать для будущего ?

Share this post


Link to post
Share on other sites
mschedrin все же ты оказался прав, глянув более пристоольно в Cacti, обнаружил исходящий траф в 8 мегобит от клиента к себе. Отрубил, все сразу успакоилось. дальше анализ.

 

ВереШарк показал, что эта сцу**а засаряет весь свой канал и соотвественно поганет жизгь мне ARP запросами типа:

Who has xxx.xxx.xxx.xxx tell 127.0.0.1

Who has xxx.xxx.xxx.xxx tell 127.0.0.20

Who has xxx.xxx.xxx.xxx tell 127.0.0.39

Who has xxx.xxx.xxx.xxx tell 127.0.0.134

И так далее.....

 

Может кто подсказать как бороться с этими паразитами, п.с. так сказать для будущего ?

 

RFC1918

Share this post


Link to post
Share on other sites

no ip redirect

no ip unre

 

на L3 интерфейсе.

 

Может помочь. Ну или ACL на серые подсети.

 

Share this post


Link to post
Share on other sites

sh proc cpu

там может быть видно какой процесс занимает процессор излишне много.

Share this post


Link to post
Share on other sites
LiuPing пытался, а дабы не искать даже делал так sh proc cpu s, один черт все не более чем 0.8%, был один процесс 3 %, но это временно..как и говорили все жрало прерывания а не сам проц.

Share this post


Link to post
Share on other sites

Вот меня тоже всегда печалило: циска чем-то занята, и реально это заметно, и мониторинг показывает, что процессор занят, например, на 80%, а никак не посмотреть чем именно!

 

Любые команды показывают, что никто ничего не делает, но реально то 80% занято процессора... Неужели нельзя понятно сообщить пользователю об узком месте. Какой из сервисов перегружен, что надо разгрузить.

 

Сплошное гадание :(

Share this post


Link to post
Share on other sites
sh processes cpu s

 

CPU utilization for five seconds: 91%/79%; one minute: 83%; five minutes: 83%

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

222 48001540 363761 131959 10.00% 1.62% 1.51% 0 BGP Scanner

223 34828 6145 5667 0.81% 1.18% 0.41% 322 SSH Process

77 64720 215038049 0 0.22% 0.43% 0.50% 0 traffic_shape

Из прочитанного ранее:

 

Статистика загрузки CPU за 5сек выдается 2-мя числами: <общий процент от используемой мощности(загрузки) CPU за 5 сек - total percent CPU busy>/<общий процент от используемой мощности(загрузки) CPU за 5 сек затрачиваемой на обработку прерываний>. "one minute" и "five minutes" - общий процент от используемой мощности(загрузки) CPU как экспоненциальное среднее за 1 и 5 мин соответственно.

Т.е. 91% - 79% = 12% мощности(загрузки) CPU используется запланированными процессами "by scheduled processes" (либо шедулером на обработку контекстов каждого процесса). Получается, что на interrupt затрачивается основное кол-во процессорного времени.

Cisco реализует 2 типа коммутации пакетов: process switching и interrupt context switching. К реализациям последенего (точнее к реализациям построения route cache) относятся: Fast switching, CEF, dCEF. Как посмотреть что и как коммутируется - http://www.cisco.com/en/US/products/sw/ios...0801e1e46.shtml

 

#sh int stats

GigabitEthernet0/0

Switching path Pkts In Chars In Pkts Out Chars Out

Processor 1093198315 187390289 407550666 362360226

Route cache 3464076371 3929606470 3380562605 3468534950

Total 4557274686 4116996759 3788113271 3830895176

 

Proccessor - это process switching

Route cache - это interrupt context switching

 

 

Troubleshooting High CPU Utilization on Cisco Routers

http://www.cisco.com/en/US/products/hw/rou...0800a70f2.shtml

 

Troubleshooting High CPU Utilization Due to Interrupts

http://www.cisco.com/en/US/products/hw/rou...0801c2af0.shtml

 

Share this post


Link to post
Share on other sites

У меня такой вопрос - есть Cisco 7606, используется в качестве узла ядра сети, периодами CPU подскакивает до 90 процентов, удалочь выяснить, что грузит ее процесс SNMP ENGINE.

Как вычислить какой из серверов грузит ее по snmp?

Debug snmp не хочу включать, боюсь может совсем в себя уйти.

Share this post


Link to post
Share on other sites

vanishox у Вас так много серверов получают по снмп данные?

Порезать их по очереди по одному ацлкой:

 

snmp-server community <> view <> RO/RW <acl>

 

а дальше на сервере tcpdump`ом снять что он там запрашивает.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this