[kid79]

Добрый день. Как найти что грузит цпу на cisco 3550

стоит циска L3 смотрит в 2 канала, в нее воткнуто пара серверов, сегодня утром график загрузки сpu резко скакнул по 80% и так и не опускается, не могу найти в чем проблема.

show processes cpu sorted | exclude 0.00%
CPU utilization for five seconds: 77%/72%; one minute: 76%; five minutes: 77%
 PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
  43      633420  68160305          9  2.07%  2.20%  2.17%   0 Vegas LED Proces
  56    32671848  17517877       1865  1.67%  1.15%  1.12%   0 L3MD_STAT
  91     3723372  10565584        352  0.47%  0.27%  0.31%   0 IP Input
  85        2752      1062       2591  0.23%  0.19%  0.07%   1 SSH Process
  51    11106688   5434814       2043  0.23%  0.30%  0.29%   0 Vegas Statistics
  46       51244  57701204          0  0.07%  0.03%  0.01%   0 SW Frame Ager
  58       43252  34320166          1  0.07%  0.11%  0.11%   0 VegasPM
 

show controllers cpu-interface
stp packets : 2440104 retrieved, 0 dropped, 0 errors
ram access packets : 48780802 retrieved, 0 dropped, 0 errors
routing protocol packets : 579989 retrieved, 0 dropped, 0 errors
forwarding packets : 0 retrieved, 0 dropped, 0 errors
routing packets : 11261195 retrieved, 0 dropped, 0 errors
L2 protocol packets : 146699 retrieved, 0 dropped, 0 errors
igmp snooping protocol packets : 94 retrieved, 0 dropped, 0 errors
queue7 : 0 retrieved, 0 dropped, 0 errors
icmp redirect packets : 577581262 retrieved, 0 dropped, 0 errors
icmp unreachable packets : 0 retrieved, 0 dropped, 0 errors
logging packets : 0 retrieved, 0 dropped, 0 errors
addr learning packets : 0 retrieved, 0 dropped, 0 errors
rpffail packets : 0 retrieved, 0 dropped, 0 errors
queue13 : 106 retrieved, 0 dropped, 0 errors
queue14 : 0 retrieved, 0 dropped, 0 errors
queue15 : 0 retrieved, 0 dropped, 0 errors
RAM Access:
   18923287 sends   48780802 read replies      37386 write replies
   18923247 completed         39 retries          0 failures

 

 

show spanning-tree summary
Switch is in pvst mode
Root bridge for: none
Extended system ID           is enabled
Portfast Default             is disabled
PortFast BPDU Guard Default  is disabled
Portfast BPDU Filter Default is disabled
Loopguard Default            is disabled
EtherChannel misconfig guard is disabled
UplinkFast                   is disabled
BackboneFast                 is disabled
Configured Pathcost method used is short

Name                   Blocking Listening Learning Forwarding STP Active
---------------------- -------- --------- -------- ---------- ----------
Total                        0         0        0          0          0
 

 

[sol]

72% из 77 - это обработка трафика на CPU. Ищите, что прилетает на него. Проще всего снять дамп wireshark'ом.

 

[zhenya`]

icmp redirect packets : 577581262 retrieved, 0 dropped, 0 errors

 

скорее всего проблема тут.

[kid79]

просмотрел статистику ошибок интерфейсов
 

show interfaces counters errors

Port        Align-Err    FCS-Err   Xmit-Err    Rcv-Err UnderSize
Gi0/1               0          0          0         21         0
Gi0/2               0          0          0          5         0
Gi0/3               0          0          0          0         0
Gi0/4               0          0          0          0         0
Gi0/5               0          0          0          0         0
Gi0/6               0          0          0          0         0
Gi0/7               0          0          0          0         0
Gi0/8               0          0    5040292          0         0
Gi0/9               0          0       1861          0         0
Gi0/10              0          0          0          0         0
Gi0/11              0          0          0          0         0
Gi0/12              0          0          0          0         0
Po1                 0          0          0         26         0
Po2                 0          0          0          0         0
 

на 8 интерфейсе сыпятся ошибки, добавил в настройки интерфейсов L3 параметры
no ip redirects
 no ip unreachables
 

на серверах которые воткнуты в эти порты запретил редиректы

cat /proc/sys/net/ipv4/conf/all/accept_redirects
0
 

cat /proc/sys/net/ipv4/conf/all/send_redirects
0
счетчик icmp redirect дропов перестал расти, а проц все равно загружен 

CPU utilization for five seconds: 77%/72%; one minute: 76%; five minutes: 76%

кстати по самой циске не заметно что так загружен цпу.. на консоль реагирует без изменений, каких либо перебоев в работе инета не замечаю

Edited January 23, 2018 by kid79

[Sacrament]

47 минут назад, kid79 сказал:

кстати по самой циске не заметно что так загружен цпу.. на консоль реагирует без изменений, каких либо перебоев в работе инета не замечаю

Но хорошего в такой нагрузке мало. Если циска умеет сделайте миррор проца куда-нибудь и поглядите что там летит.

[zhenya`]

Смотрите на 8ой порт) что-то там не так.

[andryas]

Если циска работает роутером - набить в ACL-ки все IP интерфейсы циски (сделав исключения для IP управления и тому подобному). Если поможет - можно так и оставить, а можно понемногу править ACL, наблюдая за загрузкой процессора, и таким образом выяснить, в чём проблема.
Если же ACL не поможет, то искать проблемы в ARP.

[sol]

А маршрутов на ней не больше, чем в TCAM влезает?!?

[kid79]

Маршрутов немного 2 дефолта по бгп от аплинка и статикой еще с 10 маршрутов. В пол восьмого загрузка упала до 2-3% , видимо кто то из абонентов срет в сеть, понять бы чем и как отловить

Edited January 23, 2018 by kid79

[myst]

А ACLки есть? Там например deny процем обрабатывается если мне склероз не изменяет.

[GrandPr1de]

2 часа назад, myst сказал:

А ACLки есть? Там например deny процем обрабатывается если мне склероз не изменяет.

изменяет

это проблема с deny в PBR

и то на платформах явно старше 3550, и она не исключение

[myst]

26 минут назад, GrandPr1de сказал:

изменяет

это проблема с deny в PBR

и то на платформах явно старше 3550, и она не исключение

ну так про PBR и речь вот какраз в 3550х оно и обрабатывается на проце

[kid79]

никаких pbr нет, 1 аксес лист и то только на доступ, походу надо снимать дамп что летит с этого сервера и разбирать его, сегодня в пол третьего ночи в потолок опять улетела загрузка.