Jump to content
Калькуляторы

Высокая загрузка CPU на 4500

Гуглил, статью читал: http://www.cisco.com/cisco/web/support/RU/9/92/92213_cat4500_high_cpu.html

Не выходит каменный цветок.

Имеется:

sh ver
Cisco IOS Software, Catalyst 4500 L3 Switch Software (cat4500-IPBASEK9-M), Version 12.2(54)SG, RELEASE SOFTWARE (fc3)

cisco WS-C4503-E (MPC8245) processor (revision 4) with 262144K bytes of memory.
Processor board ID SPE114901CC
MPC8245 CPU at 267Mhz, Supervisor II+TS
Last reset from Reload
33 Virtual Ethernet interfaces
68 Gigabit Ethernet interfaces

Несмотря на небольшой трафик (пару сотен мегабит между интерфейсами) нагрузка на процессор такая:

#sh proc cpu history

   4433333555554444455555666663333333333333333333444444444444
   0088888777770000000000111119999988889999966666999994444488
100
90
80
70
60        *****          *****
50        *****     **********                   *****     **
40 **********************************************************
30 **********************************************************
20 **********************************************************
10 **********************************************************
  0....5....1....1....2....2....3....3....4....4....5....5....
            0    5    0    5    0    5    0    5    0    5
              CPU% per second (last 60 seconds)

   6999679996599967999689997699966999669988599967997769977799
   8433403102332298755704426023094410995359555373641136635455
100                 ***                 *    **   *    **   **
90  ***  ***  ***  ***  ***  ***  ***  **** ***  **   **   **
80  ***  ***  *** **** ***** ***  ***  **** ***  **   ** * **
70 **** ****  ************** **** ********* ********* *******
60 *##***##** ##***##***##***##***##***##***##***##***##***##
50 ####*####**########*####################*###*####*###*####
40 ##########################################################
30 ##########################################################
20 ##########################################################
10 ##########################################################
  0....5....1....1....2....2....3....3....4....4....5....5....
            0    5    0    5    0    5    0    5    0    5
              CPU% per minute (last 60 minutes)
             * = maximum CPU%   # = average CPU%

   9999999999999999999999999999999999999999999999999999999999999999999999
   7777878677777776777767776777879667667777767778787677899876787967797987
100 **********************************************************************
90 **********************************************************************
80 **********************************************************************
70 **********************************************************************
60 *########**************##########**************##########*************
50 ######################################################################
40 ######################################################################
30 ######################################################################
20 ######################################################################
10 ######################################################################
  0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
            0    5    0    5    0    5    0    5    0    5    0    5    0
                  CPU% per hour (last 72 hours)
                 * = maximum CPU%   # = average CPU%

Вывод команд

#sh platform cpu packet statistics

#sh platform health

#sh processes cpu

в файле 1.txt

 

Конфиг вот такой:

То, что надо скрыть заменено #, если похожих друг на друга строчек много, то между ними -------

2.txt

 

Подскажите, что делать?

 

Вроде ресурсы кушает K2CpuMan Review, так же настораживают строчки

54    45353935 126266293        359 14.71% 17.18% 16.05%   0 Cat4k Mgmt HiPri
55    44097470  42482121       1038  7.83% 11.39% 11.21%   0 Cat4k Mgmt LoPri
113    46038302  16616163       2770 12.63% 13.50% 13.59%   0 Spanning Tree

Но что дальше делать - не знаю.

Share this post


Link to post
Share on other sites

на платформе 4500 есть замечательная фича mirror cpu. отзеркальте трафик на CPU в порт/vlan и посмотрите что за мусор летит на проц. 99% что где-то петля судя по stp 13%

Share this post


Link to post
Share on other sites

на svi повешайте всякие no ip unreach, no ip proxy-arp,no ip redirects. а так смотрите, что на проце ага.

Share this post


Link to post
Share on other sites

В конфиге вроде бы есть зеркало с CPU.

 

да, действительно. но не понятно зачем фильтры (packet-type good вроде бы само добавляется), но влан-фильтр явно вручную сконфигурили. и не понятно почему нет дампа с CPU в топике

Share this post


Link to post
Share on other sites

CEF не выключен случаем?

Это первое что проверили. Касаемо cef есть только одна строчка: ip cef accounting non-recursive

Насколько я знаю, по-умолчанию express forwarding всегда включен, если не запрещен принудительно в конфиге.

на svi повешайте всякие no ip unreach, no ip proxy-arp,no ip redirects

Спасибо, попробую.

В конфиге вроде бы есть зеркало с CPU.

Да, просто руки не дошли.

Share this post


Link to post
Share on other sites

Сделали зеркало с cpu через monitor session 1 source cpu rx

В зеркало полетел весь локальный трафик сети (узлов между собой), а так же трафик между локальной сетью и интернетом.

Почему весь трафик может обрабатываться процессором (конфиг в первом сообщении)?

Share this post


Link to post
Share on other sites

Читать эти дампы очень утомительно. И, как правило, пользы не дает, если предварительно не сузить круг поиска.

Мне помниться, очень хорошо работает Control Plane Policing. Иногда позволяет просто ограничить проблемный трафик до разумного и забить на проблему :).

Share this post


Link to post
Share on other sites

Насколько я знаю, по-умолчанию express forwarding всегда включен, если не запрещен принудительно в конфиге.

А вот по всякому бывает.

http://habrahabr.ru/post/174167/

Share this post


Link to post
Share on other sites

Читать эти дампы очень утомительно. И, как правило, пользы не дает, если предварительно не сузить круг поиска.

Мне помниться, очень хорошо работает Control Plane Policing. Иногда позволяет просто ограничить проблемный трафик до разумного и забить на проблему :).

 

Да ну глупости. Я как-то дебажил msdp именно таким образом - путём мирроринга cpu rx в vlan(потому что штатных дебагов не хватало). там попадало только то, что нужно - сигнализационные протоколы типа bgp, mdfp и т.д. и никаких проблем с чтением дампа не было

 

Почему у топикстартера дата-трафик уходит на CPU - это вопрос. И если его тупо заполисить, то это скажется на сервисе.

 

Может быть tcam кончился или ещё что. нужно смотреть всякую фигню в show platform hardware ...

Share this post


Link to post
Share on other sites

ацлы не длинные? статические маршруты с указанием некстхопа (а не интерфейса)?

Share this post


Link to post
Share on other sites

Читать эти дампы очень утомительно. И, как правило, пользы не дает, если предварительно не сузить круг поиска.

Мне помниться, очень хорошо работает Control Plane Policing. Иногда позволяет просто ограничить проблемный трафик до разумного и забить на проблему :).

 

Да ну глупости. Я как-то дебажил msdp именно таким образом - путём мирроринга cpu rx в vlan(потому что штатных дебагов не хватало). там попадало только то, что нужно - сигнализационные протоколы типа bgp, mdfp и т.д. и никаких проблем с чтением дампа не было

 

Почему у топикстартера дата-трафик уходит на CPU - это вопрос. И если его тупо заполисить, то это скажется на сервисе.

 

Может быть tcam кончился или ещё что. нужно смотреть всякую фигню в show platform hardware ...

Если вы знаете, что вам дебажить - да, вы можете отфильтровать нужный трафик на анализаторе.

А вот если вы не знаете, что именно приводит к проблеме CPU, разбор гигабайт дампов - задача не благодарная.

 

Я помню, на 4500 решал проблемы с CPU, дык именно CoPP помог понять, что именно грузит CPU. Причем грузил насмерть, до отвала OSPF по таймаутам.

Поставив рейтлимит на нужный класс ограничили вредный трафик, чтоб был, но процессор оставался ниже 60% и спокойно дебажили, уже примерно понятно, где.

Share this post


Link to post
Share on other sites

А вот если вы не знаете, что именно приводит к проблеме CPU, разбор гигабайт дампов - задача не благодарная.

 

да фигня всё это. wireshark имеют удобные статистические инструменты - статистика распределения по адресам и по протоколам и прочие вещи не сложно сделать. лишь бы памяти хватило дамп открыть. из самого трафика скорее всего можно будет понять почему он летит на CPU

Share this post


Link to post
Share on other sites

ацлы не длинные? статические маршруты с указанием некстхопа (а не интерфейса)?

Нет, ацлы простенькие, логирование в них выключено, в маршрутах исключительно некстхопы.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this