Перейти к содержимому
Калькуляторы

Народ привет, помогите найти проблему , резко подскочила загрузка проца с 20 до 90%. конфигурацию не меняли.

show platform health показывает
K5CpuMan Review       30.00  87.76     30     16  100  500  204 173  119  12651:01
 

show platform cpu packet statistics all

выдает

Packets Dropped In Processing by CPU event

Event             Total                5 sec avg 1 min avg 5 min avg 1 hour avg
----------------- -------------------- --------- --------- --------- ----------
Unknown                              0         0         0         0          0
Sa Miss                       10711741         0         0         0          0

 

что это за sa missing ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

открыт у меня этот трабшутинг, дальше то что? я вот пока понять не могу что именно послужило и как конкретно выловить проблему.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

show platform cpu packet statistics

RkGenericPacketMan:
Packet allocation failures: 0
Packet Buffer(SW Common) allocation failures: 0
Packet Buffer(SW ESMP) allocation failures: 0
Packet Buffer(SW EOBC) allocation failures: 0
Packet Buffer(SW SupToSup) allocation failures: 0

Packets Dropped In Processing Overall

Total                5 sec avg 1 min avg 5 min avg 1 hour avg
-------------------- --------- --------- --------- ----------
            12772668         0         0         0          0

Packets Dropped In Processing by CPU event

Event             Total                5 sec avg 1 min avg 5 min avg 1 hour avg
----------------- -------------------- --------- --------- --------- ----------
Sa Miss                       10713852         0         0         0          0
ESMP                                30         0         0         0          0
L2 Control                          13         0         0         0          0
L2 Router                            4         0         0         0          0
Input Acl Fwd                      392         0         0         0          0
Input ACl Copy                 2058377         0         0         0          0

Packets Dropped In Processing by Priority

Priority          Total                5 sec avg 1 min avg 5 min avg 1 hour avg
----------------- -------------------- --------- --------- --------- ----------
Normal                          236185         0         0         0          0
Medium                        10713854         0         0         0          0
High                           1822584         0         0         0          0
Crucial                             15         0         0         0          0
Super Crucial                       30         0         0         0          0

Packets Dropped In Processing by Reason

Reason             Total                5 sec avg 1 min avg 5 min avg 1 hour avg
------------------ -------------------- --------- --------- --------- ----------
STPDrop                               7         0         0         0          0
NoDstPorts                          392         0         0         0          0
Tx Mode Drop                   12772269         0         0         0          0

Total packet queues 64

Packets Received by Packet Queue

Queue                  Total           5 sec avg 1 min avg 5 min avg 1 hour avg
---------------------- --------------- --------- --------- --------- ----------
Esmp                                30         0         0         0          0
Input ACL fwd(snooping)       118773042         3         0         1          3
Host Learning                 10713836         0         0         0          0
L2 Control                   101926766         5         2         3          4
Input ACL log, unreach         2058351         0         0         0          0
Ip Option                            9         0         0         0          0
Ttl Expired                    4615899         0         0         0          0
Adj SameIf Fail              205735798         0         0         0          0
Bfd                            2402579         0         0         0          0
L2 router to CPU, 7         1433805373      7238      8319      6876       6317
L3 Glean, 7                   15356281         0         0         0          0
L3 Fwd, 7                       207082         0         0         0          0
L3 Receive, 7                206115360         2         2         2          1

Packets Dropped by Packet Queue

Queue                  Total           5 sec avg 1 min avg 5 min avg 1 hour avg
---------------------- --------------- --------- --------- --------- ----------
Host Learning                    48762         0         0         0          0
L2 Control                     2052914         0         0         0          0
Ttl Expired                        606         0         0         0          0
Adj SameIf Fail                  13917         0         0         0          0
L2 router to CPU, 7             269119         0         0         8          8
L3 Glean, 7                       1208         0         0         0          0
L3 Receive, 7                       47         0         0         0          0

вот как этот L2 router to cpu отловить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нет, мультика нет, из acl-только одно правило на доступ к консоли. есть куча вланов с ип аннамберед и dhcp-snooping на все абон вланы. stp тоже нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я б на вашем месте снял rspan с cpu, скорее всего увидите что гнобит проц. Так же гляньте в сторону настроек copp на железке. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

попробовал включить дебаг

debug platform packet all count

  и снял статистику с портов

show platform cpu packet statistics
Цитата

RkGenericPacketMan:
Packet allocation failures: 0
Packet Buffer(SW Common) allocation failures: 0
Packet Buffer(SW ESMP) allocation failures: 0
Packet Buffer(SW EOBC) allocation failures: 0
Packet Buffer(SW SupToSup) allocation failures: 0

Packets Dropped In Processing Overall

Total                5 sec avg 1 min avg 5 min avg 1 hour avg
-------------------- --------- --------- --------- ----------
            12774342         0         0         0          0

Packets Dropped In Processing by CPU event

Event             Total                5 sec avg 1 min avg 5 min avg 1 hour avg
----------------- -------------------- --------- --------- --------- ----------
Sa Miss                       10715292         0         0         0          0
ESMP                                30         0         0         0          0
L2 Control                          13         0         0         0          0
L2 Router                            4         0         0         0          0
Input Acl Fwd                      392         0         0         0          0
Input ACl Copy                 2058611         0         0         0          0

Packets Dropped In Processing by Priority

Priority          Total                5 sec avg 1 min avg 5 min avg 1 hour avg
----------------- -------------------- --------- --------- --------- ----------
Normal                          236200         0         0         0          0
Medium                        10715294         0         0         0          0
High                           1822803         0         0         0          0
Crucial                             15         0         0         0          0
Super Crucial                       30         0         0         0          0

Packets Dropped In Processing by Reason

Reason             Total                5 sec avg 1 min avg 5 min avg 1 hour avg
------------------ -------------------- --------- --------- --------- ----------
STPDrop                               7         0         0         0          0
NoDstPorts                          392         0         0         0          0
Tx Mode Drop                   12773943         0         0         0          0

Total packet queues 64

Packets Received by Packet Queue

Queue                  Total           5 sec avg 1 min avg 5 min avg 1 hour avg
---------------------- --------------- --------- --------- --------- ----------
Esmp                                30         0         0         0          0
Input ACL fwd(snooping)       118782301         2         0         1          3
Host Learning                 10715276         0         0         0          0
L2 Control                   101937885         6         2         3          4
Input ACL log, unreach         2058585         0         0         0          0
Ip Option                            9         0         0         0          0
Ttl Expired                    4616316         0         0         0          0
Adj SameIf Fail              205735798         0         0         0          0
Bfd                            2402589         0         0         0          0
L2 router to CPU, 7         1447257030      6918      8320      6892       6492
L3 Glean, 7                   15357369         0         0         0          0
L3 Fwd, 7                       207082         0         0         0          0
L3 Receive, 7                206121681         5         1         2          1

Packets Dropped by Packet Queue

Queue                  Total           5 sec avg 1 min avg 5 min avg 1 hour avg
---------------------- --------------- --------- --------- --------- ----------
Host Learning                    48762         0         0         0          0
L2 Control                     2052914         0         0         0          0
Ttl Expired                        606         0         0         0          0
Adj SameIf Fail                  13917         0         0         0          0
L2 router to CPU, 7             289554         0         0         0          6
L3 Glean, 7                       1208         0         0         0          0
L3 Receive, 7                       47         0         0         0          0

Packets Transmitted from CPU per Output Interface

Interface              Total           5 sec avg 1 min avg 5 min avg 1 hour avg
---------------------- --------------- --------- --------- --------- ----------
Gi1/5                               30         2         0         0          0
Gi1/6                                2         0         0         0          0
Gi1/7                                2         0         0         0          0
Gi1/8                               20         1         0         0          0
Gi1/9                                3         0         0         0          0
Gi1/10                               2         0         0         0          0
Gi1/11                               4         0         0         0          0
Gi1/12                               7         0         0         0          0
Gi1/13                              11         0         0         0          0
Gi1/16                               4         0         0         0          0
Gi1/18                               3         0         0         0          0
Gi1/19                               5         0         0         0          0
Gi1/22                               1         0         0         0          0
Gi1/23                               2         0         0         0          0
Gi1/24                               2         0         0         0          0
Gi1/44                               4         0         0         0          0
Gi1/48                              63         3         0         0          0
Te1/49                              46         1         0         0          0
Te1/50                             148         7         0         0          0
Te1/51                              21         0         0         0          0
Te1/52                              37         1         0         0          0

Packets Received at CPU per Input Interface

Interface              Total           5 sec avg 1 min avg 5 min avg 1 hour avg
---------------------- --------------- --------- --------- --------- ----------
Gi1/5                               45         2         0         0         45
Gi1/6                                2         0         0         0          2
Gi1/7                                7         0         0         0          7
Gi1/8                               65         3         0         0         65
Gi1/10                               8         0         0         0          8
Gi1/11                               1         0         0         0          1
Gi1/12                               5         0         0         0          5
Gi1/13                              10         0         0         0         10
Gi1/16                               4         0         0         0          4
Gi1/19                               2         0         0         0          2
Gi1/21                               6         0         0         0          6
Gi1/22                               1         0         0         0          1
Gi1/44                              13         0         0         0         13
Gi1/48                             102         4         0         0        102
Te1/49                             421        19         2         0        421
Te1/50                             281        12         1         0        281
Te1/51                           73053      3542       402         0      73053
Te1/52                             333        16         1         0        333

 

@Avad0n  что за сорр?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, kid79 сказал:

@Avad0n  что за сорр?

Сontrol Plane Policing (copp)

Rate-limit на cpu , ограничивает обрабатываемый cpu траффик в pps согласно заданных правил. 

Изменено пользователем Avad0n

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я бы все-таки поискал растущий multicast на портах по счетчикам sh interfaces.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

завтра подключу ноут к железке и сниму дебаг с cpu , ехать до железки надо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

33 минуты назад, kid79 сказал:

завтра подключу ноут к железке и сниму дебаг с cpu , ехать до железки надо.

а remote-span во влан не вариант снять? На с4948-10ge и с4900м  нормально снималось и дебажилось. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, zhenya` сказал:

а за Te1/51 кто ? ) аплинк поди ? 

самое смешное что нет, аплинк 52, за этим портом пара коммутаторов DLINK 3200-28F и гпон , там никаких ошибок в логах не увидел.

@Avad0n  можно и в ремоте спан протащить влан до себя, но лучше прокачусь, чем не повод свалить прокатиться )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

что по L3 имеет доступ к свтчу?

COPP одназначно стоит настроить, на 65K и 76K очень хорошо решает подобные проблемы с L3 трафиком на CPU супов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

снял дамп с цпу. выложил в аттаче.

dump.pcapng

Изменено пользователем kid79

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Source: QuantaCo_c5:0f:70 (04:7d:7b:c5:0f:70)

убирайте.. ну и мусор надо фильтровать на доступе..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

я этот мак не могу в табблице найти, может его тупо заблокировать?

show mac address-table address 04:7d:7b:c5:0f:70
No entries present.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

пробежался по первому ряду коммутаторов от данной циски, такого мака нафти не смог (

попробовал создать ацл

mac access-list extended block
 deny   host 047d.7bc5.0f70 any
 deny   any host 047d.7bc5.0f70
 permit any any



и повесил его поочередно на все интерфейсы, загрузка на спала. такое ощущение что эту железку воткнули и потом выключили, а пакеты что она успела накидать так и крутится в цпу и никак не умрут там., больше чем уверен если сейчас перезагрузить циску загрузка придет в норму 12-20%

12 часов назад, fork сказал:

что по L3 имеет доступ к свтчу?

COPP одназначно стоит настроить, на 65K и 76K очень хорошо решает подобные проблемы с L3 трафиком на CPU супов.

по L3 Только маршрут до ядра.
Как можно избежать таких вот нежданных пакетов и можно ли без перезагрузки очистить буфер в цпу?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 минуты назад, vurd сказал:

Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли.

тогда как понимать что в дампе с цпу этот мак есть, а в таблице мак адресов нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, kid79 сказал:

тогда как понимать что в дампе с цпу этот мак есть, а в таблице мак адресов нет?

Он не изучился, так и понимать. Судя по тому, что это бродкаст пакеты, то у вас он в l2 с циской.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

17 минут назад, vurd сказал:

Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли.

Вообче, у кошки на K5CpuMan Review так и написано, что сие софтсвитчинг может быть.

Цитата

 

SaMiss

Frames with unknown source MAC addresses that are copied to the CPU in order to build the Layer 2 forwarding table

 

K5CpuMan Review

The process that performs software packet forwarding. This job also en-queues and extracts packets from CPU packet queues.

If you see high CPU utilization due to this process, this typically indicates that the high CPU is caused by traffic.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.