kid79 Posted November 20, 2018 Posted November 20, 2018 Народ привет, помогите найти проблему , резко подскочила загрузка проца с 20 до 90%. конфигурацию не меняли. show platform health показывает K5CpuMan Review 30.00 87.76 30 16 100 500 204 173 119 12651:01 show platform cpu packet statistics all выдает Packets Dropped In Processing by CPU event Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Unknown 0 0 0 0 0 Sa Miss 10711741 0 0 0 0 что это за sa missing ? Вставить ник Quote
MrNv Posted November 20, 2018 Posted November 20, 2018 https://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst4500/troubleshooting/cpu_util.html Вставить ник Quote
kid79 Posted November 20, 2018 Author Posted November 20, 2018 открыт у меня этот трабшутинг, дальше то что? я вот пока понять не могу что именно послужило и как конкретно выловить проблему. Вставить ник Quote
kid79 Posted November 20, 2018 Author Posted November 20, 2018 show platform cpu packet statistics RkGenericPacketMan: Packet allocation failures: 0 Packet Buffer(SW Common) allocation failures: 0 Packet Buffer(SW ESMP) allocation failures: 0 Packet Buffer(SW EOBC) allocation failures: 0 Packet Buffer(SW SupToSup) allocation failures: 0 Packets Dropped In Processing Overall Total 5 sec avg 1 min avg 5 min avg 1 hour avg -------------------- --------- --------- --------- ---------- 12772668 0 0 0 0 Packets Dropped In Processing by CPU event Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Sa Miss 10713852 0 0 0 0 ESMP 30 0 0 0 0 L2 Control 13 0 0 0 0 L2 Router 4 0 0 0 0 Input Acl Fwd 392 0 0 0 0 Input ACl Copy 2058377 0 0 0 0 Packets Dropped In Processing by Priority Priority Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Normal 236185 0 0 0 0 Medium 10713854 0 0 0 0 High 1822584 0 0 0 0 Crucial 15 0 0 0 0 Super Crucial 30 0 0 0 0 Packets Dropped In Processing by Reason Reason Total 5 sec avg 1 min avg 5 min avg 1 hour avg ------------------ -------------------- --------- --------- --------- ---------- STPDrop 7 0 0 0 0 NoDstPorts 392 0 0 0 0 Tx Mode Drop 12772269 0 0 0 0 Total packet queues 64 Packets Received by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Esmp 30 0 0 0 0 Input ACL fwd(snooping) 118773042 3 0 1 3 Host Learning 10713836 0 0 0 0 L2 Control 101926766 5 2 3 4 Input ACL log, unreach 2058351 0 0 0 0 Ip Option 9 0 0 0 0 Ttl Expired 4615899 0 0 0 0 Adj SameIf Fail 205735798 0 0 0 0 Bfd 2402579 0 0 0 0 L2 router to CPU, 7 1433805373 7238 8319 6876 6317 L3 Glean, 7 15356281 0 0 0 0 L3 Fwd, 7 207082 0 0 0 0 L3 Receive, 7 206115360 2 2 2 1 Packets Dropped by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Host Learning 48762 0 0 0 0 L2 Control 2052914 0 0 0 0 Ttl Expired 606 0 0 0 0 Adj SameIf Fail 13917 0 0 0 0 L2 router to CPU, 7 269119 0 0 8 8 L3 Glean, 7 1208 0 0 0 0 L3 Receive, 7 47 0 0 0 0 вот как этот L2 router to cpu отловить? Вставить ник Quote
kid79 Posted November 20, 2018 Author Posted November 20, 2018 Нет, мультика нет, из acl-только одно правило на доступ к консоли. есть куча вланов с ип аннамберед и dhcp-snooping на все абон вланы. stp тоже нет. Вставить ник Quote
Avad0n Posted November 20, 2018 Posted November 20, 2018 Я б на вашем месте снял rspan с cpu, скорее всего увидите что гнобит проц. Так же гляньте в сторону настроек copp на железке. Вставить ник Quote
kid79 Posted November 20, 2018 Author Posted November 20, 2018 попробовал включить дебаг debug platform packet all count и снял статистику с портов show platform cpu packet statistics Цитата RkGenericPacketMan: Packet allocation failures: 0 Packet Buffer(SW Common) allocation failures: 0 Packet Buffer(SW ESMP) allocation failures: 0 Packet Buffer(SW EOBC) allocation failures: 0 Packet Buffer(SW SupToSup) allocation failures: 0 Packets Dropped In Processing Overall Total 5 sec avg 1 min avg 5 min avg 1 hour avg -------------------- --------- --------- --------- ---------- 12774342 0 0 0 0 Packets Dropped In Processing by CPU event Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Sa Miss 10715292 0 0 0 0 ESMP 30 0 0 0 0 L2 Control 13 0 0 0 0 L2 Router 4 0 0 0 0 Input Acl Fwd 392 0 0 0 0 Input ACl Copy 2058611 0 0 0 0 Packets Dropped In Processing by Priority Priority Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Normal 236200 0 0 0 0 Medium 10715294 0 0 0 0 High 1822803 0 0 0 0 Crucial 15 0 0 0 0 Super Crucial 30 0 0 0 0 Packets Dropped In Processing by Reason Reason Total 5 sec avg 1 min avg 5 min avg 1 hour avg ------------------ -------------------- --------- --------- --------- ---------- STPDrop 7 0 0 0 0 NoDstPorts 392 0 0 0 0 Tx Mode Drop 12773943 0 0 0 0 Total packet queues 64 Packets Received by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Esmp 30 0 0 0 0 Input ACL fwd(snooping) 118782301 2 0 1 3 Host Learning 10715276 0 0 0 0 L2 Control 101937885 6 2 3 4 Input ACL log, unreach 2058585 0 0 0 0 Ip Option 9 0 0 0 0 Ttl Expired 4616316 0 0 0 0 Adj SameIf Fail 205735798 0 0 0 0 Bfd 2402589 0 0 0 0 L2 router to CPU, 7 1447257030 6918 8320 6892 6492 L3 Glean, 7 15357369 0 0 0 0 L3 Fwd, 7 207082 0 0 0 0 L3 Receive, 7 206121681 5 1 2 1 Packets Dropped by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Host Learning 48762 0 0 0 0 L2 Control 2052914 0 0 0 0 Ttl Expired 606 0 0 0 0 Adj SameIf Fail 13917 0 0 0 0 L2 router to CPU, 7 289554 0 0 0 6 L3 Glean, 7 1208 0 0 0 0 L3 Receive, 7 47 0 0 0 0 Packets Transmitted from CPU per Output Interface Interface Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Gi1/5 30 2 0 0 0 Gi1/6 2 0 0 0 0 Gi1/7 2 0 0 0 0 Gi1/8 20 1 0 0 0 Gi1/9 3 0 0 0 0 Gi1/10 2 0 0 0 0 Gi1/11 4 0 0 0 0 Gi1/12 7 0 0 0 0 Gi1/13 11 0 0 0 0 Gi1/16 4 0 0 0 0 Gi1/18 3 0 0 0 0 Gi1/19 5 0 0 0 0 Gi1/22 1 0 0 0 0 Gi1/23 2 0 0 0 0 Gi1/24 2 0 0 0 0 Gi1/44 4 0 0 0 0 Gi1/48 63 3 0 0 0 Te1/49 46 1 0 0 0 Te1/50 148 7 0 0 0 Te1/51 21 0 0 0 0 Te1/52 37 1 0 0 0 Packets Received at CPU per Input Interface Interface Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Gi1/5 45 2 0 0 45 Gi1/6 2 0 0 0 2 Gi1/7 7 0 0 0 7 Gi1/8 65 3 0 0 65 Gi1/10 8 0 0 0 8 Gi1/11 1 0 0 0 1 Gi1/12 5 0 0 0 5 Gi1/13 10 0 0 0 10 Gi1/16 4 0 0 0 4 Gi1/19 2 0 0 0 2 Gi1/21 6 0 0 0 6 Gi1/22 1 0 0 0 1 Gi1/44 13 0 0 0 13 Gi1/48 102 4 0 0 102 Te1/49 421 19 2 0 421 Te1/50 281 12 1 0 281 Te1/51 73053 3542 402 0 73053 Te1/52 333 16 1 0 333 @Avad0n что за сорр? Вставить ник Quote
Avad0n Posted November 20, 2018 Posted November 20, 2018 (edited) 5 минут назад, kid79 сказал: @Avad0n что за сорр? Сontrol Plane Policing (copp) Rate-limit на cpu , ограничивает обрабатываемый cpu траффик в pps согласно заданных правил. Edited November 20, 2018 by Avad0n Вставить ник Quote
Умник Posted November 20, 2018 Posted November 20, 2018 Я бы все-таки поискал растущий multicast на портах по счетчикам sh interfaces. Вставить ник Quote
kid79 Posted November 20, 2018 Author Posted November 20, 2018 завтра подключу ноут к железке и сниму дебаг с cpu , ехать до железки надо. Вставить ник Quote
zhenya` Posted November 20, 2018 Posted November 20, 2018 а за Te1/51 кто ? ) аплинк поди ? Вставить ник Quote
Avad0n Posted November 20, 2018 Posted November 20, 2018 33 минуты назад, kid79 сказал: завтра подключу ноут к железке и сниму дебаг с cpu , ехать до железки надо. а remote-span во влан не вариант снять? На с4948-10ge и с4900м нормально снималось и дебажилось. Вставить ник Quote
kid79 Posted November 20, 2018 Author Posted November 20, 2018 2 часа назад, zhenya` сказал: а за Te1/51 кто ? ) аплинк поди ? самое смешное что нет, аплинк 52, за этим портом пара коммутаторов DLINK 3200-28F и гпон , там никаких ошибок в логах не увидел. @Avad0n можно и в ремоте спан протащить влан до себя, но лучше прокачусь, чем не повод свалить прокатиться ) Вставить ник Quote
fork Posted November 20, 2018 Posted November 20, 2018 что по L3 имеет доступ к свтчу? COPP одназначно стоит настроить, на 65K и 76K очень хорошо решает подобные проблемы с L3 трафиком на CPU супов. Вставить ник Quote
kid79 Posted November 21, 2018 Author Posted November 21, 2018 (edited) снял дамп с цпу. выложил в аттаче. dump.pcapng Edited November 21, 2018 by kid79 Вставить ник Quote
zhenya` Posted November 21, 2018 Posted November 21, 2018 Source: QuantaCo_c5:0f:70 (04:7d:7b:c5:0f:70) убирайте.. ну и мусор надо фильтровать на доступе.. Вставить ник Quote
kid79 Posted November 21, 2018 Author Posted November 21, 2018 я этот мак не могу в табблице найти, может его тупо заблокировать? show mac address-table address 04:7d:7b:c5:0f:70 No entries present. Вставить ник Quote
zhenya` Posted November 21, 2018 Posted November 21, 2018 лучше все же найти. поищите на аксесе. Вставить ник Quote
kid79 Posted November 21, 2018 Author Posted November 21, 2018 пробежался по первому ряду коммутаторов от данной циски, такого мака нафти не смог ( попробовал создать ацл mac access-list extended block deny host 047d.7bc5.0f70 any deny any host 047d.7bc5.0f70 permit any any и повесил его поочередно на все интерфейсы, загрузка на спала. такое ощущение что эту железку воткнули и потом выключили, а пакеты что она успела накидать так и крутится в цпу и никак не умрут там., больше чем уверен если сейчас перезагрузить циску загрузка придет в норму 12-20% 12 часов назад, fork сказал: что по L3 имеет доступ к свтчу? COPP одназначно стоит настроить, на 65K и 76K очень хорошо решает подобные проблемы с L3 трафиком на CPU супов. по L3 Только маршрут до ядра. Как можно избежать таких вот нежданных пакетов и можно ли без перезагрузки очистить буфер в цпу? Вставить ник Quote
vurd Posted November 21, 2018 Posted November 21, 2018 Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли. Вставить ник Quote
kid79 Posted November 21, 2018 Author Posted November 21, 2018 2 минуты назад, vurd сказал: Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли. тогда как понимать что в дампе с цпу этот мак есть, а в таблице мак адресов нет? Вставить ник Quote
vurd Posted November 21, 2018 Posted November 21, 2018 5 минут назад, kid79 сказал: тогда как понимать что в дампе с цпу этот мак есть, а в таблице мак адресов нет? Он не изучился, так и понимать. Судя по тому, что это бродкаст пакеты, то у вас он в l2 с циской. Вставить ник Quote
passer Posted November 21, 2018 Posted November 21, 2018 17 минут назад, vurd сказал: Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли. Вообче, у кошки на K5CpuMan Review так и написано, что сие софтсвитчинг может быть. Цитата SaMiss Frames with unknown source MAC addresses that are copied to the CPU in order to build the Layer 2 forwarding table K5CpuMan Review The process that performs software packet forwarding. This job also en-queues and extracts packets from CPU packet queues. If you see high CPU utilization due to this process, this typically indicates that the high CPU is caused by traffic. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.