kid79 Опубликовано 20 ноября, 2018 · Жалоба Народ привет, помогите найти проблему , резко подскочила загрузка проца с 20 до 90%. конфигурацию не меняли. show platform health показывает K5CpuMan Review 30.00 87.76 30 16 100 500 204 173 119 12651:01 show platform cpu packet statistics all выдает Packets Dropped In Processing by CPU event Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Unknown 0 0 0 0 0 Sa Miss 10711741 0 0 0 0 что это за sa missing ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MrNv Опубликовано 20 ноября, 2018 · Жалоба https://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst4500/troubleshooting/cpu_util.html Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 ноября, 2018 · Жалоба открыт у меня этот трабшутинг, дальше то что? я вот пока понять не могу что именно послужило и как конкретно выловить проблему. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 ноября, 2018 · Жалоба show platform cpu packet statistics RkGenericPacketMan: Packet allocation failures: 0 Packet Buffer(SW Common) allocation failures: 0 Packet Buffer(SW ESMP) allocation failures: 0 Packet Buffer(SW EOBC) allocation failures: 0 Packet Buffer(SW SupToSup) allocation failures: 0 Packets Dropped In Processing Overall Total 5 sec avg 1 min avg 5 min avg 1 hour avg -------------------- --------- --------- --------- ---------- 12772668 0 0 0 0 Packets Dropped In Processing by CPU event Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Sa Miss 10713852 0 0 0 0 ESMP 30 0 0 0 0 L2 Control 13 0 0 0 0 L2 Router 4 0 0 0 0 Input Acl Fwd 392 0 0 0 0 Input ACl Copy 2058377 0 0 0 0 Packets Dropped In Processing by Priority Priority Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Normal 236185 0 0 0 0 Medium 10713854 0 0 0 0 High 1822584 0 0 0 0 Crucial 15 0 0 0 0 Super Crucial 30 0 0 0 0 Packets Dropped In Processing by Reason Reason Total 5 sec avg 1 min avg 5 min avg 1 hour avg ------------------ -------------------- --------- --------- --------- ---------- STPDrop 7 0 0 0 0 NoDstPorts 392 0 0 0 0 Tx Mode Drop 12772269 0 0 0 0 Total packet queues 64 Packets Received by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Esmp 30 0 0 0 0 Input ACL fwd(snooping) 118773042 3 0 1 3 Host Learning 10713836 0 0 0 0 L2 Control 101926766 5 2 3 4 Input ACL log, unreach 2058351 0 0 0 0 Ip Option 9 0 0 0 0 Ttl Expired 4615899 0 0 0 0 Adj SameIf Fail 205735798 0 0 0 0 Bfd 2402579 0 0 0 0 L2 router to CPU, 7 1433805373 7238 8319 6876 6317 L3 Glean, 7 15356281 0 0 0 0 L3 Fwd, 7 207082 0 0 0 0 L3 Receive, 7 206115360 2 2 2 1 Packets Dropped by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Host Learning 48762 0 0 0 0 L2 Control 2052914 0 0 0 0 Ttl Expired 606 0 0 0 0 Adj SameIf Fail 13917 0 0 0 0 L2 router to CPU, 7 269119 0 0 8 8 L3 Glean, 7 1208 0 0 0 0 L3 Receive, 7 47 0 0 0 0 вот как этот L2 router to cpu отловить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 ноября, 2018 · Жалоба Мультик есть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 ноября, 2018 · Жалоба Нет, мультика нет, из acl-только одно правило на доступ к консоли. есть куча вланов с ип аннамберед и dhcp-snooping на все абон вланы. stp тоже нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Avad0n Опубликовано 20 ноября, 2018 · Жалоба Я б на вашем месте снял rspan с cpu, скорее всего увидите что гнобит проц. Так же гляньте в сторону настроек copp на железке. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 ноября, 2018 · Жалоба попробовал включить дебаг debug platform packet all count и снял статистику с портов show platform cpu packet statistics Цитата RkGenericPacketMan: Packet allocation failures: 0 Packet Buffer(SW Common) allocation failures: 0 Packet Buffer(SW ESMP) allocation failures: 0 Packet Buffer(SW EOBC) allocation failures: 0 Packet Buffer(SW SupToSup) allocation failures: 0 Packets Dropped In Processing Overall Total 5 sec avg 1 min avg 5 min avg 1 hour avg -------------------- --------- --------- --------- ---------- 12774342 0 0 0 0 Packets Dropped In Processing by CPU event Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Sa Miss 10715292 0 0 0 0 ESMP 30 0 0 0 0 L2 Control 13 0 0 0 0 L2 Router 4 0 0 0 0 Input Acl Fwd 392 0 0 0 0 Input ACl Copy 2058611 0 0 0 0 Packets Dropped In Processing by Priority Priority Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Normal 236200 0 0 0 0 Medium 10715294 0 0 0 0 High 1822803 0 0 0 0 Crucial 15 0 0 0 0 Super Crucial 30 0 0 0 0 Packets Dropped In Processing by Reason Reason Total 5 sec avg 1 min avg 5 min avg 1 hour avg ------------------ -------------------- --------- --------- --------- ---------- STPDrop 7 0 0 0 0 NoDstPorts 392 0 0 0 0 Tx Mode Drop 12773943 0 0 0 0 Total packet queues 64 Packets Received by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Esmp 30 0 0 0 0 Input ACL fwd(snooping) 118782301 2 0 1 3 Host Learning 10715276 0 0 0 0 L2 Control 101937885 6 2 3 4 Input ACL log, unreach 2058585 0 0 0 0 Ip Option 9 0 0 0 0 Ttl Expired 4616316 0 0 0 0 Adj SameIf Fail 205735798 0 0 0 0 Bfd 2402589 0 0 0 0 L2 router to CPU, 7 1447257030 6918 8320 6892 6492 L3 Glean, 7 15357369 0 0 0 0 L3 Fwd, 7 207082 0 0 0 0 L3 Receive, 7 206121681 5 1 2 1 Packets Dropped by Packet Queue Queue Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Host Learning 48762 0 0 0 0 L2 Control 2052914 0 0 0 0 Ttl Expired 606 0 0 0 0 Adj SameIf Fail 13917 0 0 0 0 L2 router to CPU, 7 289554 0 0 0 6 L3 Glean, 7 1208 0 0 0 0 L3 Receive, 7 47 0 0 0 0 Packets Transmitted from CPU per Output Interface Interface Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Gi1/5 30 2 0 0 0 Gi1/6 2 0 0 0 0 Gi1/7 2 0 0 0 0 Gi1/8 20 1 0 0 0 Gi1/9 3 0 0 0 0 Gi1/10 2 0 0 0 0 Gi1/11 4 0 0 0 0 Gi1/12 7 0 0 0 0 Gi1/13 11 0 0 0 0 Gi1/16 4 0 0 0 0 Gi1/18 3 0 0 0 0 Gi1/19 5 0 0 0 0 Gi1/22 1 0 0 0 0 Gi1/23 2 0 0 0 0 Gi1/24 2 0 0 0 0 Gi1/44 4 0 0 0 0 Gi1/48 63 3 0 0 0 Te1/49 46 1 0 0 0 Te1/50 148 7 0 0 0 Te1/51 21 0 0 0 0 Te1/52 37 1 0 0 0 Packets Received at CPU per Input Interface Interface Total 5 sec avg 1 min avg 5 min avg 1 hour avg ---------------------- --------------- --------- --------- --------- ---------- Gi1/5 45 2 0 0 45 Gi1/6 2 0 0 0 2 Gi1/7 7 0 0 0 7 Gi1/8 65 3 0 0 65 Gi1/10 8 0 0 0 8 Gi1/11 1 0 0 0 1 Gi1/12 5 0 0 0 5 Gi1/13 10 0 0 0 10 Gi1/16 4 0 0 0 4 Gi1/19 2 0 0 0 2 Gi1/21 6 0 0 0 6 Gi1/22 1 0 0 0 1 Gi1/44 13 0 0 0 13 Gi1/48 102 4 0 0 102 Te1/49 421 19 2 0 421 Te1/50 281 12 1 0 281 Te1/51 73053 3542 402 0 73053 Te1/52 333 16 1 0 333 @Avad0n что за сорр? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Avad0n Опубликовано 20 ноября, 2018 (изменено) · Жалоба 5 минут назад, kid79 сказал: @Avad0n что за сорр? Сontrol Plane Policing (copp) Rate-limit на cpu , ограничивает обрабатываемый cpu траффик в pps согласно заданных правил. Изменено 20 ноября, 2018 пользователем Avad0n Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Умник Опубликовано 20 ноября, 2018 · Жалоба Я бы все-таки поискал растущий multicast на портах по счетчикам sh interfaces. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 ноября, 2018 · Жалоба завтра подключу ноут к железке и сниму дебаг с cpu , ехать до железки надо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 ноября, 2018 · Жалоба а за Te1/51 кто ? ) аплинк поди ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Avad0n Опубликовано 20 ноября, 2018 · Жалоба 33 минуты назад, kid79 сказал: завтра подключу ноут к железке и сниму дебаг с cpu , ехать до железки надо. а remote-span во влан не вариант снять? На с4948-10ge и с4900м нормально снималось и дебажилось. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 20 ноября, 2018 · Жалоба 2 часа назад, zhenya` сказал: а за Te1/51 кто ? ) аплинк поди ? самое смешное что нет, аплинк 52, за этим портом пара коммутаторов DLINK 3200-28F и гпон , там никаких ошибок в логах не увидел. @Avad0n можно и в ремоте спан протащить влан до себя, но лучше прокачусь, чем не повод свалить прокатиться ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fork Опубликовано 20 ноября, 2018 · Жалоба что по L3 имеет доступ к свтчу? COPP одназначно стоит настроить, на 65K и 76K очень хорошо решает подобные проблемы с L3 трафиком на CPU супов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 21 ноября, 2018 (изменено) · Жалоба снял дамп с цпу. выложил в аттаче. dump.pcapng Изменено 21 ноября, 2018 пользователем kid79 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 21 ноября, 2018 · Жалоба Source: QuantaCo_c5:0f:70 (04:7d:7b:c5:0f:70) убирайте.. ну и мусор надо фильтровать на доступе.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 21 ноября, 2018 · Жалоба я этот мак не могу в табблице найти, может его тупо заблокировать? show mac address-table address 04:7d:7b:c5:0f:70 No entries present. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 21 ноября, 2018 · Жалоба лучше все же найти. поищите на аксесе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 21 ноября, 2018 · Жалоба вот, ищу его ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 21 ноября, 2018 · Жалоба пробежался по первому ряду коммутаторов от данной циски, такого мака нафти не смог ( попробовал создать ацл mac access-list extended block deny host 047d.7bc5.0f70 any deny any host 047d.7bc5.0f70 permit any any и повесил его поочередно на все интерфейсы, загрузка на спала. такое ощущение что эту железку воткнули и потом выключили, а пакеты что она успела накидать так и крутится в цпу и никак не умрут там., больше чем уверен если сейчас перезагрузить циску загрузка придет в норму 12-20% 12 часов назад, fork сказал: что по L3 имеет доступ к свтчу? COPP одназначно стоит настроить, на 65K и 76K очень хорошо решает подобные проблемы с L3 трафиком на CPU супов. по L3 Только маршрут до ядра. Как можно избежать таких вот нежданных пакетов и можно ли без перезагрузки очистить буфер в цпу? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 21 ноября, 2018 · Жалоба Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kid79 Опубликовано 21 ноября, 2018 · Жалоба 2 минуты назад, vurd сказал: Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли. тогда как понимать что в дампе с цпу этот мак есть, а в таблице мак адресов нет? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 21 ноября, 2018 · Жалоба 5 минут назад, kid79 сказал: тогда как понимать что в дампе с цпу этот мак есть, а в таблице мак адресов нет? Он не изучился, так и понимать. Судя по тому, что это бродкаст пакеты, то у вас он в l2 с циской. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 21 ноября, 2018 · Жалоба 17 минут назад, vurd сказал: Нет никакого буфера цпу. Поведение, когда насрали в свитч и он начал работать на повышенном цпу возможно только если он ушел в софт-обработку, но это у вас вряд-ли. Вообче, у кошки на K5CpuMan Review так и написано, что сие софтсвитчинг может быть. Цитата SaMiss Frames with unknown source MAC addresses that are copied to the CPU in order to build the Layer 2 forwarding table K5CpuMan Review The process that performs software packet forwarding. This job also en-queues and extracts packets from CPU packet queues. If you see high CPU utilization due to this process, this typically indicates that the high CPU is caused by traffic. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...