[Joneg]

Помогите решить проблему.

Высокая загрузка CPU в циске, до 80% в часпик.

sh processes cpu detailed | ex 0.0
CPU utilization for five seconds: 74%; one minute: 65%; five minutes: 62%
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
     1  25.8%   35.0%    37.8% [idle thread]          0  Ready       12d13h
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
16408    72.5%   61.6%    58.7% ios-base                               2d07h
     1   0.1%    0.2%     0.3%                       10  Receive     45m33s
     7  22.8%   21.6%    20.3%                       21  Intr        16h40m
     8   0.7%    0.6%     0.5%                       22  Intr         2h00m
    11   2.1%    3.2%     5.1%                       10  Receive      1h07m
    13   3.8%    6.2%     5.9%                       10  Receive     30m50s
    14  16.0%    6.8%     5.8%                       10  Receive     55m59s
    15   5.5%    6.9%     6.2%                       10  Reply       29m38s
    16   5.8%    6.8%     6.3%                       10  Receive     41m06s
    17  15.7%    8.8%     5.9%                       10  Receive     31m10s
Process sbin/ios-base, type IOS, PID = 16408
CPU utilization for five seconds: 47%/22%; one minute: 38%; five minutes: 36%
Task  Runtime(ms)  Invoked  uSecs    5Sec   1Min   5Min TTY Task Name
  2     5668922 165666509     34   0.47%  0.50%  0.44%   0 Service Task
  3     8047707 139812551     57   0.15%  0.16%  0.17%   0 Service Task
 16    51868409 132477284    391  40.95% 32.25% 30.70%   0 ARP Input
 90      686701    333994   2056   0.87%  0.86%  0.77%   0 Compute load avg
126    18351338 116378341    157   1.67%  1.43%  1.37%   0 IP Input
170     1870543   2306738    810   0.29%  0.24%  0.25%   0 CEF process
172    11651469    448629  25971   1.73%  1.34%  1.33%   0 Adj Manager
Task  Runtime(ms)  Invoked  uSecs    5Sec   1Min   5Min TTY Task Name
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
16423     0.1%    0.1%     0.1% raw_ip.proc                            1h43m
     6   0.1%    0.1%     0.1%                       10  Receive     50m14s
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
16426     0.4%    0.7%     0.7% udp.proc                              47m11s
     5   0.4%    0.7%     0.7%                       10  Receive     47m05s
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
16427     0.4%    0.3%     0.3% iprouting.iosproc                      1h13m
     1   0.3%    0.1%     0.1%                       10  Receive     17m46s
     3   0.1%    0.2%     0.2%                       10  Receive     18m19s
Process sbin/iprouting.iosproc, type IOS, PID = 16427
CPU utilization for five seconds: 0%/0%; one minute: 0%; five minutes: 0%
Task  Runtime(ms)  Invoked  uSecs    5Sec   1Min   5Min TTY Task Name
PID/TID   5Sec    1Min     5Min Process             Prio  STATE        CPU
16428     0.7%    0.2%     0.2% cdp2.iosproc                          21m07s
     3   0.7%    0.2%     0.2%                       10  Receive      1m56s
Process sbin/cdp2.iosproc, type IOS, PID = 16428
CPU utilization for five seconds: 0%/0%; one minute: 0%; five minutes: 0%
Task  Runtime(ms)  Invoked  uSecs    5Sec   1Min   5Min TTY Task Name

 

16 51868409 132477284 391 40.95% 32.25% 30.70% 0 ARP Input

 

Вклчюение выключение arp proxy дел не меняет.

 

sh ip arp summary
3405 IP ARP entries, with 379 of them incomplete

 

 

В кратце о кнофигурации. Используются vrf и route leaking между ними. Для каждой группы vlan-ов(клиенских подсетей) выделен отдельный vrf. На каждом vrf статично прописан маршрут по умолчанию. В каждом vlan работает шейпер ubrl локального трафика между vlan. Так же есть vrf main и vrf inet.

 

 

ip vrf forwarding

ip vrf inet
rd 65000:3333
route-target export 65000:3333
route-target import 65000:4444
route-target import 65000:100
route-target import 65000:200
route-target import 65000:300
!
ip vrf main
rd 65000:4444
route-target export 65000:4444
route-target import 65000:3333
route-target import 65000:100
route-target import 65000:200
route-target import 65000:300
!
ip vrf s_100
rd 65000:100
route-target export 65000:100
route-target import 65000:200
route-target import 65000:300
route-target import 65000:4444
route-target import 65000:3333
!
ip vrf s_200
rd 65000:200
route-target export 65000:200
route-target import 65000:4444
route-target import 65000:3333
route-target import 65000:100
route-target import 65000:300
!
ip vrf s_300
rd 65000:300
route-target export 65000:300
route-target import 65000:200
route-target import 65000:100
route-target import 65000:4444
route-target import 65000:3333
!

mls qos
no mls flow ip
no mls rate-limit unicast acl vacl-log 
no mls acl tcam share-global
mls ip multicast flow-stat-timer 9
mls cef error action freeze
!
!

redundancy
mode sso
main-cpu
 auto-sync running-config
!
spanning-tree mode pvst
no spanning-tree vlan 1-820
!
vlan internal allocation policy ascending
!
class-map match-all local_traff
 match access-group 100
!
!
policy-map local_traff_dest
 class local_traff
    police flow mask dest-only 5120000 960000 conform-action transmit exceed-action drop
!
! Клиенские вланы выгялдят так:
interface Vlan100
ip vrf forwarding s_100
ip address 10.100.0.1 255.255.0.0
service-policy input local_traff_dest
no ip proxy-arp
!
interface Vlan200
ip vrf forwarding s_200
ip address 10.200.0.1 255.255.0.0
service-policy input local_traff_dest
no ip proxy-arp
!
interface Vlan300
ip vrf forwarding s_300
ip address 10.300.0.1 255.255.0.0
service-policy input local_traff_dest
no ip proxy-arp
!
!
!физ интерфейсы настреоны примерно так:
interface GigabitEthernet1/18
switchport
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 1,100,200,300
switchport mode trunk
no ip address
mls qos vlan-based

!

 

Записей в arp таблицах вроде бы не много, arp proxy выключен, чем ещё заниматсья этому ARP Input.

 

Какие команды ещё показать?

И ещё, помогите определить корректно ли работает CEF у меня между vrf. И может ли она вообще работать в таких условиях? Почему то мне кажется, что загрузка прерываниями велика.

sh inter stat показывет на всех vkan примерно следующую картину:

 

Vlan1
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
              Processor    5746090  474623717   13208895 2202676571
            Route cache   35397990 2290769142  626803989 488527204857
      Distributed cache 81809384033 56387428971765 104002506654 111270830879762
                  Total 81850528113 56390194364624 104642519538 111761560761190
Vlan100
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
              Processor      10755     707620      44972    2914894
            Route cache       1859     748815         32       1532
      Distributed cache 9461815739 13764392782038 4252376719 273152020552
                  Total 9461828353 13764394238473 4252421723 273154936978
Vlan200
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
              Processor      12860    1775016      85789    5528486
            Route cache      58830    9928179        968      54510
      Distributed cache 93073021633 129966337880688 46006406024 4489828282825
                  Total 93073093323 129966349583883 46006492781 4489833865821
Vlan300
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
              Processor    6576169  610811865    4091582  292831340
            Route cache  262566878 244917144610       2337     154631
      Distributed cache 53311483961 32255344337646 50889545047 25423430357803

 

Железо:

 

sh module
Mod Ports Card Type                              Model              Serial No.
--- ----- -------------------------------------- ------------------ -----------
 1   24  CEF720 24 port 1000mb SFP              WS-X6724-SFP       SAL1133XWHX
 3   48  48 port 10/100/1000mb EtherModule      WS-X6148-GE-TX     SAL1029W1SQ
 5    2  Supervisor Engine 720 (Active)         WS-SUP720-3B       SAL1108HW4L

Mod MAC addresses                       Hw    Fw           Sw           Status
--- ---------------------------------- ------ ------------ ------------ -------
 1  0007.0e3a.89c8 to 0007.0e3a.89df   2.6   12.2(14r)S5  12.2(18)SXF8 Ok
 3  0018.b907.0ea0 to 0018.b907.0ecf   7.0   7.2(1)       8.5(0.46)RFW Ok
 5  0016.c85e.80f8 to 0016.c85e.80fb   5.3   8.4(2)       12.2(18)SXF8 Ok

Mod  Sub-Module                  Model              Serial       Hw     Status
---- --------------------------- ------------------ ----------- ------- -------
 1  Centralized Forwarding Card WS-F6700-CFC       SAL1126SFU6  3.1    Ok
 5  Policy Feature Card 3       WS-F6K-PFC3B       SAL1109J079  2.3    Ok
 5  MSFC3 Daughterboard         WS-SUP720          SAL1108HKXG  2.6    Ok

Mod  Online Diag Status
---- -------------------
 1  Pass
 3  Pass
 5  Pass

Изменено 5 апреля, 2011 пользователем Joneg

[Frau]

 

Записей в arp таблицах вроде бы не много, arp proxy выключен, чем ещё заниматсья этому ARP Input.

 

 

как самый распространенный вариант - петля в одном из клиентских виланов

[Joneg]

А как это можно явно увидеть? Ведь какой то параметр в счетчиках интерфейсов должен быть завышен, или защита какая то сработать...

[Frau]

А как это можно явно увидеть? Ведь какой то параметр в счетчиках интерфейсов должен быть завышен, или защита какая то сработать...

могут в логах маки флапать, это если между портами замкнуто. А можно включить storm-control на портах и там будет видно

[secandr]

Всегда интересовал тот же вопрос.

Ищем петли административным путём: повысилась загрузка ЦПУ на кошке, тут же фиксируются положение всех сотрудников и подрядчиков. Определяется виновный и даём по шапке. Петля прекращается.

Изменено 5 апреля, 2011 пользователем secandr

[Дятел]

Joneg, скажите какой SUP и версию софта.

 

Лечим аналогичные грабли. Не петля.

[slan]

Еще дело может быть в некорректной работе CEF. Может быть сменить версию прошивки. К сожалению, на 6500 в версиях прошивок, которые умеют все (типа adventerprisek9), не всегда этот CEF корректно работает и включение абсолютно на первый взгляд безобидных команд приводит к тому, что обработка пакетов производится процом - отсюда и загрузка. Посмотрите еще на предмет переполнение буфера TCAM (sh tcam counts). Есть ли какие ошибки в логах? В свое время удалось решить похожую проблему откатом к более простой версии иос (с более скромным набором поддерживаемых функций :-).

[Joneg]

sh ver
Cisco Internetwork Operating System Software
IOS (tm) s72033_rp Software (s72033_rp-IPSERVICES_WAN-VM), Version 12.2(18)SXF8, RELEASE SOFTWARE (fc2)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2007 by cisco Systems, Inc.
Compiled Sat 03-Mar-07 01:58 by tinhuang
Image text-base: 0x01020150, data-base: 0x01021000

ROM: System Bootstrap, Version 12.2(17r)S4, RELEASE SOFTWARE (fc1)
BOOTLDR:
cisco_1 uptime is 2 weeks, 1 day, 3 hours, 59 minutes
Time since cisco_1 switched to active is 2 weeks, 1 day, 3 hours, 59 minutes
System returned to ROM by  power cycle at 12:39:53 UTC Mon Feb 28 2011 (SP by power on)
System image file is "sup-bootdisk:s72033-ipservices_wan-vz.122-18.SXF8.bin"

cisco WS-C6509 (R7000) processor (revision 3.0) with 491520K/32768K bytes of memory.
Processor board ID TBM06026541
SR71000 CPU at 600Mhz, Implementation 1284, Rev 1.2, 512KB L2 Cache
Last reset from s/w reset
Bridging software.
X.25 software, Version 3.0.0.
SuperLAT software (copyright 1990 by Meridian Technology Corp).
TN3270 Emulation software.
32 Virtual Ethernet/IEEE 802.3 interfaces
74 Gigabit Ethernet/IEEE 802.3 interfaces
1917K bytes of non-volatile configuration memory.

65536K bytes of Flash internal SIMM (Sector size 512K).
Configuration register is 0x2102

Patching is not available since the system is not running from an installed image. To install please use the "install file" command

 

Когда ставили циску один из вланов нехотел подниматься, в логах циски были записи что STP выключил этот влан. Нагуглив первое попавшееся решение no spanning-tree vlan 1-820 выключил это на всех vlan. Что я сделал этой командой? И почему STP блокировало порт?

[Дятел]

у нас замена софта на Version 12.2(33) вылечила проблему.....

[Joneg]

sh tcam counts
          Used        Free        Percent Used       Reserved
          ----        ----        ------------       --------
Labels:(in)  6        4090            0
Labels:(eg)  3        4093            0

ACL_TCAM
--------
 Masks:     21        4075            0                    72
Entries:     68       32700            0                   576

QOS_TCAM
--------
 Masks:      6        4090            0                    18
Entries:     24       32744            0                   144

   LOU:      0         128            0
 ANDOR:      1          15            6
 ORAND:      0          16            0
   ADJ:      3        2045            0

 

у нас замена софта на Version 12.2(33) вылечила проблему.....

 

Это вы за 20 минут проделали все?

[Дятел]

если бы.....

4 дня развлекались....

[Joneg]

А как проблема появилась? У меня я полагаю она была изначально, но с заведением всех вланов в циску стала проявляться более явно

Вы самую последнюю Release 12.2(33)SXI6 поставили?

Изменено 5 апреля, 2011 пользователем Joneg

[Дятел]

System:Cisco IOS Software, s3223_rp Software (s3223_rp-IPSERVICESK9_WAN-M),

Version 12.2(33)SXH5

[MagMike]

у меня подобная проблема - высокая загрузка - была, когда в одном из route-map-ов забыл указать "set".

[staryk]

 

Когда ставили циску один из вланов нехотел подниматься, в логах циски были записи что STP выключил этот влан. Нагуглив первое попавшееся решение no spanning-tree vlan 1-820 выключил это на всех vlan. Что я сделал этой командой? И почему STP блокировало порт?

stp отработало потому что была петля, выключив stp на данном вилане вы себе создали проблему, я бы на вашем месте включил обратно и изучил нехитрую логику работы stp.

 

по существу проблемы - если петля и прочее найдена не будет, попробуйте перейти на ветку софта 12.2(33), как уже рекомендовал Дятел.

там могут быть чудеса с routed MAC'ами (у нас были), вылечилось увеличением age time.

Мы в похожей ситуации ничего странного не нашли, просто стало много ARP трафика и простой переход с 18 ветки на 33 привел к сдутию процесса ARP input, видимо, алгоритм обработки очереди был серьезно переработан индусами

[Joneg]

Роут мапав не используем вовсе.

STP уже прочитал, высстановил прежнее значение STP, блокировки vlan не последовало, видимо если чтото и было, уже ликвидировалось. На днях попробуем поставить 33 ветку. О результате обязательно отпишусь.

[darkagent]

40.95% 32.25% 30.70% 0 ARP Input

- это не arp proxy, не то ковыряете, тут именно arp input (подсказка - rate, pps)

 

Если железка позволяет, в control-plane на input вкатайте полиси лимитирующее arp input rate

на 4900M с такой бедой тоже сталкивались, правда у нас на нем arp summary на порядок больше будет

вылечилось как то так:

 

class-map match-all system-cpp-arp

match protocol arp

 

policy-map system-cpp-policy

..блаблабла

class system-cpp-arp

police rate 8192 pps

..блаблабла

 

control-plane

service-policy input system-cpp-policy

[Дятел]

ага, подропать ARP и получить перезапросы от абонентов....Не лечит. Хотя механизм на сап32/720 немного другой....

[darkagent]

подропать ARP и получить перезапросы

tcpdump/wireshark'ом в разрыве как-нибудь посидеть рекомендую, и построить графики пактеной нагрузки по arp.

такая политика позволяет размазать штормы. тем более что рейты можно подкрутить. у себя выставили 8192 как оптимальное - чтоб железку не нервировать и чтоб дискомфорта абонентам не доставлять.

[Дятел]

не было у нас шторма, не было! все запросы - валидные. просто их много, и неправильная организации очереди у 18 ветки софта приводит в убиванию проца вертикально от 60 до 100% (это такой мы для себя вывод сделали, а так - х.з., на циско-форуме никто никаких ответов не дал).

[staryk]

да, и если еще не переехали на 33, можно навесить SPAN на cpu немного извращенным способом, цитирую:

1.Set up port monitor as normal

Router(config)# monitor session 1 source interface x/y (an unused interface)

Router(config)# monitor session 1 destination interface x/y

 

2. Login to SP

Router# remote login switch

 

3. Enable monitor on switch

Router-sp# test monitor add 1 rp-inband both

---

 

проверено на 18, работает.

 

а резать arp на control-plane особого толка нет, на 65 это делается примерно так:

mls qos protocol arp police бла-бла-бла, 32kb минимум

[darkagent]

это такой мы для себя вывод сделали

без тщательного анализа поспешные выводы делать не всегда хорошо.

а резать arp на control-plane особого толка нет

да как бы arp всегда был и остается наибольшим убивцем cpu в ядрах сети.

на 65 это делается примерно так

да в принципе как на 7600.

в таком случае стоит прибегнуть к вайтпапперу best practicies для кошек

http://www.cisco.com/web/about/security/intelligence/coppwp_gs.html

там как раз про arp атаки расписано.

[Дятел]

там как раз про arp атаки расписано.

 

не было атаки. замена софта вылечила.

[C@T]

да, и если еще не переехали на 33, можно навесить SPAN на cpu немного извращенным способом, цитирую:

Уважаемый staryk, а не знаете, как сделать тоже самое, то есть CPU SPAN, на 33 ?

эти команды там не работают, а какими их заменили, информацию найти не удалось

[darkagent]

не было атаки. замена софта вылечила.

дай бог...

как показывает практика, иногда в сети появляются доморощенные хитрожопы, зачастую в лице начинающих монтажников крупных конкурирующих контор, желающие хоть как то поднасрать.. так что готовым надо быть ко всему.