cisco 7206 high cpu

survivor · April 10, 2013

Доброго вечера,

Помогите понять в чем дело: есть циска 7206VXR (NPE-G2), на ней около 900 юзеров (с рейтлимитами), но траффика всего 200 мегабит.

Внезапно, начались проблемы - авторизация проходит очень долго, CPU взлетел до 80%. Из них 33 занимает странный процесс SSS Manager.

Не нашел чем он занимается...

Может это уже предел для железки? Но траффика-то всего 200 мегабит и 37килопакетов.... как-то маловато.

Есть возможность точно убедиться, что дело в производительности? sh int switching показывает:

GigabitEthernet0/1 
         Throttle count          0
                  Drops         RP     909124         SP          0
            SPD Flushes       Fast        666        SSE          0
            SPD Aggress       Fast          0
           SPD Priority     Inputs    2600358      Drops          0

   Protocol  IP                  
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                Process   14224119 1333384714   20241258 3119330868
           Cache misses          0          -          -          -
                   Fast 1875867937 1581548476  304529925 4294080027
              Auton/SSE          0          0          0          0

   Protocol  DEC MOP             
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                Process          0          0        703      54131
           Cache misses          0          -          -          -
                   Fast          0          0          0          0
              Auton/SSE          0          0          0          0

   Protocol  ARP                 
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                Process    1387082   84134140    5345075  342084800
           Cache misses          0          -          -          -
                   Fast          0          0          0          0
              Auton/SSE          0          0          0          0

   Protocol  CDP                 
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                Process       7018    3052830       7047    2671059
           Cache misses          0          -          -          -
                   Fast          0          0          0          0
              Auton/SSE          0          0          0          0

   Protocol  PPPoE               
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                Process   54908978 2382354140   85179611 1186270329
           Cache misses          0          -          -          -
                   Fast 3662486931 3617624194  591801132 4151055921
              Auton/SSE          0          0          0          0

   Protocol  Other               
         Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                Process      32874    2612785   20799799 1331104497
           Cache misses          0          -          -          -
                   Fast          0          0          0          0
              Auton/SSE          0          0          0          0

Вроде как RP дропов многовато

nuclearcat · April 10, 2013

У меня на NPE-400 даже 100 мбит пустого роутинга прожевать толком не могло. Естественно все оптимизации делал

Софтовый, очень тормознутый роутер.

NikAlexAn · April 11, 2013

NPE-G1.

В данный момент:

sh sss statistics

Current Subscriber Statistics:

Number of sessions currently up: 151

Number of sessions currently pending: 0

Number of sessions currently authenticated: 143

Number of sessions currently unauthenticated: 8

Highest number of sessions ever up at one time: 857

Mean up-time duration of sessions: 00:43:54

Total number of sessions up so far: 295683

Mean call rate per minute: 4, per hour: 256

Number of sessions failed to come up: 2

Access type based session count:

Traffic-Class sessions = 445

IP sessions = 15

sh int summ

*: interface is up

IHQ: pkts in input hold queue IQD: pkts dropped from input queue

OHQ: pkts in output hold queue OQD: pkts dropped from output queue

RXBS: rx rate (bits/sec) RXPS: rx rate (pkts/sec)

TXBS: tx rate (bits/sec) TXPS: tx rate (pkts/sec)

TRTL: throttle count

Interface IHQ IQD OHQ OQD RXBS RXPS TXBS TXPS TRTL

--------------------------------------------------------------------------------------------------------

*GigabitEthernet0/1 0 0 0 19233486 85193000 9693 24243000 7627 0

*GigabitEthernet0/2 0 27 0 53794651 25110000 7773 76220000 8963 0

sh int stat

GigabitEthernet0/1

Switching path Pkts In Chars In Pkts Out Chars Out

Processor 1156512 108469334 1399385 89896329

Route cache 4195820985 2703223760 2241704896 4126077455

Total 4196977497 2811693094 2243104281 4215973784

GigabitEthernet0/2

Switching path Pkts In Chars In Pkts Out Chars Out

Processor 10521605 1782753171 7403739 985054581

Route cache 3143391437 2973782392 2058982379 905726483

Total 3153913042 461568267 2066386118 1890781064

Interface GigabitEthernet0/3 is disabled

Loopback0

Switching path Pkts In Chars In Pkts Out Chars Out

Processor 0 0 0 0

Route cache 0 0 0 0

Total 0 0 0 0

В пике до 350 одновременных сессий, до 150Мбит в одну сторону и до 60Мбит в другую - загрузка процессора до 75-80% подскакивает.

Из сервисов - ssg/isg(IPoE, vlan на абонента) и netflow.

survivor · April 11, 2013

Но, это NPE-400 и NPE-G1, а тут NPE-G2... 800-900 сессии при 200 мегабитах как-то маловато будет...

Вроде как на слуху что она пару тыщ должна тянуть.

А все же SSS Manager это что за процесс, не знаете? Обслуживает PPPoE subscriber'ов?

NikAlexAn · April 11, 2013

Но, это NPE-400 и NPE-G1, а тут NPE-G2... 800-900 сессии при 200 мегабитах как-то маловато будет...

Вроде как на слуху что она пару тыщ должна тянуть.

А все же SSS Manager это что за процесс, не знаете? Обслуживает PPPoE subscriber'ов?

Абонентские сервисы.

sh sss и там кучка опций.

Вот здесь похожая проблемка - https://supportforums.cisco.com/thread/2089490

Инфу по SSG/ISG в сети посмотреть можно.

PS: вот ещё - http://forum.sysadmins.su/index.php?showtopic=5137

Edited April 11, 2013 by NikAlexAn

survivor · April 11, 2013

Спасибо, я эти линки видел :) проблемы действительно похожие, но только там ни к чему не пришли...

Насчет SSS... что такое ISG/SSG хорошо понимаю, настраивал :)

только вот c SSS все равно не встречался. На этой конкретной циске нет ISG, обычный PPPoE. И сервисы на pppoe сессии не навешиваются.

sh proc cpu:

CPU utilization for five seconds: 47%/16%; one minute: 50%; five minutes: 50%
PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process 
 97    55901972    22167599       2521 20.23% 22.38% 22.26%   0 SSS Manager      
259    18641884    66938546        278  5.43%  6.03%  6.01%   0 PPPoE Background 
263    10111496    96403506        104  1.83%  1.99%  1.99%   0 PPP Events       
260     5998516    85320823         70  0.87%  0.95%  0.95%   0 PPPoE Discovery  
273     4617092    47753774         96  0.71%  0.76%  0.77%   0 RADIUS           
274     2936428      895997       3277  0.31%  0.09%  0.08%   0 VTEMPLATE Backgr 
 76     1696588    11514627        147  0.23%  0.26%  0.25%   0 AAA Server       
 87     1446492    15468181         93  0.23%  0.23%  0.23%   0 IP Input         
142      182260   110640810          1  0.15%  0.15%  0.15%   0 HQF Shaper Backg 
139     1357324    11292105        120  0.15%  0.22%  0.23%   0 PPP Bind         
262      277968    26078162         10  0.07%  0.07%  0.07%   0 PPP manager      
114      761088      577345       1318  0.07%  0.02%  0.00%   0 PPP IP Route     
112      119308      738366        161  0.07%  0.13%  0.15%   0 CEF: IPv4 proces 
109       46156     1678931         27  0.07%  0.00%  0.00%   0 IP Background    
 78       22036      946402         23  0.07%  0.02%  0.00%   0 ACCT Periodic Pr 
115      100236     1118178         89  0.07%  0.00%  0.00%   0 PPP IPCP         
 40      156104     1333826        117  0.07%  0.04%  0.05%   0 Net Background   
 52      431344       96312       4478  0.07%  0.11%  0.10%   0 Compute load avg 
218      766820    11719352         65  0.07%  0.12%  0.13%   0 AAA SEND STOP EV 
 19      196972     1544628        127  0.00%  0.07%  0.10%   0 ARP Input        
 16       89736     8598265         10  0.00%  0.01%  0.00%   0 EnvMon           
 56      106596      117687        905  0.00%  0.02%  0.02%   0 HC Counter Timer 
 77      152228     1443094        105  0.00%  0.03%  0.02%   0 AAA ACCT Proc    
 84       53956      649910         83  0.00%  0.01%  0.00%   0 ADJ resolve proc 
 95      257060    12029872         21  0.00%  0.03%  0.02%   0 PPP Hooks        
  5      695364       58553      11875  0.00%  0.22%  0.18%   0 Check heaps

сам SSS всего 20% жрет, а в сумме общий CPU 47% никак не получается!

NikAlexAn · April 11, 2013

Хм.

а что sh sss stat говорит?

или sh subsc stat?

survivor · April 11, 2013

7206#sh sss stat 
                  ^
% Invalid input detected at '^' marker.

7206#sh subsc stat
                    ^
% Invalid input detected at '^' marker.

ios: c7200p-adventerprisek9-mz.124-24.T.bin

только:

7206#sh sss ?
 circuits  SSS Circuits
 session   SSS Session information

NikAlexAn · April 11, 2013

ios: c7200p-adventerprisek9-mz.124-24.T.bin

только:
7206#sh sss ?
 circuits  SSS Circuits
 session   SSS Session information

А sh sss session что нибудь выводит?

survivor · April 11, 2013

поработал над оптимизацией конфига, теперь: 1047 абонентов онлайн, траффик 200 мегабит, cpu 52%

catalist · April 11, 2013

а что оптимизировали?

survivor · April 12, 2013

на virtual-template убрал лишнее, в частности ip tcp mss, еще убрал транзитный через циску траффик, из bgp лишние транзитные маршруты убрал....

Sign In

cisco 7206 high cpu

Recommended Posts

survivor

nuclearcat

NikAlexAn

survivor

NikAlexAn

survivor

NikAlexAn

survivor

NikAlexAn

survivor

catalist

survivor

Join the conversation