[VVG]

Добрый день.

 

Имеется ASR1001-X.

Cisco IOS XE Software, Version 03.17.03.S - Standard Support Release
Cisco IOS Software, ASR1000 Software (X86_64_LINUX_IOSD-UNIVERSALK9-M), Version 15.6(1)S3, RELEASE SOFTWARE (fc2)

BGP, CG-NAT, ISG, всё-в-одном. :)

 

Периодически наблюдаются пики в загрузке QFP.

 

 

С соответствующими лагами у всех абонентов в это время, понятное дело.

 

Цитата

ASR1001-X#sh subscriber statistics

Current Subscriber Statistics:
Number of sessions currently up: 3076
Number of sessions currently pending: 5
Number of sessions currently authenticated: 2887
Number of sessions currently unauthenticated: 194
Highest number of sessions ever up at one time: 3242
Mean up-time duration of sessions: 01:01:58
Total number of sessions up so far: 187526
Mean call rate per minute: 48, per hour: 2930
Number of calls in last one hour: 2410
Number of sessions failed to come up: 76215

Current Flow Statistics:
Number of flows currently up: 400
Highest number of flows ever up at one time: 4716
Mean up-time duration of flows: 00:10:07
Number of flows failed to come up: 0
Total number of flows up so far: 176206

Access type based session count:
PPPoE sessions = 171

IP/DHCP session type count:
DHCPv4 sessions = 2908
IPv4 sessions = 2

Feature Installation Count:
                                    Direction
Feature Name              None       Inbound    Outbound  
IP Config                 171        0          0         
Absolute Timeout          2882       0          0         
Accounting                0          2711       2711      
L4 Redirect               0          200        200       
Policing                  0          2874       2874      

Switch Id Cleanup Statistics:
Number of sessions having invalid SMGR handle: 0
Number of sessions having invalid policy handle: 0
Number of sessions having invalid LTERM handle: 0
Number of sessions having invalid SIP handle: 0

SHDBs in use    : 3415    
SHDBs allocated : 313952  
SHDBs freed     : 310537  

SHDB handles associated with each client type

Client Name     Count
===========    =======
PPP            171     
PPPoE          171     
LTerm          3076    
AAA            3081    
CCM            3091    
L2TP CC        0       
SSS FM         3075    
IPSUB          2905    
COA            0       
COA cluster    0       
ISG Classifier 3076    
CCM Group      3091    
PM             3081    
PM cluster     0       
DHCP           3237    
DHCP SIP       2918    

 

Цитата

ASR1001-X#sh int te0/0/0
TenGigabitEthernet0/0/0 is up, line protocol is up
  Hardware is BUILT-IN-2T+6X1GE, address is 00a6.caa3.4400 (bia 00a6.caa3.4400)
  Description: Upstream
  MTU 1500 bytes, BW 10000000 Kbit/sec, DLY 10 usec,
     reliability 255/255, txload 11/255, rxload 54/255
  Encapsulation 802.1Q Virtual LAN, Vlan ID  1., loopback not set
  Keepalive not supported
  Full Duplex, 10000Mbps, link type is force-up, media type is SFP-LR
  output flow-control is on, input flow-control is on
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input 00:00:00, output 00:02:24, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/375/0/0 (size/max/drops/flushes); Total output drops: 0
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 2151521000 bits/sec, 218548 packets/sec
  5 minute output rate 464942000 bits/sec, 129956 packets/sec
     42940578244 packets input, 52693482162414 bytes, 0 no buffer
     Received 5267 broadcasts (0 IP multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 197627 frame, 0 overrun, 0 ignored
     0 watchdog, 357586 multicast, 0 pause input
     25752389628 packets output, 9912359734144 bytes, 0 underruns
     3 output errors, 0 collisions, 2 interface resets
     7759 unknown protocol drops
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 pause output
     0 output buffer failures, 0 output buffers swapped out

 

Вопрос -- кто-нибудь сталкивался ?

Куда можно копать ?

 

[VVG]

Может какие предположения у кого-нибудь есть ?

[zhenya`]

Кто-то активно долбит в натпул? Только десятку используете? Мониторить дропы в qfp.

[alexaaa]

BGP, CG-NAT, ISG, всё-в-одном. :)

не жирно для такой железки

даже на ASR-1002X надо 16Gb памяти для BGP

а у Вас еще СG-NAT ресурсы поедает

[zhenya`]

На 1001-х память иначе распределяется и базово коробка идёт с 8гб. Да и когда память кончается, то cef отключается.

да и 3к абонентов мало.

неавторизованных убивайте и urpf проверьте, что везде есть.

76 тысяч сессий которые не могли встать это много.

в неавторизованных сессиях кто?

[VVG]

@zhenya` Одна десятка вверх, вторая вниз, трафик менее 4.5 гбит.

 

Насчет неавторизованых -- биллинг отдаёт access-reject для тех кто в минусе, ASR навешивает редирект и фильтры.
И раз в 10 минут дергает биллинг при этом.

 

Из BGP -- три пира, от них только дефолт.

 

Нат вроде чист.

Цитата

ASR1001-X#sh ip nat stat
Total active translations: 400399 (0 static, 400399 dynamic; 400194 extended)
Outside interfaces:
  TenGigabitEthernet0/0/0.261, TenGigabitEthernet0/0/0.514
  TenGigabitEthernet0/0/0.710, GigabitEthernet0/0/5
Inside interfaces:
  TenGigabitEthernet0/0/1.6, TenGigabitEthernet0/0/1.61
  TenGigabitEthernet0/0/1.63, TenGigabitEthernet0/0/1.64
  TenGigabitEthernet0/0/1.65, TenGigabitEthernet0/0/1.66
  TenGigabitEthernet0/0/1.67, TenGigabitEthernet0/0/1.68
  TenGigabitEthernet0/0/1.171060, TenGigabitEthernet0/0/1.361067
  TenGigabitEthernet0/0/1.361069, TenGigabitEthernet0/0/1.3001006
  Virtual-Access2.1, Virtual-Access2.2, Virtual-Access2.3, Virtual-Access2.4
... тут куча pppoe поскипано...
  Virtual-Access2.189, Virtual-Access2.190, Virtual-Access2.191
  Virtual-Access2.192, Virtual-Template1
Hits: 241637667915  Misses: 1034212201
Expired translations: 1060650699
Dynamic mappings:
-- Inside Source
[Id: 1] access-list 1 pool nat-pool refcount 400403
 pool nat-pool: id 1, netmask 255.255.255.0
        start X.Y.89.0 end X.Y.89.255
        type generic, total addresses 256, allocated 74 (28%), misses 0
nat-limit statistics:
 max entry: max allowed 0, used 0, missed 0
In-to-out drops: 880997  Out-to-in drops: 105561
Pool stats drop: 0  Mapping stats drop: 0
Port block alloc fail: 0
IP alias add fail: 0
Limit entry add fail: 0

 

 

Политики:

Цитата

interface TenGigabitEthernet0/0/1.61
 encapsulation dot1Q 61
 ip dhcp relay information trusted
 ip dhcp relay information policy-action keep
 ip address 100.67.56.1 255.255.252.0
 ip nat inside
 service-policy type control DHCP-CONTROL
 ip subscriber l2-connected
  initiator dhcp
!

 

policy-map type control DHCP-CONTROL
 class type control always event session-start
  10 authorize aaa password DHCP identifier mac-address
 !
 class type control always event access-reject
  10 service-policy type service name BLOCK
  11 service-policy type service name FREEHOSTS
  90 set-timer IP-UNAUTH-TIMER 10
 !
 class type control always event timed-policy-expiry
  1 service disconnect
 !
 class type control always event session-restart
  10 authorize aaa password DHCP identifier mac-address
 !
 class type control always event radius-timeout
  90 set-timer IP-UNAUTH-TIMER 10
 !

 

 

Дропы

Цитата

ASR1001-X#sh pl hard qfp act stat drop
-------------------------------------------------------------------------
Global Drop Stats                         Packets                  Octets  
-------------------------------------------------------------------------
BadIpChecksum                               10418                  832845  
BadUidbSubIdx                              178093                12466980  
Disabled                                       11                    4340  
Discard                                  62586180              5381509169  
EsfDrlDrop                             1903765563           2744508162549  
EsfL4rTransSessLimit                        13768                 1045872  
EsfTcDrop                                68409249              6361833891  
EssBadSessUidb                            3220340               381729020  
EssIpsubDrop                                   62                   18273  
EssIpsubFsolDrop                         18531746              1290193992  
Icmp                                          199                   29330  
IpFormatErr                                   827                  183915  
IpFragErr                                   43531                66436614  
IpTtlExceeded                           118412234             10596924954  
Ipv4Martian                                365097                48519230  
Ipv4NoAdj                               471023812             42222245364  
Ipv4NoRoute                                  4842                  468638  
Ipv4Null0                                 2288933               177316029  
Ipv4Unclassified                          1361930               209582681  
MacMcastIpNonmcast                           1597                  389045  
MaxTu                                         233                  354626  
NatIn2out                                  881202                91596105  
NatOut2in                                  105589                44463833  
PppoeNoSession                              14737                 1980127  
PppoePktBadLen                                 20                    4714  
ReassBadLen                                 17173                 1388979  
ReassDrop                                 1932473              1141161240  
ReassFragTooBig                                 2                     116  
ReassNoFragInfo                           2036646              1846633249  
ReassOverlap                                 3575                 3632960  
ReassTimeout                              1229271                23593617  
ReassTooManyFrags                               3                    3245  
UnconfiguredIpv4Fia                      24833181              4307890140  
UnconfiguredIpv6Fia                      66595372              8660876769  

 

 

[VVG]

PS: Завтра попробую навесить URPF.

[s.lobanov]

2 часа назад, zhenya` сказал:

urpf проверьте, что везде есть.

Каким образом включение urpf может уменьшить нагрузку на qfp?

[zhenya`]

уменьшает время жизни и стадий применения различных фич в qfp?

[VVG]

Навесил вчера rpf.

Пока 24 часа полет нормальный.

Хотя это, в общем, не показатель -- до этого тоже были такие периоды улучшения.

Буду мониторить дальше...

[VVG]

Птичка Обломинго:

 

 

[VVG]

PS: В SNMP грепом по всей enterprises.9 счетчиков из "sh pl hard qfp act stat drop" не видно :(

 

[911]

чем закончилось все?