Cisco 3560E/3750E dead memory

[artplanet]

В продакшене в качестве железок к которым подключаются сервера клиентов стоят Cisco 3560E/3750E

Софт c3560e-universalk9-mz.150-2.SE10a.bin и c3750e-universalk9-mz.150-2.SE10a.bin соответственно

данный софт стоит из за возможности активировать лицензию ipservice (нам нужен vrf из него и всё)

И вот проблема - на всех железках где много клиентов (активных) - мало свободной памяти. 2-4Mb

К примеру самая проблемная:

show proc memory sorted 
Processor Pool Total:   49238740 Used:   47065412 Free:    2173328
     I/O Pool Total:    8388608 Used:    5716520 Free:    2672088
Driver te Pool Total:    4194304 Used:     106740 Free:    4087564

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process
  0   0   88503924   48829856   34557728          0          0 *Init*          
  0   0   76788140   66038664    7180348    9954211    1472786 *Dead*          
433   0     909232      10100     807932          0          0 BGP Router      
  0   0          0          0     525616          0          0 *MallocLite*    
 88   0     845688     282688     493048          0          0 Stack Mgr Notifi
 61   0     370280        600     379840          0          0 EEM ED Identity 
283   0     412584      65560     356096          0          0 IP RIB Update   
420   0     295132          0     302292          0          0 BGP Task        
368   0     265100          0     275260     100548          0 EEM ED Syslog   
244   0     793376     446236     273644          0          0 DTP Protocol    
265   0     262320          0     269480          0          0 VMATM Callback  
  1   0     326676     121056     225360          0          0 Chunk Manager   
189   0   50560988   50346176     221972          0          0 HQM Stack Proces
381   0     205172          0     212332          0          0 EEM Server      
 18   0     474572     475996     182348          0      42900 Entity MIB API  
320   0     274248     643124     172904          0          0 MLDSN L2MCM     
 46   0     156408        232     169336      91368          0 Logger          
206   0     224376      72600     161496          0          0 Auth Manager    
315   0     401556     708808     161404          0          0 IGMPSN L2MCM    
183   1   19406020   19249080     150712          0          0 Virtual Exec    
144   0     998980     423384     144304     327240          0 CDP Protocol    
139   0     689368     769716     133196          0          0 HACL Acl Manager
284   0     117456        232     130384          0          0 MRIB Process    
340   0     110796        600     123356          0          0 Crypto IKEv2    
 50   0     283300     220064     110440          0          0 IF-MGR control p
242   0    2966324    2796936     104416          0          0 802.1x switch   
221   0      86964       1436      98688          0          0 IP ARP Adjacency
410   0      73492       1728      79548          0          0 IP Connected Rou
260   0      71328          0      78488          0          0 Switch Backup In
335   0      65580          0      75652          0          0 BGP I/O         
158   0      65812        232      72740          0          0 REP Helper Proc 
350   0      48512       3292      70380          0          0 Crypto ACL      

 

при этом маршруты которые железка принимает - только дефаулты и анонсирует свои маршруты. Плюс стоят acl на запрет подмены src ip.

show platform tcam utilization 

CAM Utilization for ASIC# 0                      Max            Used
                                            Masks/Values    Masks/values

Unicast mac addresses:                       2268/2268        157/157   
IPv4 IGMP groups:                            1072/1072          1/1     
IPv4 unicast directly-connected routes:      2048/2048         22/22    
IPv4 unicast indirectly-connected routes:    1024/1024         90/90    
IPv6 Multicast groups:                       1072/1072         23/23    
IPv6 unicast directly-connected routes:      2048/2048          6/6     
IPv6 unicast indirectly-connected routes:    1024/1024          9/9     
IPv4 policy based routing aces:               500/500          13/13    
IPv4 qos aces:                                504/504          11/11    
IPv4 security aces:                          1024/1024        125/125   
IPv6 policy based routing aces:                20/20            8/8     
IPv6 qos aces:                                500/500          10/10    
IPv6 security aces:                           512/512          17/17   

 

Стали смотреть и обнаружили. Что на 4х железках больше всего потребляет Dead, а внутри Dead только один процесс потребляет много памяти:

show memory dead totals        
               Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor    4A4B34C    49238740    47051764     2186976      766208     1588400
     I/O    6800000     8388608     5716776     2671832     2635680     2637400
Driver te    2C00000     4194304      106744     4087560     4087560     4087560




Dead Proc Summary for: Processor

   PC          Total   Count  Name
0x020FECC0    3024044       1  hulc_flash init
0x02C108A0    3024044       1  hulc_flash init
0x0043CE10     323456      26  Virtual Exec
0x01C1CA18     262320       4  DSensor 32
0x0211B4E0     100220       5  mifs sector buffers
0x020AEB88      71400       1  master cfg mgr init process
0x00F2CB78      65580       1  MRIB route entry

 

То есть 6 мегабайт утекло в hulc_flash init. Это что за зверь такой? Даже после ребута Cisco мертвая память есть.

При этом такая утечка на 3х 3560E и на одной 3750E. Но на 3750E не критично - там памяти в 2 раза больше

Processor Pool Total:  175383112 Used:   58629236 Free:  116753876

 

И самое забавное - еще на паре железок такой мертвой памяти нету.

Стоит одна 3750E и одна 3560E.

show memory dead totals 
               Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor    4A4B34C    49238696    40197092     9041604     7573800     8379892
     I/O    6800000     8388608     5580428     2808180     2641208     2754576
Driver te    2C00000     4194304          44     4194260     4194260     4194260




Dead Proc Summary for: Processor

   PC          Total   Count  Name
0x021182F0    1924224      96  mifs NAND Secto
0x0043CE10     353600      26  Virtual Exec
0x02103C6C     131412       1  hulc_flash init
0x0211B4E0     100220       5  mifs sector buffers

 

На этих железках так же стоят такие же ACL и такие же BGP.

Но тут нету такой активности трафика по мигающим лампочкам на порту. (это единственное что приходит в голову), ткам железки где нету такой мертвой памяти:

show platform tcam utilization 

CAM Utilization for ASIC# 0                      Max            Used
                                            Masks/Values    Masks/values

Unicast mac addresses:                       2268/2268        116/116   
IPv4 IGMP groups:                            1072/1072          1/1     
IPv4 unicast directly-connected routes:      2048/2048         37/37    
IPv4 unicast indirectly-connected routes:    1024/1024        105/105   
IPv6 Multicast groups:                       1072/1072         15/15    
IPv6 unicast directly-connected routes:      2048/2048          3/3     
IPv6 unicast indirectly-connected routes:    1024/1024          7/7   
IPv4 policy based routing aces:               500/500          13/13    
IPv4 qos aces:                                504/504          22/22    
IPv4 security aces:                          1024/1024        114/114   
IPv6 policy based routing aces:                20/20            8/8     
IPv6 qos aces:                                500/500          11/11    
IPv6 security aces:                           512/512          17/17    

Note: Allocation of TCAM entries per feature uses
a complex algorithm. The above information is meant
to provide an abstract view of the current TCAM utilization

 

кто что знает о мертвой памяти процесса hulc_flash init, как от нее избавится ?

[mikezzzz]

первой строкой в гугле = http://rejohn.cuar.es/2014/08/10/high-memory-utilization-due-to-hulc-flash/

CSCth60511 and CSCua52463

Edited December 8, 2016 by mikezzzz

[artplanet]

Только там написано - Fixed в 2014 году. А у нас прошивка месячной давности.

[artplanet]

Явно глюк софта. взяли свободную 3560E, поставили последний софт - удалили все конфиги. ребутнули

 

witch#wr
Building configuration...
[OK]
Switch#show memory dead totals 
               Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor    4A4B34C    49238696    38832744    10405952     9491680     8379892
     I/O    6800000     8388608     5669480     2719128     2719128     2707704
Driver te    2C00000     4194304      106744     4087560     4087560     4087560




Dead Proc Summary for: Processor

   PC          Total   Count  Name
0x020FECC0    3010604       1  hulc_flash init
0x02C108A0    3010604       1  hulc_flash init

[artplanet]

Дальнейшие тесты показали:

софт: c3560e-universalk9-mz.150-2.SE10a.bin

WS-C3560E-48TD-S V03 - память течет hulc_flash init (проверено на 3 коммутаторах)

WS-C3560E-48TD-S V04 - память течет hulc_flash init (проверено на 1 коммутаторе)

WS-C3560E-48PD-SF V02 - память не течет (проверено на 2 коммутаторах)

 

софт: c3750e-universalk9-mz.150-2.SE10a.bin

WS-C3750E-24TD-S V05 - память течет hulc_flash init (проверено на 2 коммутаторах)

WS-C3750E-48TD-S V01 - память не течет (проверено на одном коммутаторе)

 

На всех ставили пустой конфиг со сбросом всего и вся.

В итоге от ревизии зависит - течем не течем. Это так - чтобы была инфа если кто надумает покупать железки.

Но на 3750E всё равно - а вот на 3560E критично.

 

Если у кого есть 3560E/3750E

наберите show memory dead totals и посмотрите - есть утечка или нет. И скиньте сюда результат с софтом, моделью и ревизией.

[mikezzzz]

Только там написано - Fixed в 2014 году. А у нас прошивка месячной давности.

при чем тут год? там написаны релизы в которых пофикшена, вашего я там в списке не увидел..

[artplanet]

при чем тут год? там написаны релизы в которых пофикшена, вашего я там в списке не увидел..

 

 

Только там указан такой софт который не выпускался для такой железки

https://software.cisco.com/portal/pub/download/portal/select.html?&mdfid=280831070&softwareid=280805680

Только 3 версии софта. Да и 12 ставить нельзя - там лицензию за спасибо не активировать.

Сейчас начали покупать 3750E-48 - там проблем не будет.

Edited December 9, 2016 by artplanet

[zhenya`]

а зачем ? 3850 же теже деньги стоит.

[artplanet]

а зачем ? 3850 же теже деньги стоит.

 

 

 

Вы наверно шутите, WS-C3750E-48TD можно купить за 200$ и где то 60$ доставка в РФ с расторможённой у нас получается. Итого 260$. а 3850 минимум 2500$. В 10ть раз цена различается.