Cisco Nexus9000 C93180YC-EX и Max V4 Ucast DA TCAM

[pesvo]

Добрый день!
Имеется в активной работе 65 дней C93180YC-EX без лицензии, так как данный коммутатор поддерживает honor based licensing,то соотв. L3 и остальные функции мне доступны, прошивка NXOS: version 9.3(11)

На самом коммутаторе поднято 12 BGP-сессий с IX(точками обмена трафика), с каждой сессии получаю около 110-130к маршрутов.

Коммутатор переведен в режим Configured System Routing Mode: Internet Peering, увеличена память в vdc resource как указано здесь - https://layer77.net/2019/11/20/upping-the-ipv4-unicast-route-limit-on-a-nexus-93180yc-ex/

 

 

sh vdc n9k-C93180YC-EX resource  

    Resource                   Min       Max       Used      Unused    Avail     
    --------                   ---       ---       ----      ------    -----     
    vlan                       16        4094      890       0         3204      
    vrf                        2         4096      2         0         4094      
    port-channel               0         511       4         0         507       
    u4route-mem                512       512       27        485       485       
    u6route-mem                96        96        1         95        95        
    m4route-mem                58        58        1         57        57        
    m6route-mem                8         8         1         7         7  

  
 

В общем сейчас на коммутаторе маршрутов - 

show system internal forwarding route summary  

slot  1
=======


IP routes summary
Max host route entries : 1039360  
Total number of IPv4 host routes used: 2101  
Max LPM table entries : 1006592  
Total number of IPv4 LPM routes used: 134577  
IPv4 unicast route table space available

 

 

То есть  суммарно сейчас 134577 маршрутов используется из возможных 1006592 которое допускается на этом оборудование.

Но дело в том, что последние дни в логах спамит куча разных маршутов, вот пару примеров.
 

IPFIB-SLOT1-2-UFIB_ROUTE_CREATE: Unicast route create failed for INS unit 0, VRF: 1, 185.239.244.0/24, flags:0x0, intf:0x10047c, Error: Hw Trie full(201)
%IPFIB-SLOT1-2-UFIB_ROUTE_CREATE: Unicast route create failed for INS unit 0, VRF: 1, 103.147.116.0/24, flags:0x0, intf:0x100301, Error: FIB TCAM FULL For IP Routes( 235)

при вводе команды sh hardware internal forwarding table utilization заметил:

 

IPv4/IPv6  hosts and routes summary on module : 1  
--------------------------------------------------

Configured System Routing Mode: Internet Peering

Trie mode : True  
Dynamic V6 Trie : True  
--------------------------------------------------
Max IPv4 Trie route entries: 1000448  
Max IPv6 Trie route entries: 500224  
Max TCAM table entries : 16384  
Max V4 Ucast DA TCAM table entries : 6144  
Max V6 Ucast DA TCAM table entries : 2048  
Max native host route entries (shared v4/v6) : 32768  
Max ARP entries: 32768  
Max ND entries (Entries might overflow into tcam as Host-As-Route): 16384  
Total number of IPv4 host trie routes used : 0  
Total number of IPv4 host tcam routes used : 2  
Total number of IPv4 LPM trie routes used : 130824  
Total number of IPv4 LPM tcam routes used : 6120  
Total number of IPv6 host trie routes used : 0  
Total number of IPv6 host tcam routes used: 0  
Total number of IPv6 LPM trie routes used : 0  
Total number of IPv6 LPM tcam routes used : 2  

Total number of IPv4 host native routes used in native tiles : 2096  
Total number of IPv6 host native routes used in native tiles : 0  
Total number of IPv6 ND/local routes used in native tiles : 0  
Total number of IPv6 host /128 learnt routes used in native tiles : 0  
IPv4 Host-as-Route count : 2  
IPv6 Host-as-Route count : 0  
Nexthop count : 2081  

Percentage utilization of IPv4 native host routes : 6.39    
Percentage utilization of IPv6 native host routes : 0.00    
Percentage utilization of IPv6 ND/local routes : 0.00    
Percentage utilization of IPv6 host /128 learnt routes : 0.00    
Percentage utilization of IPv4 trie routes : 13.07   
Percentage utilization of IPv6 trie routes : 0.00    
Percentage utilization of IPv4 TCAM routes : 99.6  
Percentage utilization of IPv6 TCAM routes : 0.09    
Percentage utilization of nexthop entries : 6.35

То есть Total number of IPv4 LPM tcam routes used : 6120 почти достигает Max V4 Ucast DA TCAM table entries : 6144 и показывает Percentage utilization of IPv4 TCAM routes : 99.6

После перезапуска пару сессий с IX, то  значение падает до Total number of IPv4 LPM tcam routes used : 3881 вместо 6120 либо ниже и нагрузка становится  Percentage utilization of IPv4 TCAM routes : 63.23 , но через день снова возвращается к значениям 6120 и 99.6% 

За более 60 дней все работало нормально, но последние 2-3 дня наблюдается такая аномалия. 

Может ли кто объяснить, что такое Total number of IPv4 LPM tcam routes used и Max V4 Ucast DA TCAM table entries , как понимаю то, что используется 134577 маршрутов из 1006592 не связано с этим, так как это Total number of IPv4 LPM trie routes used и куда копать дальше. 

При это оборудование не перезагружается, общее состояние системы не перегружено и маршруты которые он спамит в логах доступны если ввести команду show forwarding ipv4 route и подсеть.
 

 

Edited August 2, 2023 by pesvo

[pesvo]

Решение найдено.
Если требуется увеличить LMP V4 ucast da tcam table и в сети не используется ipv6, то помогает hardware profile ipv6 lpm-entries maximum 0 это увеличивает с 6к до 14к максимум на lpm ipv4 tcam на C93180YC-EX