[artplanet]

делаем тестовый конфиг - создали 80-90 инт вланов

и решили отправить их транков в один порт

на порту прописали

 switchport mode trunk
 switchport trunk allowed vlan 3101-3148,3201-3248,3301-3348

после поднятия порта в up в логах

2010 Jan 30 06:43:17 switch %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/1, operational duplex mode changed to Full
2010 Jan 30 06:43:17 switch %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/1, operational Receive Flow Control state changed to off
2010 Jan 30 06:43:17 switch %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/1, operational Transmit Flow Control state changed to off
2010 Jan 30 06:43:17 switch %ETHPORT-5-IF_SEQ_ERROR: Error ("label allocation failure") communicating with MTS_SAP_SPM for opcode MTS_OPC_ETHPM_PORT_LOGICAL_BRINGUP (RID_PORT: Ethernet1/1) 
2010 Jan 30 06:43:17 switch %ETHPORT-3-IF_ERROR_VLANS_SUSPENDED: VLANs 3106-3124,3127,3141-3142,3201-3221,3225-3244,3301-3343 on Interface Ethernet1/1 are being suspended. (Reason: label allocation failure)
2010 Jan 30 06:43:17 switch %ETHPORT-5-IF_UP: Interface Ethernet1/1 is up in mode trunk

 

если ставим вланов поменьше в порту - (в 2 раза меньше) то проблем нету

согласно документации http://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus3000/sw/configuration_limits/503_u1_1/n3k_config_limits_503_u1_1a.html в режиме RPVST 500 вланов

или мы в какие то другие ограничения попадаем ?

[artplanet]

show spanning-tree summary 
Switch is in rapid-pvst mode 
Port Type Default                        is disable
Edge Port [PortFast] BPDU Guard Default  is disabled
Edge Port [PortFast] BPDU Filter Default is disabled
Bridge Assurance                         is enabled
Loopguard Default                        is disabled
Pathcost method used                     is short
STP-Lite                                 is disabled

[artplanet]

заметил особенность

по команде show hardware access-list resource utilization при поднятом порту чтобы ошибок не было

        ACL Hardware Resource Utilization (Mod 1)
        ----------------------------------------------------------
                                       Used    Free    Percent 
                                                       Utilization
------------------------------------------------------------------- 
L4 op labels, Tcam 2                    47      16      74.60  

а вот с опущенным портом:

L4 op labels, Tcam 2                    0       63      0.00   

[CNick]

А что у вас с ACL? Сколько настроено на интерфейсах и какие правила в них?

[artplanet]

на каждом int vlan

ip access-group acl-3106 in

внутри acl:

       10 permit udp any eq bootpc any eq bootps 
       20 permit ip x.y.z.23/32 any 
       30 deny ip any any 

 

то есть запрещаем клиентам слать пакеты в мир с левого ip

[CNick]

Спрашиваю потому что: http://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/7-x/security/configuration/guide/b_Cisco_Nexus_9000_Series_NX-OS_Security_Configuration_Guide_7x/b_Cisco_Nexus_9000_Series_NX-OS_Security_Configuration_Guide_7x_chapter_01001.html#con_1458569

 

"Only 62 unique ACLs can be configured. Each ACL takes one label. If the same ACL is configured on multiple interfaces, the same label is shared. If each ACL has unique entries, the ACL labels are not shared, and the label limit is 62." То есть на N9300/N3000 нельзя настроить больше 62 уникальных ACL.

[artplanet]

добавление одного int vlan внутри которого ACL забиарет один ресурс от

L4 op labels, Tcam 2                    63      0       100.00 

то есть сейчас поднятно 63 int vlan внутри которых есть свой собственный ACL

как только решили поднять 64 инт влан - сразу ошибки и сам инт влан не поднялся

и в логах сразу

2010 Jan 30 07:30:44 switch %ETHPORT-5-IF_SEQ_ERROR: Error ("label allocation failure") communicating with MTS_SAP_SPM for opcode MTS_OPC_ETHPM_PORT_LOGICAL_BRINGUP (RID_PORT: Ethernet1/1) 
2010 Jan 30 07:30:44 switch %ETHPORT-3-IF_ERROR_VLANS_SUSPENDED: VLANs 3106-3124,3127,3141-3142,3201-3221,3225-3244,3302-3317 on Interface Ethernet1/1 are being suspended. (Reason: label allocation failure)
2010 Jan 30 07:30:45 switch %VSHD-5-VSHD_SYSLOG_CONFIG_I: Configured from vty by admin on console0

 

"Only 62 unique ACLs can be configured. Each ACL takes one label. If the same ACL is configured on multiple interfaces, the same label is shared. If each ACL has unique entries, the ACL labels are not shared, and the label limit is 62." То есть на N9300/N3000 нельзя настроить больше 62 уникальных ACL.

 

спасибо - интересно можно как то увеличить....

hardware profile tcam region ?
 arpacl       ARP ACL size
 e-ipv6-qos   Egress IPV6 QoS size
 e-mac-qos    Egress MAC QoS size
 e-qos        Egress IPV4 QoS size
 e-qos-lite   Egress IPV4 QoS (Lite) size
 e-racl       IPV4 E-RACL size
 e-vacl       IPv4 E-VACL size
 ifacl        IPV4 PACL size
 ipsg         IP_SG size
 ipv6-e-racl  IPV6 E-RACL size
 ipv6-pbr     IPV6 PBR size
 ipv6-qos     IPV6 QoS size
 ipv6-racl    IPV6 RACL size
 ipv6-sup     IPv6 SUP size
 pbr          IPV4 PBR size
 qos          IPV4 QoS size
 qoslbl       QOS LBL size
 racl         IPV4 RACL size
 span         Configure for span region
 sup          SUP size
 vacl         IPv4 VACL size

хотя я что то не вижу по поводу L4 op

[CNick]

спасибо - интересно можно как то увеличить....

Нет, нельзя. Это аппаратный лимит в ASIC.

 

Как вариант можно унифицировать и скажем указать всех клиентов в одном ACL и использовать этот ACL несколько раз, но это не помешает клиентам использовать IP адреса других клиентов...

[artplanet]

Нет, нельзя. Это аппаратный лимит в ASIC.

 

спасибо, печально. придется подумать. Конечно у нас будет всего 45-50 ACL (тут на тесте решили все забить чтобы посмотреть какие лимиты первые кончатся)

но вот не ожидали лимита в 62 ACL

 

Как вариант можно унифицировать и скажем указать всех клиентов в одном ACL и использовать этот ACL несколько раз, но это не помешает клиентам использовать IP адреса других клиентов...

 

Это возможно - но тогда клиент с сервера А сможет начать ддосить клиента с сервером B с помощью подмены сурс ip при условии что оба сервера включены в один Nexus 3048

А так сразу будет видно с какого ip летит флуд.

 

а команда на int vlan: ip verify unicast source reachable-via any не делает ли тоже самое? правда как быть с dhcp запросами

[CNick]

Звучит конечно хреново, в плане ограничение неприятное, но с другой стороны его можно понять учитывая что это pizza box коммутатор для датацентра, а не BRAS или Firewall :)

[artplanet]

так у нас и подключаются сервера клиентов в свитч, и есть стойки где серверов больше чем 60 штук ( к примеру в 7U стоит блейд где 14 самостоятельных серверов - а свитч в блейде - тупой L2 коммутатор который может только вланы прокидывать)

в итоге может быть больше 60-70 int vlan на свитч. В общем в раздумии... может выставим на продажу наш 3048 со всеми лицензиями:

show license usage 
Feature                      Ins  Lic   Status Expiry Date Comments
                                Count
--------------------------------------------------------------------------------
LAN_BASE_SERVICES_PKG         Yes   -   In use Never       -
LAN_ENTERPRISE_SERVICES_PKG   Yes   -   In use Never       -
--------------------------------------------------------------------------------

[CNick]

а команда на int vlan: ip verify unicast source reachable-via any не делает ли тоже самое? правда как быть с dhcp запросами

Если у вас DHCP тогда можно использовать DHCP Snooping + Dynamic ARP Inspection.

[artplanet]

хотя завтра проверим как будет работать

 

ip verify unicast source reachable-via any

 

в плане позволит ли оно устанавливать ОС по сети, и не даст ли оно делать ддос атаки с подменой сурс ip

судя по статье https://habrahabr.ru/post/152287/ оно как раз и делает подобную защиту

 

Если у вас DHCP тогда можно использовать DHCP Snooping + Dynamic ARP Inspection.

 

dhcp у нас только в момент установки сервера по сети

interface Vlan3106
 description st3.sw1.06.ruXXX
 no shutdown
 medium p2p
 ip access-group acl-3106 in
 no ip redirects
 ip unnumbered loopback0
 ip proxy-arp
 ip dhcp relay address x.y.z.2 

 

вот завтра попробуем убрать ip access-group acl-3106 in и повесим ip verify unicast source reachable-via any