[kostas]

Коллеги, приветствую всех.

 

Имеется Cisco Catalyst 6500 с супервизором VS-S720-10G + PFC3. Начал ваять ACL с объектами для сеток, хостов и портов. Сами ACL не большие - строк по 40-50. Таких штуки 4-5. Объектов порядка 70 наименований.

 

В итоге начал получать в логи сообщения такого плана

 

Jun 23 20:55:22 ds1 1983303: Jun 23 16:55:20.603: %FMCORE-4-RACL_REDUCED: Interface Vlan56 routed traffic will be software switched in ingress direction
Jun 23 20:55:22 ds1 1983304: Jun 23 16:55:21.055: %FMCORE-4-RACL_REDUCED: Interface Vlan54 routed traffic will be software switched in ingress direction
Jun 23 20:55:22 ds1 1983305: Jun 23 16:55:21.055: %FMCORE-4-RACL_REDUCED: Interface Vlan96 routed traffic will be software switched in ingress direction
Jun 23 20:55:22 ds1 1983306: Jun 23 16:55:21.055: %FMCORE-4-RACL_REDUCED: Interface Vlan97 routed traffic will be software switched in ingress direction
Jun 23 20:55:22 ds1 1983307: Jun 23 16:55:21.055: %FMCORE-4-RACL_REDUCED: Interface Vlan82 routed traffic will be software switched in ingress direction
Jun 23 20:55:22 ds1 1983308: Jun 23 16:55:21.055: %FMCORE-4-RACL_REDUCED: Interface Vlan81 routed traffic will be software switched in ingress direction
Jun 23 20:55:22 ds1 1983309: Jun 23 16:55:21.055: %FMCORE-4-RACL_REDUCED: Interface Vlan80 routed traffic will be software switched in ingress direction

 

Каким образом писать ACL под этого мамонта? Что я делаю не так?

[s.lobanov]

давайте полный конфиг

[DVM-Avgoor]

PBR на интерфейсах нет? Или вы как раз его и пишете?

Ну и ткам бы показали, что уж. Точно ли exceeded?

[kostas]

Методом тыка нашел что ложит коммутатор. Оказывается WCCP с таким вот ACL

 

Extended IP access list WCCP
   100 deny   tcp addrgroup OurNetworks addrgroup OurNetworks
   200 permit tcp any any eq www 443

 

Как только на абонентском влане поднимаю редирект - хана, начинается то, что описывал (загрузка CPU и ошибки в логи)

 

ip wccp web-cache redirect in

 

При чем такая фигня на одном из вланов только. Там конечно трафик чуть больше чем у других, но проявляется строго на одном влане.

 

Сейчас tcam в таком состоянии

 

#show tcam counts detail
          Used        Free        Percent Used       Reserved
          ----        ----        ------------       --------
Labels:(in) 23        4049            1                    24
Labels:(eg)  1        4071            0                    24

ACL_TCAM
--------
HI BANK
 Masks:    191        1857            9                    72
Entries:    714       15670            4                   576

LOW BANK
 Masks:   1466         582           71                     0
Entries:   6874        9510           41                     0

QOS_TCAM
--------
HI BANK
 Masks:     25        2023            1                    25
Entries:      0       16384            0                   200

LOW BANK
 Masks:      7        2041            0                     0
Entries:     32       16352            0                     0

   LOU:      9         119            7
 ANDOR:      1          15            6
 ORAND:      0          16            0
   ADJ:      4        2044            0

 

При включении wccp редиректа

 

#show tcam counts detail
          Used        Free        Percent Used       Reserved
          ----        ----        ------------       --------
Labels:(in) 21        4051            1                    24
Labels:(eg)  1        4071            0                    24

ACL_TCAM
--------
HI BANK
 Masks:    125        1923            6                    72
Entries:    279       16105            1                   576

LOW BANK
 Masks:   1906         142           93                     0
Entries:   8919        7465           54                     0

QOS_TCAM
--------
HI BANK
 Masks:     25        2023            1                    25
Entries:      0       16384            0                   200

LOW BANK
 Masks:      7        2041            0                     0
Entries:     32       16352            0                     0

   LOU:      7         121            5
 ANDOR:      1          15            6
 ORAND:      0          16            0
   ADJ:      4        2044            0

[kostas]

Вот конфиг. Как только в интерфейс vlan 3 вставляю редирект (как на vlan6) - кирдык.

 

upgrade fpd auto
version 12.2
service timestamps debug datetime msec
service timestamps log datetime msec
service password-encryption
service counters max age 5
!
hostname ds1
!
boot-start-marker
boot-end-marker
!
!
aaa authentication login default local
aaa authorization exec default local 
!
!
!
aaa session-id common
clock timezone MSK 4
!
ip wccp web-cache redirect-list WCCP group-list 10 password 7 1234567890
!
!
ip domain-name domain.local
ip name-server 1.2.3.4
ip tftp source-interface Loopback0
!
ip dhcp snooping vlan 3,6
ip dhcp snooping detect spurious vlan 3,6
ip dhcp snooping
ip ssh version 2
ip arp inspection vlan 3,6
ip arp inspection validate ip 
mls netflow interface
mls cef error action reset
!
!
!
!
!
!
!
diagnostic bootup level minimal
!
power redundancy-mode combined
!
spanning-tree mode pvst
!
!
access-list 10 permit 192.168.20.2
!
redundancy
main-cpu
 auto-sync running-config
mode sso
!
ip access-list extended LAN
permit udp any eq bootpc any eq bootps
permit icmp any any
permit udp any any portgroup TRACEPorts
permit udp any host 255.255.255.255
permit tcp any any established
deny   ip any addrgroup ManageNetworks log
deny   ip any addrgroup SecureNetworks log
deny   ip any addrgroup ConfidencialNetworks log
permit tcp any any portgroup WEBPorts
permit tcp any any portgroup WEBCustomPorts
permit tcp any any portgroup FTPPorts
permit tcp any any portgroup MAILPorts
permit tcp any any portgroup JABBERPorts
permit tcp any addrgroup OurNetworks eq domain
permit udp any addrgroup OurNetworks eq domain
permit tcp any addrgroup OurNetworks eq 123
permit udp any addrgroup OurNetworks eq ntp
permit tcp any addrgroup OurNetworks portgroup DOMAINPorts
permit udp any addrgroup OurNetworks portgroup DOMAINPorts
permit tcp any addrgroup OurNetworks portgroup PRINTPorts
permit udp any addrgroup OurNetworks portgroup PRINTPorts
permit tcp any addrgroup OurNetworks portgroup KMSPorts
permit tcp any addrgroup OurNetworks portgroup REMOTEACCESSPorts
permit tcp any addrgroup OurNetworks portgroup MANAGEMENTPorts
permit tcp any addrgroup OurNetworks portgroup DBPorts
permit tcp any addrgroup OurNetworks portgroup STAFFPorts
permit tcp any addrgroup ExternalNetworks portgroup PROXYPorts
deny   ip any any log
!
ip access-list extended WCCP
deny   tcp addrgroup OurNetworks addrgroup OurNetworks
permit tcp any any eq www 443
!
vlan internal allocation policy ascending
vlan access-log ratelimit 2000
!
!
vlan 3
name lan1
!
vlan 6
name lan2
!         
!
!
!
!
interface GigabitEthernet1/1
switchport
switchport access vlan 6
switchport mode access
no cdp enable
spanning-tree portfast network
spanning-tree bpduguard enable
ip verify source vlan dhcp-snooping
!
interface GigabitEthernet5/3
switchport
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 3,6
switchport mode trunk
ip arp inspection trust
ip dhcp snooping trust
!
interface GigabitEthernet6/1
description PA20
switchport
switchport access vlan 3
switchport mode access
no cdp enable
spanning-tree portfast network
spanning-tree bpduguard enable
ip verify source vlan dhcp-snooping
!
!
interface Vlan3
description lan1
ip address 10.3.0.1 255.255.0.0
ip access-group LAN in
ip helper-address 10.0.0.252
!
interface Vlan6
description lan2
ip address 10.6.0.1 255.255.0.0
ip access-group LAN in
ip helper-address 10.0.0.252
ip wccp web-cache redirect in
!
!
ip classless
ip forward-protocol nd
ip route 10.0.0.0 255.0.0.0 Null0
!
no ip http server
no ip http secure-server
!
!
!
!
!
control-plane
!
!
dial-peer cor custom
!         
!
!
!
line con 0
line vty 0 4
!
exception core-file 
!
end

Изменено 24 июня, 2014 пользователем kostas

[DVM-Avgoor]

WCCP это и есть по-сути своей PBR. И поведение у него точно такое же в плане сочетания ACL + PBR. ACL-менеджер при заливке в ТКАМ одновременно на input ACL & PBR разрывает себе шаблон и как бы "перемножает" правила. Результирующая этих правил выходит огромная. Уберите на пробу с input ip access-group.

[kostas]

Да, похоже Вы правы. Об этом и циска сама говорит http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-6500-series-switches/white_paper_c11-629052.html

 

У меня маска дефолтная стоит 0x00001741. Получается правила плодятся капитально. Только вот не понял пока, как эту маску сменить. У меня клиент один, поэтому маску надо поставить 0x1. Не знаете случайно, как ее поменять?

 

#sh ip wccp web-cache detail 
WCCP Client information:
WCCP Client ID:          192.168.20.2
Protocol Version:        2.0
State:                   Usable
Redirection:             L2
Packet Return:           L2
Packets Redirected:    2486879
Connect Time:          3d21h
Assignment:            MASK

Mask  SrcAddr    DstAddr    SrcPort DstPort
----  -------    -------    ------- -------
0000: 0x00000000 0x00001741 0x0000  0x0000

Value SrcAddr    DstAddr    SrcPort DstPort CE-IP
----- -------    -------    ------- ------- -----
0000: 0x00000000 0x00000000 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0001: 0x00000000 0x00000001 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0002: 0x00000000 0x00000040 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0003: 0x00000000 0x00000041 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0004: 0x00000000 0x00000100 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0005: 0x00000000 0x00000101 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0006: 0x00000000 0x00000140 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0007: 0x00000000 0x00000141 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0008: 0x00000000 0x00000200 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0009: 0x00000000 0x00000201 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0010: 0x00000000 0x00000240 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0011: 0x00000000 0x00000241 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0012: 0x00000000 0x00000300 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0013: 0x00000000 0x00000301 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0014: 0x00000000 0x00000340 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0015: 0x00000000 0x00000341 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0016: 0x00000000 0x00000400 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0017: 0x00000000 0x00000401 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0018: 0x00000000 0x00000440 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0019: 0x00000000 0x00000441 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0020: 0x00000000 0x00000500 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0021: 0x00000000 0x00000501 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0022: 0x00000000 0x00000540 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0023: 0x00000000 0x00000541 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0024: 0x00000000 0x00000600 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0025: 0x00000000 0x00000601 0x0000  0x0000  0xC0A81402 (192.168.20.2)
       0026: 0x00000000 0x00000640 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0027: 0x00000000 0x00000641 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0028: 0x00000000 0x00000700 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0029: 0x00000000 0x00000701 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0030: 0x00000000 0x00000740 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0031: 0x00000000 0x00000741 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0032: 0x00000000 0x00001000 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0033: 0x00000000 0x00001001 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0034: 0x00000000 0x00001040 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0035: 0x00000000 0x00001041 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0036: 0x00000000 0x00001100 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0037: 0x00000000 0x00001101 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0038: 0x00000000 0x00001140 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0039: 0x00000000 0x00001141 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0040: 0x00000000 0x00001200 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0041: 0x00000000 0x00001201 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0042: 0x00000000 0x00001240 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0043: 0x00000000 0x00001241 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0044: 0x00000000 0x00001300 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0045: 0x00000000 0x00001301 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0046: 0x00000000 0x00001340 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0047: 0x00000000 0x00001341 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0048: 0x00000000 0x00001400 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0049: 0x00000000 0x00001401 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0050: 0x00000000 0x00001440 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0051: 0x00000000 0x00001441 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0052: 0x00000000 0x00001500 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0053: 0x00000000 0x00001501 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0054: 0x00000000 0x00001540 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0055: 0x00000000 0x00001541 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0056: 0x00000000 0x00001600 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0057: 0x00000000 0x00001601 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0058: 0x00000000 0x00001640 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0059: 0x00000000 0x00001641 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0060: 0x00000000 0x00001700 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0061: 0x00000000 0x00001701 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0062: 0x00000000 0x00001740 0x0000  0x0000  0xC0A81402 (192.168.20.2)
0063: 0x00000000 0x00001741 0x0000  0x0000  0xC0A81402 (192.168.20.2)

 

PS: Не понял, где это убрать "input ip access-group"?

[DVM-Avgoor]

PS: Не понял, где это убрать "input ip access-group"?

 

 

 

interface Vlan3

description lan1

ip address 10.3.0.1 255.255.0.0

ip access-group LAN in

ip helper-address 10.0.0.252

!

interface Vlan6

description lan2

ip address 10.6.0.1 255.255.0.0

ip access-group LAN in

ip helper-address 10.0.0.252

ip wccp web-cache redirect in

 

[kostas]

Да, без ACL на интерфейсах WCCP работает без загрузки CPU и ошибок.

[DVM-Avgoor]

Дык проблема-то копеечная. Я ее решал переделав ACL на out или используя VACL (что не всегда удобно, ибо трафик по VACL матчится в обоих направлениях).

Но у вас в ACL тоже не все так хорошо, как я думаю.

 

Во-первых, не понятно во что раскладываются группы, древние ASIC PFC-3C евда-ли умеют многостадийную обработку, поэтому ACLи компилируются в удобоваримый для ASIC/TCAM вид и только тогда вливаются.

http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst6500/ios/12-2SX/configuration/guide/book/acl.html#wp1093210

An ACE defined using a group name is equivalent to multiple ACEs (one applied to each entry in the object group). The system expands the PBACL ACE into multiple Cisco IOS ACEs (one ACE for each entry in the group) and populates the ACEs in the TCAM. Therefore, the PBACL feature reduces the number of entries you need to configure but does not reduce TCAM usage.

 

Во-вторых, правила с established скорее всего обрабатываются сначала в MSFC, что нагружает процессор. Матчатся вероятнее всего по Netflow TCAM, а он там тоже ой какой не резиновый.

 

В-третьих, ваш deny log в правилах это не хорошо:

http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst6500/ios/12-2SXF/native/configuration/guide/swcg/acl.html#wp1090858

Optimized ACL Logging (OAL) provides hardware support for ACL logging. Unless you configure OAL, packets that require logging are processed completely in software on the MSFC. OAL permits or drops packets in hardware on the PFC3 and uses an optimized routine to send information to the MSFC3 to generate the logging messages.

 

А чтобы воспользоваться OAL для deny можете найти там по ссылке как его включать. Заодно почитайте сколько у него исключений.

 

Вывод: вам нужен роутер, а вы купили свитч. Тут много холиваров ходит на тему различия L3-свитчей и роутеров, и это как раз ваш случай. L3-свитч не подходит.

Вы используете его в неестественной форме. Для свитча ACL, PBR и прочая надобно делать как можно проще и меньше, потому как чуть-что и все полилось в ЦПУ, который там силой и талантами ну никак не блещет. Если вы хотите использовать всю требуемую функциональность - надо покупать ASR. Иначе надо смириться с "особенностями" платформы 65/76 и что-нибудь выкинуть и/или упростить. :-)

[kostas]

Спасибо. Попробую оптимизировать. А железка как наз бралась на локалку, где большой трафик между сетками ходит. Много портов надо. Но в тоже время нужна безопасность между сетками. Поэтому в общем-то и рассматривался каталист. Но никак не думал, что обычная пакетная фильтрация убьет его нафиг.

 

Скажите, а что лучше - один большой универсальный ACL на все интерфейсы или чуть проще, но на каждый интерфейс один? Во втором случае в каждом листе будет дублироваться правила, тк есть стандартные для всех сетей правила.

 

PS: И еще, не совсем понял, где видно, что есть переполнение TCAM. Что в данном случае показывает sh tcam counts detail?

 

#sh tcam counts detail 
          Used        Free        Percent Used       Reserved
          ----        ----        ------------       --------
Labels:(in) 35        4037            1                    24
Labels:(eg)  0        4072            0                    24

ACL_TCAM
--------
HI BANK
 Masks:    118        1930            5                    72
Entries:    289       16095            1                   576

LOW BANK
 Masks:   1978          70           96                     0
Entries:  11132        5252           67                     0

QOS_TCAM
--------
HI BANK
 Masks:     25        2023            1                    25
Entries:      0       16384            0                   200

LOW BANK
 Masks:      7        2041            0                     0
Entries:     32       16352            0                     0

   LOU:      9         119            7
 ANDOR:      1          15            6
 ORAND:      0          16            0
   ADJ:      3        2045            0

 

Или чем-то другим смотреть надо?

[s.lobanov]

так не "пакетная фильтрация" его убивает, а комбинация PBR+ACL. как вам уже подсказали выше, есть маркетинговое позиционирование, типа свитчи это быстрые молотилики с маленькими табличками (acl, fib, mfib и т.п.), "роутеры" это тоже самое, но с жирными таблицами, более хитрыми механизмами обработки трафика и с "золотыми" портами

 

вы купили то, что маркетологи называют "свитчом", чтоб запихать на него функционал bras+L4 вам придётся изучать его внутреннюю архитектуру, делать всякие vacl-ы и т.п., в особо печальных случаях петли и vrf-ы, превращая тем самым одну железку как бы в две, чтоб дважды обработать трафик. вообщем, развлекайтесь

[kostas]

То есть, если я уберу WCCP куда нибудь в сторонку с этой железяки, я могу нормальные ACL делать? Или все таки фига с два?

Как посмотреть где я упираюсь? Без этой информации развлекаться не удобно ))

[s.lobanov]

лично я не видел полного манула как расчитывать потребление ткама. из опыта могу сказать, что на huawei начинаются глюки, когда аппаратные ресурсы съедаются процентов на 90 (может и раньше, просто это незаметно). у cisco типа c3560/c3750 примерно также. полезные команды в вашем случае: show fm sum (показывает что активировалось) и скрытая команда "sh tcam detail acl"

 

относительно huawei, там всё очень печально, что потом оно ещё и не восстанавливается (после проведения оптимизации), нужно бутать линейные карты, Cisco такими болячками вроде бы не страдает

[DVM-Avgoor]

Нормальные ACL для 65ой не содержат никаких log, established. И состоят из как можно меньшего кол-ва правил.

Что лучше иметь 1 гигантский АЦЛ или 100 мелких на 100 портах я тоже не знаю. Я пытался это выяснить экспериментальным путем, но все же не вышло.

Результаты были таковы, что добавление ацл на один svi занимало не линейно кол-во включений в TCAM, на два-три влана даже чуть меньше, на четыре влана даже меньше чем в изначальном случае. На 5 чуть ли не удваивалось все. FM_CORE конечно оптимизирует правила перед заливкой, но однозначного ответа про алгоритм я дать не могу. Там все завязано на масках и интерфейсах, поэтому 1 ACL на 100 интерфейсах не равен 100 ACL на 100 интерфейсах, но в какую сторону можно узнать только экспериментально.

[zi_rus]

Cisco такими болячками вроде бы не страдает

зависит от модельки видимо, но для 7600 это тоже актуально

 

https://puck.nether.net/pipermail/cisco-nsp/2014-February/094789.html

 

Once the TCAM enters the exception state, the system must be reloaded to get out of that state

нам из-за такого сюрприза пришлось резко фильтр на фиб ставить, а то бы огребли

[s.lobanov]

zi_rus

может быть и в самом деле от модели или от софта зависит. c3560 на каком-то древнем софте после переполнения mroute-ами нормально оживает

 

ещё нередкий баг у разных вендоров это утечка tcam - актуально для желающих сделать брас из свитча с постоянной правкой acl/qos

[kostas]

Интересно, а что это значит?

 

Interface: Vlan3 is up
 TCAM screening for features: ACTIVE inbound
 TCAM screening for features: ACTIVE outbound
Interface: Vlan6 is up
 TCAM screening for features: ACTIVE inbound
 TCAM screening for features: ACTIVE outbound

 

Если ACL только на входящий трафик навешаны?

 

interface Vlan3
ip address 10.3.0.1 255.255.0.0
ip access-group ACL1 in
ip helper-address 10.0.0.252
!
interface Vlan6
ip address 10.6.0.1 255.255.0.0
ip access-group ACL2 in
ip helper-address 10.0.0.252

 

А что выдает команда "sh tcam detail acl"? На что там смотреть?

 

То, что log в ACL нагружает control plane - это понятно. Стоит для настройки ACL, временно. Но как быть с established? Всегда думал, что оно как раз сокращает ACL. Как без него обойтись? Обратный трафик он ведь разный бывает. Все правилами не охватишь. Да и листы от этого только распухнут.

 

Кстати, ACL на исходящий трафик интерфейса ведь не использует TCAM? Где-то в мануалах cisco проскакивало. Они как раз рекомендуют вешать толкьо на входящий трафик.

Изменено 25 июня, 2014 пользователем kostas

[DVM-Avgoor]

То, что log в ACL нагружает control plane - это понятно. Стоит для настройки ACL, временно. Но как быть с established? Всегда думал, что оно как раз сокращает ACL. Как без него обойтись? Обратный трафик он ведь разный бывает. Все правилами не охватишь. Да и листы от этого только распухнут.

 

 

Ну вот ваш established и вешает на output невидимый ACL. Эта железка с архитектурой родом из 90-х, все что вы неявно задаете она распаковывает в явные правила и забивает ими TCAM. Никакого профита от этого нет, а вот крупный недостаток в виде неявных правил и непредсказуемого поведения вы получаете в нагрузку. Оно того не стоит. Правила хорошего тона для деревянных свитчей я вам уже перечислил. Если вам это не подходит - берите ASR. 7600 имеет ровно ту же архитектуру, поэтому он не вариант.

 

Кстати, ACL на исходящий трафик интерфейса ведь не использует TCAM? Где-то в мануалах cisco проскакивало. Они как раз рекомендуют вешать толкьо на входящий трафик.

 

Если вы используете простые правила без отслеживания соединений - это было бы почти правдой. Т.е. если бы сделали ACL "MY_COOL_NETS" и вешали его и на вход и на выход, оно бы занимало только один слот в TCAM, а если бы они были разные то занимали бы больше. Я поэтому и говорил вам - используйте АЦЛ только для исходящего трафика с интерфейса, чтобы они не пересекались с WCCP, навешанным на INPUT. Но идея иметь statefull ACL в свитче убьет весь эффект. Задумайтесь.

[kostas]

Спасибо большое за дельные советы. Попробую переделать ACL на исходящий трафик.

 

PS: Я до сих пор так и не нашел, где посмотреть на какой процент забиты TCAM. s.lobanov давал парочку команд, но там вроде нет такой информации.

[DVM-Avgoor]

PS: Я до сих пор так и не нашел, где посмотреть на какой процент забиты TCAM. s.lobanov давал парочку команд, но там вроде нет такой информации.

 

sh tcam counts detail вы сами же показали. Там видно что masks в нижнем банке на 96% заняты. То что не вошло - он не втолкнул. 100% вы там вряд ли когда увидите, иос постарается такого никогда не допустить ибо это дикий fail с плохими последствиями. А вот "sh tcam detail acl" показывает состав TCAM прям в виде правил записанных в нем. Вывод этот разгребать сложно и не ясно, нужно ли. В любом случае нет никакой команды "спрогнозируй что будет если я применю еще пару ацл", увы.

[kostas]

Ага, не углядел эту цифру. Спасибо! Теперь понятно на что хоть смотреть в случае чего.

 

Ну что же - теперь хоть будем знать с чем столкнулись...

 

Спасибо еще раз всем за помощь и советы.

[kostas]

Вот чего еще пока понять не могу, так это то, почему на второй точно такой же железке ни TCAM ни переполняются, ни процессор не подпрыгивает от каждого чиха с ними. Стоит как вкопаный. Хотя и ACL точно такие же развесистые на IN и WCCP включен. Как думаете, что может быть?

 

Потроха практически идентичны.

 

Это на котором всплыли проблемы

 

ds1#sh mod
Mod Ports Card Type                              Model              Serial No.
--- ----- -------------------------------------- ------------------ -----------
 1   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1101CTTW
 2   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1021P4JY
 3   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1023QBRV
 4   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1021NW0X
 5    5  Supervisor Engine 720 10GE (Active)    VS-S720-10G        SAL12372PJX
 6   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1021P2PY
 7   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1218P77T
 8   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1217NT0X
 9   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1052BYZA

Mod MAC addresses                       Hw    Fw           Sw           Status
--- ---------------------------------- ------ ------------ ------------ -------
 1  001a.6cbe.a460 to 001a.6cbe.a48f   2.5   12.2(14r)S5  12.2(33)SXI6 Ok
 2  0017.e041.1d9c to 0017.e041.1dcb   2.3   12.2(14r)S5  12.2(33)SXI6 Ok
 3  0018.1833.8644 to 0018.1833.8673   2.3   12.2(14r)S5  12.2(33)SXI6 Ok
 4  0017.0ed4.82e4 to 0017.0ed4.8313   2.3   12.2(14r)S5  12.2(33)SXI6 Ok
 5  001d.45e2.6030 to 001d.45e2.6037   2.0   8.5(2)       12.2(33)SXI6 Ok
 6  0017.e041.2474 to 0017.e041.24a3   2.3   12.2(14r)S5  12.2(33)SXI6 Ok
 7  001f.9e0f.7088 to 001f.9e0f.70b7   2.7   12.2(14r)S5  12.2(33)SXI6 Ok
 8  001f.9e5c.3b88 to 001f.9e5c.3bb7   2.7   12.2(14r)S5  12.2(33)SXI6 Ok
 9  001a.2f80.f5c0 to 001a.2f80.f5ef   2.5   12.2(14r)S5  12.2(33)SXI6 Ok

Mod  Sub-Module                  Model              Serial       Hw     Status 
---- --------------------------- ------------------ ----------- ------- -------
 1  Centralized Forwarding Card WS-F6700-CFC       SAD103102LM  3.0    Ok
 2  Centralized Forwarding Card WS-F6700-CFC       SAL1019MBDB  2.0    Ok
 3  Centralized Forwarding Card WS-F6700-CFC       SAL1029W0ZC  2.0    Ok
 4  Centralized Forwarding Card WS-F6700-CFC       SAL1017LFEZ  2.0    Ok
 5  Policy Feature Card 3       VS-F6K-PFC3C       SAL12372VEC  1.0    Ok
 5  MSFC3 Daughterboard         VS-F6K-MSFC3       SAL12351G4C  1.0    Ok
 6  Centralized Forwarding Card WS-F6700-CFC       SAL1022PXU8  2.0    Ok
 7  Distributed Forwarding Card WS-F6700-DFC3B     SAL1219Q10J  4.6    Ok
 8  Distributed Forwarding Card WS-F6700-DFC3B     SAL1219Q12S  4.6    Ok
 9  Centralized Forwarding Card WS-F6700-CFC       SAL10360MGJ  3.0    Ok

 

А этот, который как ни в чем не бывало трудится

 

ds2#sh module 
Mod Ports Card Type                              Model              Serial No.
--- ----- -------------------------------------- ------------------ -----------
 1   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1128U8UD
 2   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1023QFHW
 3   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1225UNPZ
 4   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1219Q3HG
 5    5  Supervisor Engine 720 10GE (Active)    VS-S720-10G        SAD1205064T
 6   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL09370BH6
 7   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1225UKDK
 8   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL1225UKC1
 9   48  CEF720 48 port 10/100/1000mb Ethernet  WS-X6748-GE-TX     SAL09211X60

Mod MAC addresses                       Hw    Fw           Sw           Status
--- ---------------------------------- ------ ------------ ------------ -------
 1  001b.d5fb.87b8 to 001b.d5fb.87e7   2.6   12.2(18r)S1  12.2(33)SXI6 Ok
 2  0018.1854.4174 to 0018.1854.41a3   2.3   12.2(14r)S5  12.2(33)SXI6 Ok
 3  0021.553a.2de0 to 0021.553a.2e0f   3.0   12.2(18r)S1  12.2(33)SXI6 Ok
 4  0021.552a.baf0 to 0021.552a.bb1f   2.7   12.2(14r)S5  12.2(33)SXI6 Ok
 5  0017.944a.b2c4 to 0017.944a.b2cb   2.0   8.5(2)       12.2(33)SXI6 Ok
 6  0015.6245.f740 to 0015.6245.f76f   2.3   12.2(14r)S5  12.2(33)SXI6 Ok
 7  001d.703c.d2f0 to 001d.703c.d31f   3.0   12.2(18r)S1  12.2(33)SXI6 Ok
 8  0021.d85a.5a38 to 0021.d85a.5a67   3.0   12.2(18r)S1  12.2(33)SXI6 Ok
 9  0014.1c34.1980 to 0014.1c34.19af   2.2   12.2(14r)S5  12.2(33)SXI6 Ok

Mod  Sub-Module                  Model              Serial       Hw     Status 
---- --------------------------- ------------------ ----------- ------- -------
 1  Centralized Forwarding Card WS-F6700-CFC       SAL09465GH5  2.1    Ok
 2  Centralized Forwarding Card WS-F6700-CFC       SAL1022Q043  2.0    Ok
 3  Centralized Forwarding Card WS-F6700-CFC       SAL1225UFH0  4.1    Ok
 4  Distributed Forwarding Card WS-F6700-DFC3B     SAL1219Q13B  4.6    Ok
 5  Policy Feature Card 3       VS-F6K-PFC3C       SAD1203056E  1.0    Ok
 5  MSFC3 Daughterboard         VS-F6K-MSFC3       SAL1205F09R  1.0    Ok
 6  Centralized Forwarding Card WS-F6700-CFC       SAL093813ST  2.0    Ok
 7  Centralized Forwarding Card WS-F6700-CFC       SAL1225UE1J  4.1    Ok
 8  Centralized Forwarding Card WS-F6700-CFC       SAL1225UM6K  4.1    Ok
 9  Centralized Forwarding Card WS-F6700-CFC       SAL09264CLM  2.0    Ok

 

Может есть у кого нибудь версии?

[DVM-Avgoor]

У вас зоопарк. Почему только на 2х и 1ой карте DFC-3B? И зачем он там вообще если у вас PFC-3C?

Ну логично предположить конечно же DFC-3B. Но я конечно же не уверен, потому что по закону магии PFC должен выбраться 3A.

https://supportforums.cisco.com/document/85621/understanding-msfc-pfc-and-dfc-roles-catalyst-6500-series-switch

 

Первое, что я предлагаю: уволить того, кто выбирал эти конфигурации.

Второе: хз даже, смотрите #show platform hardware pfc mode на обоих железках, и будем дальше думать.

[kostas]

На обоих одинаково. Обе железки комплектовали в NAG ))

 

ds1#show platform hardware pfc mode
PFC operating mode : PFC3B

ds2#show platform hardware pfc mode
PFC operating mode : PFC3B