netflow c WS-SUP720-3BXL

[loginex]

Есть задача: снимать netflow с интерфейса vlan299 и передавать его на коллектор.

железо:

Router#show module
Mod Ports Card Type                              Model              Serial No.
--- ----- -------------------------------------- ------------------ -----------
  1    2  Supervisor Engine 720 (Active)         WS-SUP720-3BXL     SAD08300D2T
  2   24  CEF720 24 port 1000mb SFP              WS-X6724-SFP       SAD10290BEP
  3    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      SAL114561KH
  4    1  Application Control Engine Module      ACE10-6500-K9      SAD1031044E

Mod MAC addresses                       Hw    Fw           Sw           Status
--- ---------------------------------- ------ ------------ ------------ -------
  1  0011.21a0.ffdc to 0011.21a0.ffdf   4.0   8.1(3)       12.2(33)SRC3 Ok
  2  000a.b866.1694 to 000a.b866.16ab   2.3   12.2(14r)S5  12.2(33)SRC3 Ok
  3  0017.0e6d.a8f8 to 0017.0e6d.a8fb   2.2   12.2(18r)S1  12.2(33)SRC3 Ok
  4  0018.b9a6.9024 to 0018.b9a6.902b   1.1   8.6(0.252-En 3.0(0)A1(2)  Ok

Mod  Sub-Module                  Model              Serial       Hw     Status
---- --------------------------- ------------------ ----------- ------- -------
  1  Policy Feature Card 3       WS-F6K-PFC3BXL     SAD083006GY  1.3    Ok
  1  MSFC3 Daughterboard         WS-SUP720          SAD082905W8  2.1    Ok
  2  Centralized Forwarding Card WS-F6700-CFC       SAL09402A90  2.0    Ok
  3  Centralized Forwarding Card WS-F6700-CFC       SAL091275K4  2.1    Ok

прошивка c7600s72033-advipservicesk9-mz.122-33.SRC3.bin

 

в конфиге настраивал так:

ip flow-cache entries 128000

mls ip slb purge global
mls ip multicast flow-stat-timer 9
no mls ip multicast
mls aging fast time 8 threshold 3
mls aging long 500
mls aging normal 32
mls flow ip interface-destination-source
no mls flow ipv6
mls nde sender version 5
mls sampling packet-based 1024 8000
no mls acl tcam share-global
mls cef error action reset

interface Vlan299
description Localnet Downstream
ip vrf forwarding localnet-vrf
ip address 192.168.0.1 255.255.255.252
ip flow ingress
ip flow egress
ip ospf cost 1
mls netflow sampling
!

ip flow-export version 5
ip flow-export destination 10.10.10.1 1670 vrf localnet-vrf

 

если посмотреть show mls netflow ip или show ip cache flow, то там все в порядке - показывает транзитные передачи: откуда, куда и сколько, но на коллекторе вот такая картина:

947129994578    192.168.33.108   35691   0.0.0.1 53402   95      43      0
947130020690    192.168.0.9      19638   0.0.0.1 33215   116     43      0
947130020690    192.168.32.33    10036   0.0.0.1 40562   116     43      0
947130058730    192.168.37.98    4265    0.0.0.1 53679   144     43      0
947130084746    192.168.132.113  25131   0.0.0.1 32211   232     43      0
947130103750    192.168.32.33    1687    0.0.0.1 40562   96      43      0
947130103750    192.168.132.113  25131   0.0.0.1 32211   95      43      0
947130232918    192.168.38.170   2353    0.0.0.1 35691   144     43      0
947130118750    192.168.133.115  35691   0.0.0.1 27002   116     43      0
947130173874    192.168.146.41   6881    0.1.0.4 6881    48      43      0
947130173874    192.168.132.113  25131   0.0.0.1 32211   174     43      0
947130173874    192.168.146.41   4992    0.1.0.4 6881    96      43      0
947130213910    192.168.0.2  0       224.0.0.5       0       940     43     0
947130213910    192.168.146.144  6881    0.1.0.3 6881    93      43      0
947130213910    192.168.41.11    52768   0.0.0.1 19647   95      43      0
947130252918    192.168.132.113  1403    0.0.0.1 32211   144     43      0

 

upd: vlan299 на TE3/1

Edited March 2, 2011 by loginex

[Tosha]

А зачем у Вас

- mls flow ip interface-destination-source

- mls sampling packet-based 1024 8000

- mls netflow sampling

 

Хотите грубо прикинуть пролетающий трафик?

 

ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика...

 

Что показывают

sh mls nde

sh mls netflow table-contention summ

sh mls netflow flowmask

Edited March 3, 2011 by Tosha

[loginex]

А зачем у Вас

- mls flow ip interface-destination-source

- mls sampling packet-based 1024 8000

- mls netflow sampling

 

Хотите грубо прикинуть пролетающий трафик?

нет, грубо не надо. советуете убрать ?

 

 

ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика...

да, судя по всему так оно и есть, но это ладно, повешу ip flow ingress на другом интерфейсе для учета "исходящего траффика".

Что показывают

sh mls nde

sh mls netflow table-contention summ

sh mls netflow flowmask

#show mls nde
Netflow Data Export enabled
Exporting flows to  10.10.10.1 (1670)
Exporting flows from 192.168.0.1 (62384)
Version: 5
Layer2 flow creation is disabled
Layer2 flow export is disabled
Include Filter not configured
Exclude Filter not configured
Total Netflow Data Export Packets are:
    639 packets, 0 no packets, 17676 records
Total Netflow Data Export Send Errors:
        IPWRITE_NO_FIB = 0
        IPWRITE_ADJ_FAILED = 0
        IPWRITE_PROCESS = 0
        IPWRITE_ENQUEUE_FAILED = 0
        IPWRITE_IPC_FAILED = 0
        IPWRITE_OUTPUT_FAILED = 0
        IPWRITE_MTU_FAILED = 0
        IPWRITE_ENCAPFIX_FAILED = 0
        IPWRITE_CARD_FAILED = 0
Netflow Aggregation Disabled

#sh mls netflow table-contention summ
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :   10%
ICAM Utilization             :   0%
Netflow Creation Failures    :   0
Netflow CAM aliases          :   0

#sh mls netflow flowmask
current ip   flowmask for unicast: if-dst-src
current ipv6 flowmask for unicast:    null

[Tosha]

Удалите все samling, mls flow egress

 

Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask

mls flow ip interface-full

 

Сделайте на двух портах

ip flow ingress

Рекомендую снести с интерфейсов и снова назначить

 

Layer2 flow creation is disabled

А вот если надо считать Layer2 - почитайте руководство как включать :)

 

Как сделаете - тестируйте как работает

 

Если не заработает попробуйте без опции

ip vrf forwarding localnet-vrf

И если опять не заработает давайте посмотрим что там с tcam

sh tcam int Vlan299 acl in ip

Ну и для второго интерфейса тоже

Edited March 3, 2011 by Tosha

[loginex]

Удалите все samling, mls flow egress

 

Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask

mls flow ip interface-full

 

Сделайте на двух портах

ip flow ingress

Рекомендую снести с интерфейсов и снова назначить

сделал

Layer2 flow creation is disabled

А вот если надо считать Layer2 - почитайте руководство как включать :)

 

Как сделаете - тестируйте как работает

 

Если не заработает попробуйте без опции

ip vrf forwarding localnet-vrf

И если опять не заработает давайте посмотрим что там с tcam

sh tcam int Vlan299 acl in ip

Ну и для второго интерфейса тоже

меня вот немного смущает то, что траф считается то в общем-то говоря правильно, только вот dst-ip везде какой-то кривой, если только это не был ip адрес интерфейса на циске.... т.е. тут видимо какие-то особенности при работе с msfc/pfc, которые мне непонятны.

[loginex]

без vrf не могу, все равно не заработало(точнее работает, но dstip по прежнему кривой)

Router#sh tcam int Vlan299 acl in ip

* Global Defaults not shared


Entries from Bank 0


Entries from Bank 1

    permit       ip any any (1892418603 matches)

Router#sh tcam int Vlan10 acl in ip 

* Global Defaults not shared


Entries from Bank 0


Entries from Bank 1

    permit       ip any any (1894228044 matches)

[Tosha]

Сделайте пару тестовых интерфейсов и погоняйте трафик без vrf

Как работает NDE + vrf я лично не знаю, у нас без таких изысков.

 

Вот нагуглил что-то про NDE + VRF

 

Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить...

[loginex]

Сделайте пару тестовых интерфейсов и погоняйте трафик без vrf

Как работает NDE + vrf я лично не знаю, у нас без таких изысков.

 

Вот нагуглил что-то про NDE + VRF

 

Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить...

пока выяснил точно, что то, что мне приходит по netflow - это от MSFC, а вот с PFC ничего не приходит.

[loginex]

в общем глюк заключается в том, что экспорт нетфлоу с PFC не работает с интерфейса, находящегося в vrf(причем MSFC экспортируется нормально), если использовать интерфейс из глобальной таблицы - то все в порядке.

возможно это баг прошивки, но на цискокоме про это ничего пока не нашел.

[secandr]

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.

мы их долго мучали, в итоге перенесли netFlow на бордер.

[Tosha]

Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально...

 

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.

Скажите пожалуйста, а Вы на что именно там "наступили"?

 

[loginex]

Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально...

 

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.

Скажите пожалуйста, а Вы на что именно там "наступили"?

ну в vrf она траффик считает нормально, просто интерфейс, с которого она льет нетфлоу траффик на коллектор не должен находиться в vrf, и да, я пробовал указывать vrf в команде ip flow-export $IP $UDP_PORT vrf localnet - так с PFC не экспортируются данные.

 

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.

мы их долго мучали, в итоге перенесли netFlow на бордер.

7600 ? а разве оборудование не к 6700 серии принадлежит ? Это я к тому, что когда читал на цискокоме солюшены по настройке нетфлоу, нигде не говорилось, что у них есть какой-то баг.

[Tosha]

6700 фигурирует в названиях модулей. Маршрутизатор 7600 на уровне шасси и модулей во многом наследник коммутатора 6500.

 

Но все же мозги у него, особенно в виде WS-SUP720-3BXL именно 7600 серия маршрутизаторов.

 

А многие модули универсальны. Они и в 7600 и 6500 встают.

 

Но надо читать раздел совместимости и требования к версиям железа и прошивок (IOS)

Edited March 11, 2011 by Tosha

[secandr]

на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервер

так вот там пропадаю записи из-за маленького объёма

а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо.

[loginex]

на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервер

так вот там пропадаю записи из-за маленького объёма

а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо.

если не сложно, можно ссылку на описание бага ?

[loginex]

у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с)

Router#sh mls netflow table-contention summary 
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :     100% 
ICAM Utilization             :     4% 
Netflow Creation Failures    :     29478 
Netflow CAM aliases          :     0

[loginex]

еще немного уличной магии

Router#show running-config | i aging
mls aging fast time 5 threshold 32
mls aging long 64
mls aging normal 32
Router#sh mls netflow table-contention summary 
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :     65% 
ICAM Utilization             :     0% 
Netflow Creation Failures    :     0 
Netflow CAM aliases          :     0

[YaroslavR]

у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с)

Router#sh mls netflow table-contention summary 
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :     100% 
ICAM Utilization             :     4% 
Netflow Creation Failures    :     29478 
Netflow CAM aliases          :     0

До боли знакомая картина...

 

В реализации Netflow на Sup32/Sup720 всех модификаций есть 4 аппаратных ограничения связанные со спецификой чипа EARL7:

1. Нет пакетного семплирования. Все пакеты попадают в кеш, а оттуда уже семплируются. При 100% загрузке TCAM информация о новых сессиях не сохраняется - соответственно данные Netflow становятся полностью недостоверными. К сожалению этот процесс не зависит напрямую от объема трафика: важна специфика - сколько сессий проходит через железку, насколько удачно их хеши ложатся в TCAM и проч. Решения этой проблемы нет - в качестве временных методов способных ненадолго улучшить ситуацию можно посоветовать отключение семплинга и выкручивание aging таймеров в минимум, а так же установку DFC модулей;

2. Во flow записях не отдаются TCP флаги. Для определенных задач это важно;

3. Netflow не поддерживается для пакетов с MPLS метками. Несмотря на то что соответствующие команды CLI есть:

4. Netflow не экспортируется для отброшенного трафика

 

Если вам важен Netflow - не выбирайте Cisco 7600/6500. Из цисколенда смотрите в сторону ASR1000/ASR9000/Nexus7000 - там с flow /по крайней мере на аппаратном уровне/ все более-менее хорошо.

[secandr]

loginex а TAC ничего по этому поводу официально не отвечает и бага таког нет, насколько я знаю. В личной беседе инженеры говорят что-то вроде поста выше.

 

На аср серии тоже не всё гладко, но по крайней мере нетфлоу там собирается :)

Edited March 12, 2011 by secandr