Jump to content
Калькуляторы

netflow c WS-SUP720-3BXL прошу помощи в настройке

Есть задача: снимать netflow с интерфейса vlan299 и передавать его на коллектор.

железо:

Router#show module
Mod Ports Card Type                              Model              Serial No.
--- ----- -------------------------------------- ------------------ -----------
  1    2  Supervisor Engine 720 (Active)         WS-SUP720-3BXL     SAD08300D2T
  2   24  CEF720 24 port 1000mb SFP              WS-X6724-SFP       SAD10290BEP
  3    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      SAL114561KH
  4    1  Application Control Engine Module      ACE10-6500-K9      SAD1031044E

Mod MAC addresses                       Hw    Fw           Sw           Status
--- ---------------------------------- ------ ------------ ------------ -------
  1  0011.21a0.ffdc to 0011.21a0.ffdf   4.0   8.1(3)       12.2(33)SRC3 Ok
  2  000a.b866.1694 to 000a.b866.16ab   2.3   12.2(14r)S5  12.2(33)SRC3 Ok
  3  0017.0e6d.a8f8 to 0017.0e6d.a8fb   2.2   12.2(18r)S1  12.2(33)SRC3 Ok
  4  0018.b9a6.9024 to 0018.b9a6.902b   1.1   8.6(0.252-En 3.0(0)A1(2)  Ok

Mod  Sub-Module                  Model              Serial       Hw     Status
---- --------------------------- ------------------ ----------- ------- -------
  1  Policy Feature Card 3       WS-F6K-PFC3BXL     SAD083006GY  1.3    Ok
  1  MSFC3 Daughterboard         WS-SUP720          SAD082905W8  2.1    Ok
  2  Centralized Forwarding Card WS-F6700-CFC       SAL09402A90  2.0    Ok
  3  Centralized Forwarding Card WS-F6700-CFC       SAL091275K4  2.1    Ok

прошивка c7600s72033-advipservicesk9-mz.122-33.SRC3.bin

 

в конфиге настраивал так:

ip flow-cache entries 128000

mls ip slb purge global
mls ip multicast flow-stat-timer 9
no mls ip multicast
mls aging fast time 8 threshold 3
mls aging long 500
mls aging normal 32
mls flow ip interface-destination-source
no mls flow ipv6
mls nde sender version 5
mls sampling packet-based 1024 8000
no mls acl tcam share-global
mls cef error action reset

interface Vlan299
description Localnet Downstream
ip vrf forwarding localnet-vrf
ip address 192.168.0.1 255.255.255.252
ip flow ingress
ip flow egress
ip ospf cost 1
mls netflow sampling
!

ip flow-export version 5
ip flow-export destination 10.10.10.1 1670 vrf localnet-vrf

 

если посмотреть show mls netflow ip или show ip cache flow, то там все в порядке - показывает транзитные передачи: откуда, куда и сколько, но на коллекторе вот такая картина:

947129994578    192.168.33.108   35691   0.0.0.1 53402   95      43      0
947130020690    192.168.0.9      19638   0.0.0.1 33215   116     43      0
947130020690    192.168.32.33    10036   0.0.0.1 40562   116     43      0
947130058730    192.168.37.98    4265    0.0.0.1 53679   144     43      0
947130084746    192.168.132.113  25131   0.0.0.1 32211   232     43      0
947130103750    192.168.32.33    1687    0.0.0.1 40562   96      43      0
947130103750    192.168.132.113  25131   0.0.0.1 32211   95      43      0
947130232918    192.168.38.170   2353    0.0.0.1 35691   144     43      0
947130118750    192.168.133.115  35691   0.0.0.1 27002   116     43      0
947130173874    192.168.146.41   6881    0.1.0.4 6881    48      43      0
947130173874    192.168.132.113  25131   0.0.0.1 32211   174     43      0
947130173874    192.168.146.41   4992    0.1.0.4 6881    96      43      0
947130213910    192.168.0.2  0       224.0.0.5       0       940     43     0
947130213910    192.168.146.144  6881    0.1.0.3 6881    93      43      0
947130213910    192.168.41.11    52768   0.0.0.1 19647   95      43      0
947130252918    192.168.132.113  1403    0.0.0.1 32211   144     43      0

 

upd: vlan299 на TE3/1

Edited by loginex

Share this post


Link to post
Share on other sites

А зачем у Вас

- mls flow ip interface-destination-source

- mls sampling packet-based 1024 8000

- mls netflow sampling

 

Хотите грубо прикинуть пролетающий трафик?

 

ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика...

 

Что показывают

sh mls nde

sh mls netflow table-contention summ

sh mls netflow flowmask

Edited by Tosha

Share this post


Link to post
Share on other sites
А зачем у Вас

- mls flow ip interface-destination-source

- mls sampling packet-based 1024 8000

- mls netflow sampling

 

Хотите грубо прикинуть пролетающий трафик?

нет, грубо не надо. советуете убрать ?

 

 

ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика...
да, судя по всему так оно и есть, но это ладно, повешу ip flow ingress на другом интерфейсе для учета "исходящего траффика".
Что показывают

sh mls nde

sh mls netflow table-contention summ

sh mls netflow flowmask

#show mls nde
Netflow Data Export enabled
Exporting flows to  10.10.10.1 (1670)
Exporting flows from 192.168.0.1 (62384)
Version: 5
Layer2 flow creation is disabled
Layer2 flow export is disabled
Include Filter not configured
Exclude Filter not configured
Total Netflow Data Export Packets are:
    639 packets, 0 no packets, 17676 records
Total Netflow Data Export Send Errors:
        IPWRITE_NO_FIB = 0
        IPWRITE_ADJ_FAILED = 0
        IPWRITE_PROCESS = 0
        IPWRITE_ENQUEUE_FAILED = 0
        IPWRITE_IPC_FAILED = 0
        IPWRITE_OUTPUT_FAILED = 0
        IPWRITE_MTU_FAILED = 0
        IPWRITE_ENCAPFIX_FAILED = 0
        IPWRITE_CARD_FAILED = 0
Netflow Aggregation Disabled

#sh mls netflow table-contention summ
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :   10%
ICAM Utilization             :   0%
Netflow Creation Failures    :   0
Netflow CAM aliases          :   0

#sh mls netflow flowmask
current ip   flowmask for unicast: if-dst-src
current ipv6 flowmask for unicast:    null

Share this post


Link to post
Share on other sites

Удалите все samling, mls flow egress

 

Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask

mls flow ip interface-full

 

Сделайте на двух портах

ip flow ingress

Рекомендую снести с интерфейсов и снова назначить

 

Layer2 flow creation is disabled
А вот если надо считать Layer2 - почитайте руководство как включать :)

 

Как сделаете - тестируйте как работает

 

Если не заработает попробуйте без опции

ip vrf forwarding localnet-vrf

И если опять не заработает давайте посмотрим что там с tcam

sh tcam int Vlan299 acl in ip

Ну и для второго интерфейса тоже

Edited by Tosha

Share this post


Link to post
Share on other sites
Удалите все samling, mls flow egress

 

Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask

mls flow ip interface-full

 

Сделайте на двух портах

ip flow ingress

Рекомендую снести с интерфейсов и снова назначить

сделал
Layer2 flow creation is disabled
А вот если надо считать Layer2 - почитайте руководство как включать :)

 

Как сделаете - тестируйте как работает

 

Если не заработает попробуйте без опции

ip vrf forwarding localnet-vrf

И если опять не заработает давайте посмотрим что там с tcam

sh tcam int Vlan299 acl in ip

Ну и для второго интерфейса тоже

меня вот немного смущает то, что траф считается то в общем-то говоря правильно, только вот dst-ip везде какой-то кривой, если только это не был ip адрес интерфейса на циске.... т.е. тут видимо какие-то особенности при работе с msfc/pfc, которые мне непонятны.

Share this post


Link to post
Share on other sites

без vrf не могу, все равно не заработало(точнее работает, но dstip по прежнему кривой)

Router#sh tcam int Vlan299 acl in ip

* Global Defaults not shared


Entries from Bank 0


Entries from Bank 1

    permit       ip any any (1892418603 matches)

Router#sh tcam int Vlan10 acl in ip 

* Global Defaults not shared


Entries from Bank 0


Entries from Bank 1

    permit       ip any any (1894228044 matches)

Share this post


Link to post
Share on other sites

Сделайте пару тестовых интерфейсов и погоняйте трафик без vrf

Как работает NDE + vrf я лично не знаю, у нас без таких изысков.

 

Вот нагуглил что-то про NDE + VRF

 

Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить...

Share this post


Link to post
Share on other sites
Сделайте пару тестовых интерфейсов и погоняйте трафик без vrf

Как работает NDE + vrf я лично не знаю, у нас без таких изысков.

 

Вот нагуглил что-то про NDE + VRF

 

Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить...

пока выяснил точно, что то, что мне приходит по netflow - это от MSFC, а вот с PFC ничего не приходит.

Share this post


Link to post
Share on other sites

в общем глюк заключается в том, что экспорт нетфлоу с PFC не работает с интерфейса, находящегося в vrf(причем MSFC экспортируется нормально), если использовать интерфейс из глобальной таблицы - то все в порядке.

возможно это баг прошивки, но на цискокоме про это ничего пока не нашел.

Share this post


Link to post
Share on other sites

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.

мы их долго мучали, в итоге перенесли netFlow на бордер.

Share this post


Link to post
Share on other sites

Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально...

 

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.
Скажите пожалуйста, а Вы на что именно там "наступили"?

 

Share this post


Link to post
Share on other sites
Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально...

 

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.
Скажите пожалуйста, а Вы на что именно там "наступили"?

ну в vrf она траффик считает нормально, просто интерфейс, с которого она льет нетфлоу траффик на коллектор не должен находиться в vrf, и да, я пробовал указывать vrf в команде ip flow-export $IP $UDP_PORT vrf localnet - так с PFC не экспортируются данные.

 

А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.

мы их долго мучали, в итоге перенесли netFlow на бордер.

7600 ? а разве оборудование не к 6700 серии принадлежит ? Это я к тому, что когда читал на цискокоме солюшены по настройке нетфлоу, нигде не говорилось, что у них есть какой-то баг.

Share this post


Link to post
Share on other sites

6700 фигурирует в названиях модулей. Маршрутизатор 7600 на уровне шасси и модулей во многом наследник коммутатора 6500.

 

Но все же мозги у него, особенно в виде WS-SUP720-3BXL именно 7600 серия маршрутизаторов.

 

А многие модули универсальны. Они и в 7600 и 6500 встают.

 

Но надо читать раздел совместимости и требования к версиям железа и прошивок (IOS)

Edited by Tosha

Share this post


Link to post
Share on other sites

на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервер

так вот там пропадаю записи из-за маленького объёма

а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо.

Share this post


Link to post
Share on other sites
на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервер

так вот там пропадаю записи из-за маленького объёма

а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо.

если не сложно, можно ссылку на описание бага ?

Share this post


Link to post
Share on other sites

у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с)

Router#sh mls netflow table-contention summary 
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :     100% 
ICAM Utilization             :     4% 
Netflow Creation Failures    :     29478 
Netflow CAM aliases          :     0

Share this post


Link to post
Share on other sites

еще немного уличной магии

Router#show running-config | i aging
mls aging fast time 5 threshold 32
mls aging long 64
mls aging normal 32
Router#sh mls netflow table-contention summary 
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :     65% 
ICAM Utilization             :     0% 
Netflow Creation Failures    :     0 
Netflow CAM aliases          :     0

Share this post


Link to post
Share on other sites
у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с)

Router#sh mls netflow table-contention summary 
Earl in Module 1
Summary of Netflow CAM Utilization (as a percentage)
====================================================
TCAM Utilization             :     100% 
ICAM Utilization             :     4% 
Netflow Creation Failures    :     29478 
Netflow CAM aliases          :     0

До боли знакомая картина...

 

В реализации Netflow на Sup32/Sup720 всех модификаций есть 4 аппаратных ограничения связанные со спецификой чипа EARL7:

1. Нет пакетного семплирования. Все пакеты попадают в кеш, а оттуда уже семплируются. При 100% загрузке TCAM информация о новых сессиях не сохраняется - соответственно данные Netflow становятся полностью недостоверными. К сожалению этот процесс не зависит напрямую от объема трафика: важна специфика - сколько сессий проходит через железку, насколько удачно их хеши ложатся в TCAM и проч. Решения этой проблемы нет - в качестве временных методов способных ненадолго улучшить ситуацию можно посоветовать отключение семплинга и выкручивание aging таймеров в минимум, а так же установку DFC модулей;

2. Во flow записях не отдаются TCP флаги. Для определенных задач это важно;

3. Netflow не поддерживается для пакетов с MPLS метками. Несмотря на то что соответствующие команды CLI есть:

4. Netflow не экспортируется для отброшенного трафика

 

Если вам важен Netflow - не выбирайте Cisco 7600/6500. Из цисколенда смотрите в сторону ASR1000/ASR9000/Nexus7000 - там с flow /по крайней мере на аппаратном уровне/ все более-менее хорошо.

Share this post


Link to post
Share on other sites

loginex а TAC ничего по этому поводу официально не отвечает и бага таког нет, насколько я знаю. В личной беседе инженеры говорят что-то вроде поста выше.

 

На аср серии тоже не всё гладко, но по крайней мере нетфлоу там собирается :)

Edited by secandr

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this