Jump to content
Калькуляторы

подсчет трафика на SCE RDR NetFlow

Захотелось отказаться от netflow на 6509 и принимать RDR(приводить его к виду netflow,) или NetFlow v9 поток от SCE.

 

Начал с NetFlow v9, льется поток, но в записях одни 0:

Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows

2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

 

Может кто подскажет куда копать?

и что за замечательная команда RDR-formatter protocol NetflowV9 mapping file [ STRING A file name or path including FTP path ], что должно быть в фале.. погуглив ничего не нашел..

 

Затем, решил через Subscriber Usage RDR собирать статистику, расхождения с NetFlow минимальны, но в данном потоке нет полей Src IP Addr:Port и Dst IP Addr:Port, а статистика для детализации все же нужна, поэтому включил 2-й поток Transaction Usage RDR и стал приводить его к netflow виду, в итоге большое расхождения с netflow.

 

Может кто уже пробывал приводить RDR поток в NetFlow? хотя бы пните, в какую сторону копать :)

Edited by caz

Share this post


Link to post
Share on other sites

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

Share this post


Link to post
Share on other sites

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.

TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики.

Share this post


Link to post
Share on other sites

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.

TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики.

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..

Share this post


Link to post
Share on other sites

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..

Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем.

Share this post


Link to post
Share on other sites
спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..
Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем.

понял, еще раз большое спасибо.

Share this post


Link to post
Share on other sites

Какие результаты?

Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке.

Share this post


Link to post
Share on other sites
Какие результаты?

Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке.

на 4 гигабитах SUR считает отлично, с TUR пока лично у меня проблеммы, если запускать в реалтайме обработку, то на sce создается большая очередь, которая в конечном итоге переполняется и теряются rdr, даже если увеличить буфер до 79мбайт. Если распаралелить TUR на SCE c помощью RDR-formatter forwarding-mode simple-load-balancing то сыпятся дубликаты и так же переполняется буфер.. если лить сразу на сервер, а потом обрабатывать, то все нормально.. пока тестирую приведение TUR к виду NetFlow - теряется часть трафика, допустим с 16 гигов у абонента в час теряется 200-300мбайт, и при очень маленьком трафике так же возникают казусы.. так же было замечено, что у 1-2 абонентов вообще через TUR не было никакой статистики за час.. хотя TUR настроен выплевывать статистику каждые 5 минут.

Share this post


Link to post
Share on other sites

Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ?

 

Share this post


Link to post
Share on other sites
Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ?

да, если сливать на сервер, то потерь rdr нет вообще, если пытаться преобразовывать поток "на лету" в нетфлов вид, то создается очередь, но в этом уже не sce виновата...

Пока заметил, что у rdr есть разница по трафику с netflow, на маленьких и больших объемах.. еше странность, что при тестах 2-м абонентам вообще ничего не посчитал, хотя, если судить по netflow у них был трафик.. возможно глюк какой-то.

Share this post


Link to post
Share on other sites

Тоже пробую организовать учет на SCE 2020.

 

Пробовал собирать NetFlow V9 с помощью nfcapd, но толи не все приходит, толи вывожу не так... Очень похоже на пример из первого поста. Почему-то нет данных по ip и трафик слишком маленький:

Date flow start          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port   Packets    Bytes Flows
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
...
Summary: total flows: 1155, total bytes: 64.4 M, total packets: 2.7 G, avg bps: 1.2 G, avg pps: 6.2 G, avg bpp: 0
Time window: 2011-06-29 18:36:52 - 2011-06-29 18:36:53
Total flows processed: 1155, Blocks skipped: 0, Bytes read: 41616
Sys: 0.024s flows/second: 48123.0    Wall: 18.007s flows/second: 64.1  

 

Потом планировал конвертировать с помощью nfreplay в NetFlow 5.

Может кто-то реализовывал или нашел готовый конвертер RDR или NetFlow V9 в NetFlow 5? С помощью каких инструментов можно его сделать?

Для сбора RDR нашел только это - http://search.cpan.org/dist/RDR-Collector/. По нему не совсем понятно, как он потом сохраняет данные и может ли конвертировать. Еще интересует, какой тип RDR используют для учета, желательно, чтобы было поле с ip абонента, а не только его SUBSCRIBER_ID?

Анализировал таблицу RPT_TR от CM, но там тоже не весь трафик, хотя через консоль включил Transactions RDR на всех типах трафика.

Как проверить не теряет ли SCE поток RDR или NetFlow?

 

Заранее спасибо за помощь.

Edited by postuser

Share this post


Link to post
Share on other sites

не понял что имеется в иду под SUR ткните пальцем пожалуйста

Share this post


Link to post
Share on other sites

формат RDR http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a7.html

формат NetFlow http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a0.html#wp1062912

 

посмотреть сколько чего - sh RDR-formatter statistics

 

p.s.

RDR -> NetFlow 5 преобразовывем с помошью немного переписынного http://search.cpan.org/dist/RDR-Collector/

Edited by caz

Share this post


Link to post
Share on other sites

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:
А как с этим поборолись (NetFlow 9)?

Share this post


Link to post
Share on other sites

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:
А как с этим поборолись (NetFlow 9)?

забил на него. используем RDR.

Share this post


Link to post
Share on other sites

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:
А как с этим поборолись (NetFlow 9)?

забил на него. используем RDR.

Сейчас конвертируете RDR в NetflowV5 на лету или складываете в файлы, а потом другим скриптом отправляете в формате NetflowV5 в биллинг?

Share this post


Link to post
Share on other sites

Сделали с raveren rdrv1 -> netflowv5 конвертилку. Приглашаем к тестированию :)

 

В netflow v9 идут шаблон и данные Subscriber Usage RDR, причем все аттрибуты в шаблоне - приватные цисковые, не знаю, понимает ли их какой-либо из открытых netflow коллекторов.

По идее, там можно и отправку Transaction Usage RDR в формате netflow v9 включить?

Edited by littlesavage

Share this post


Link to post
Share on other sites

Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5?

Share this post


Link to post
Share on other sites

Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5?

 

Добрый день!

 

Пытаюсь прикрутить сбор netflow c sce2020, пока в качестве теста.

Собрал конвертилку на linux, rdr поток принимает, в консоль вываливает, но на коллектор не отправляется, либо я делаю чего-то не того.

 

запускаю

rdr2netflow -p 10000 -d 192.168.1.238 -P 9996 -V 1

 

вывод получаю ввиде (1.1.1.1 адрес абонента вместо реального)

 

RDR TRANSACTION_RDR(0xf0f0f010) .203:51938 -> .242:4244, PPC: 2, FC_ID: 66840, size: 246,  fields: 28
Subscriber: 1.1.1.1@Anonymous Group; package_id: 0; service_id: 123; protocol_id: 1147 skipped: 0
Fri Feb 20 15:34:04 2015 1.1.1.1:51938* -> 54.225.249.242:4244   
Up/Down: 178/128; Duration: 121720ms; Time_frame: 0; Proto: 6
IDs: 9 95 0  85917952 0 0 2

пробовал и на локалхосте запускать nfcapd и на другом. результат один - netflow нету, tcpdump тоже ничего не кажеть.

 

Можете подсказать чего-то?

Edited by BanZaj

Share this post


Link to post
Share on other sites

Проблема актуальна! Кто-нибудь смог в итоге решить эту проблему? caz, все таки происходит учет трафа?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this