Перейти к содержимому
Калькуляторы

подсчет трафика на SCE RDR NetFlow

Захотелось отказаться от netflow на 6509 и принимать RDR(приводить его к виду netflow,) или NetFlow v9 поток от SCE.

 

Начал с NetFlow v9, льется поток, но в записях одни 0:

Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows

2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

 

Может кто подскажет куда копать?

и что за замечательная команда RDR-formatter protocol NetflowV9 mapping file [ STRING A file name or path including FTP path ], что должно быть в фале.. погуглив ничего не нашел..

 

Затем, решил через Subscriber Usage RDR собирать статистику, расхождения с NetFlow минимальны, но в данном потоке нет полей Src IP Addr:Port и Dst IP Addr:Port, а статистика для детализации все же нужна, поэтому включил 2-й поток Transaction Usage RDR и стал приводить его к netflow виду, в итоге большое расхождения с netflow.

 

Может кто уже пробывал приводить RDR поток в NetFlow? хотя бы пните, в какую сторону копать :)

Изменено пользователем caz

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.

TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.

TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики.

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..

Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..
Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем.

понял, еще раз большое спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Какие результаты?

Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Какие результаты?

Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке.

на 4 гигабитах SUR считает отлично, с TUR пока лично у меня проблеммы, если запускать в реалтайме обработку, то на sce создается большая очередь, которая в конечном итоге переполняется и теряются rdr, даже если увеличить буфер до 79мбайт. Если распаралелить TUR на SCE c помощью RDR-formatter forwarding-mode simple-load-balancing то сыпятся дубликаты и так же переполняется буфер.. если лить сразу на сервер, а потом обрабатывать, то все нормально.. пока тестирую приведение TUR к виду NetFlow - теряется часть трафика, допустим с 16 гигов у абонента в час теряется 200-300мбайт, и при очень маленьком трафике так же возникают казусы.. так же было замечено, что у 1-2 абонентов вообще через TUR не было никакой статистики за час.. хотя TUR настроен выплевывать статистику каждые 5 минут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ?

да, если сливать на сервер, то потерь rdr нет вообще, если пытаться преобразовывать поток "на лету" в нетфлов вид, то создается очередь, но в этом уже не sce виновата...

Пока заметил, что у rdr есть разница по трафику с netflow, на маленьких и больших объемах.. еше странность, что при тестах 2-м абонентам вообще ничего не посчитал, хотя, если судить по netflow у них был трафик.. возможно глюк какой-то.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тоже пробую организовать учет на SCE 2020.

 

Пробовал собирать NetFlow V9 с помощью nfcapd, но толи не все приходит, толи вывожу не так... Очень похоже на пример из первого поста. Почему-то нет данных по ip и трафик слишком маленький:

Date flow start          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port   Packets    Bytes Flows
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
...
Summary: total flows: 1155, total bytes: 64.4 M, total packets: 2.7 G, avg bps: 1.2 G, avg pps: 6.2 G, avg bpp: 0
Time window: 2011-06-29 18:36:52 - 2011-06-29 18:36:53
Total flows processed: 1155, Blocks skipped: 0, Bytes read: 41616
Sys: 0.024s flows/second: 48123.0    Wall: 18.007s flows/second: 64.1  

 

Потом планировал конвертировать с помощью nfreplay в NetFlow 5.

Может кто-то реализовывал или нашел готовый конвертер RDR или NetFlow V9 в NetFlow 5? С помощью каких инструментов можно его сделать?

Для сбора RDR нашел только это - http://search.cpan.org/dist/RDR-Collector/. По нему не совсем понятно, как он потом сохраняет данные и может ли конвертировать. Еще интересует, какой тип RDR используют для учета, желательно, чтобы было поле с ip абонента, а не только его SUBSCRIBER_ID?

Анализировал таблицу RPT_TR от CM, но там тоже не весь трафик, хотя через консоль включил Transactions RDR на всех типах трафика.

Как проверить не теряет ли SCE поток RDR или NetFlow?

 

Заранее спасибо за помощь.

Изменено пользователем postuser

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

не понял что имеется в иду под SUR ткните пальцем пожалуйста

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

формат RDR http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a7.html

формат NetFlow http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a0.html#wp1062912

 

посмотреть сколько чего - sh RDR-formatter statistics

 

p.s.

RDR -> NetFlow 5 преобразовывем с помошью немного переписынного http://search.cpan.org/dist/RDR-Collector/

Изменено пользователем caz

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:
А как с этим поборолись (NetFlow 9)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:
А как с этим поборолись (NetFlow 9)?

забил на него. используем RDR.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:
А как с этим поборолись (NetFlow 9)?

забил на него. используем RDR.

Сейчас конвертируете RDR в NetflowV5 на лету или складываете в файлы, а потом другим скриптом отправляете в формате NetflowV5 в биллинг?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сделали с raveren rdrv1 -> netflowv5 конвертилку. Приглашаем к тестированию :)

 

В netflow v9 идут шаблон и данные Subscriber Usage RDR, причем все аттрибуты в шаблоне - приватные цисковые, не знаю, понимает ли их какой-либо из открытых netflow коллекторов.

По идее, там можно и отправку Transaction Usage RDR в формате netflow v9 включить?

Изменено пользователем littlesavage

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5?

 

Добрый день!

 

Пытаюсь прикрутить сбор netflow c sce2020, пока в качестве теста.

Собрал конвертилку на linux, rdr поток принимает, в консоль вываливает, но на коллектор не отправляется, либо я делаю чего-то не того.

 

запускаю

rdr2netflow -p 10000 -d 192.168.1.238 -P 9996 -V 1

 

вывод получаю ввиде (1.1.1.1 адрес абонента вместо реального)

 

RDR TRANSACTION_RDR(0xf0f0f010) .203:51938 -> .242:4244, PPC: 2, FC_ID: 66840, size: 246,  fields: 28
Subscriber: 1.1.1.1@Anonymous Group; package_id: 0; service_id: 123; protocol_id: 1147 skipped: 0
Fri Feb 20 15:34:04 2015 1.1.1.1:51938* -> 54.225.249.242:4244   
Up/Down: 178/128; Duration: 121720ms; Time_frame: 0; Proto: 6
IDs: 9 95 0  85917952 0 0 2

пробовал и на локалхосте запускать nfcapd и на другом. результат один - netflow нету, tcpdump тоже ничего не кажеть.

 

Можете подсказать чего-то?

Изменено пользователем BanZaj

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Проблема актуальна! Кто-нибудь смог в итоге решить эту проблему? caz, все таки происходит учет трафа?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.