подсчет трафика на SCE

[caz]

Захотелось отказаться от netflow на 6509 и принимать RDR(приводить его к виду netflow,) или NetFlow v9 поток от SCE.

 

Начал с NetFlow v9, льется поток, но в записях одни 0:

Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows

2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1

 

Может кто подскажет куда копать?

и что за замечательная команда RDR-formatter protocol NetflowV9 mapping file [ STRING A file name or path including FTP path ], что должно быть в фале.. погуглив ничего не нашел..

 

Затем, решил через Subscriber Usage RDR собирать статистику, расхождения с NetFlow минимальны, но в данном потоке нет полей Src IP Addr:Port и Dst IP Addr:Port, а статистика для детализации все же нужна, поэтому включил 2-й поток Transaction Usage RDR и стал приводить его к netflow виду, в итоге большое расхождения с netflow.

 

Может кто уже пробывал приводить RDR поток в NetFlow? хотя бы пните, в какую сторону копать :)

Edited August 11, 2010 by caz

[cmhungry]

http://search.cpan.org/dist/RDR-Collector/

[caz]

http://search.cpan.org/dist/RDR-Collector/

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

[cmhungry]

http://search.cpan.org/dist/RDR-Collector/

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.

TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики.

[caz]

http://search.cpan.org/dist/RDR-Collector/

как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR?

для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.

TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики.

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..

[cmhungry]

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..

Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем.

[caz]

спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..

Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем.

понял, еще раз большое спасибо.

[rus-p]

Какие результаты?

Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке.

[caz]

Какие результаты?

Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке.

на 4 гигабитах SUR считает отлично, с TUR пока лично у меня проблеммы, если запускать в реалтайме обработку, то на sce создается большая очередь, которая в конечном итоге переполняется и теряются rdr, даже если увеличить буфер до 79мбайт. Если распаралелить TUR на SCE c помощью RDR-formatter forwarding-mode simple-load-balancing то сыпятся дубликаты и так же переполняется буфер.. если лить сразу на сервер, а потом обрабатывать, то все нормально.. пока тестирую приведение TUR к виду NetFlow - теряется часть трафика, допустим с 16 гигов у абонента в час теряется 200-300мбайт, и при очень маленьком трафике так же возникают казусы.. так же было замечено, что у 1-2 абонентов вообще через TUR не было никакой статистики за час.. хотя TUR настроен выплевывать статистику каждые 5 минут.

[rus-p]

Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ?

 

[caz]

Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ?

да, если сливать на сервер, то потерь rdr нет вообще, если пытаться преобразовывать поток "на лету" в нетфлов вид, то создается очередь, но в этом уже не sce виновата...

Пока заметил, что у rdr есть разница по трафику с netflow, на маленьких и больших объемах.. еше странность, что при тестах 2-м абонентам вообще ничего не посчитал, хотя, если судить по netflow у них был трафик.. возможно глюк какой-то.

[postuser]

Тоже пробую организовать учет на SCE 2020.

 

Пробовал собирать NetFlow V9 с помощью nfcapd, но толи не все приходит, толи вывожу не так... Очень похоже на пример из первого поста. Почему-то нет данных по ip и трафик слишком маленький:

Date flow start          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port   Packets    Bytes Flows
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
2011-06-29 18:36:53.227     0.000     0          0.0.0.0:0     ->          0.0.0.0:0        2.4 M        0     1
...
Summary: total flows: 1155, total bytes: 64.4 M, total packets: 2.7 G, avg bps: 1.2 G, avg pps: 6.2 G, avg bpp: 0
Time window: 2011-06-29 18:36:52 - 2011-06-29 18:36:53
Total flows processed: 1155, Blocks skipped: 0, Bytes read: 41616
Sys: 0.024s flows/second: 48123.0    Wall: 18.007s flows/second: 64.1  

 

Потом планировал конвертировать с помощью nfreplay в NetFlow 5.

Может кто-то реализовывал или нашел готовый конвертер RDR или NetFlow V9 в NetFlow 5? С помощью каких инструментов можно его сделать?

Для сбора RDR нашел только это - http://search.cpan.org/dist/RDR-Collector/. По нему не совсем понятно, как он потом сохраняет данные и может ли конвертировать. Еще интересует, какой тип RDR используют для учета, желательно, чтобы было поле с ip абонента, а не только его SUBSCRIBER_ID?

Анализировал таблицу RPT_TR от CM, но там тоже не весь трафик, хотя через консоль включил Transactions RDR на всех типах трафика.

Как проверить не теряет ли SCE поток RDR или NetFlow?

 

Заранее спасибо за помощь.

Edited July 14, 2011 by postuser

[alks]

не понял что имеется в иду под SUR ткните пальцем пожалуйста

[caz]

формат RDR http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a7.html

формат NetFlow http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a0.html#wp1062912

 

посмотреть сколько чего - sh RDR-formatter statistics

 

p.s.

RDR -> NetFlow 5 преобразовывем с помошью немного переписынного http://search.cpan.org/dist/RDR-Collector/

Edited July 14, 2011 by caz

[postuser]

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:

А как с этим поборолись (NetFlow 9)?

[caz]

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:

А как с этим поборолись (NetFlow 9)?

забил на него. используем RDR.

[raveren]

to caz:

Начал с NetFlow v9, льется поток, но в записях одни 0:

А как с этим поборолись (NetFlow 9)?

забил на него. используем RDR.

Сейчас конвертируете RDR в NetflowV5 на лету или складываете в файлы, а потом другим скриптом отправляете в формате NetflowV5 в биллинг?

[littlesavage]

Сделали с raveren rdrv1 -> netflowv5 конвертилку. Приглашаем к тестированию :)

 

В netflow v9 идут шаблон и данные Subscriber Usage RDR, причем все аттрибуты в шаблоне - приватные цисковые, не знаю, понимает ли их какой-либо из открытых netflow коллекторов.

По идее, там можно и отправку Transaction Usage RDR в формате netflow v9 включить?

Edited October 15, 2012 by littlesavage

[raveren]

Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5?

[BanZaj]

Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5?

 

Добрый день!

 

Пытаюсь прикрутить сбор netflow c sce2020, пока в качестве теста.

Собрал конвертилку на linux, rdr поток принимает, в консоль вываливает, но на коллектор не отправляется, либо я делаю чего-то не того.

 

запускаю

rdr2netflow -p 10000 -d 192.168.1.238 -P 9996 -V 1

 

вывод получаю ввиде (1.1.1.1 адрес абонента вместо реального)

 

RDR TRANSACTION_RDR(0xf0f0f010) .203:51938 -> .242:4244, PPC: 2, FC_ID: 66840, size: 246,  fields: 28
Subscriber: 1.1.1.1@Anonymous Group; package_id: 0; service_id: 123; protocol_id: 1147 skipped: 0
Fri Feb 20 15:34:04 2015 1.1.1.1:51938* -> 54.225.249.242:4244   
Up/Down: 178/128; Duration: 121720ms; Time_frame: 0; Proto: 6
IDs: 9 95 0  85917952 0 0 2

пробовал и на локалхосте запускать nfcapd и на другом. результат один - netflow нету, tcpdump тоже ничего не кажеть.

 

Можете подсказать чего-то?

Edited February 20, 2015 by BanZaj

[2fat2fly]

Проблема актуальна! Кто-нибудь смог в итоге решить эту проблему? caz, все таки происходит учет трафа?