caz Опубликовано 11 августа, 2010 (изменено) · Жалоба Захотелось отказаться от netflow на 6509 и принимать RDR(приводить его к виду netflow,) или NetFlow v9 поток от SCE. Начал с NetFlow v9, льется поток, но в записях одни 0: Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows 2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1 2010-06-22 15:23:23.679 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1 2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1 2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1 2010-06-22 15:23:23.623 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 131072 1 Может кто подскажет куда копать? и что за замечательная команда RDR-formatter protocol NetflowV9 mapping file [ STRING A file name or path including FTP path ], что должно быть в фале.. погуглив ничего не нашел.. Затем, решил через Subscriber Usage RDR собирать статистику, расхождения с NetFlow минимальны, но в данном потоке нет полей Src IP Addr:Port и Dst IP Addr:Port, а статистика для детализации все же нужна, поэтому включил 2-й поток Transaction Usage RDR и стал приводить его к netflow виду, в итоге большое расхождения с netflow. Может кто уже пробывал приводить RDR поток в NetFlow? хотя бы пните, в какую сторону копать :) Изменено 11 августа, 2010 пользователем caz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
cmhungry Опубликовано 11 августа, 2010 · Жалоба http://search.cpan.org/dist/RDR-Collector/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 11 августа, 2010 · Жалоба http://search.cpan.org/dist/RDR-Collector/ как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
cmhungry Опубликовано 11 августа, 2010 · Жалоба http://search.cpan.org/dist/RDR-Collector/ как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR? для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 11 августа, 2010 · Жалоба http://search.cpan.org/dist/RDR-Collector/ как раз помошью него и делаю, поток Transaction Usage RDR стал приводить к netflow виду, в итоге большое расхождения с netflow. может не TUR нужно, а другой RDR? для объема - мы используем SUR. Там src/dst неважны, привязка к логину есть - дальше кладем в биллинг. Разбиение по классам есть.TUR - надо крутить настройки количества посылаемых пакетов. При правильных настройках расхождения очень невелики. спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
cmhungry Опубликовано 11 августа, 2010 · Жалоба спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием.. Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 11 августа, 2010 · Жалоба спасибо большое, видать в TUR слишком много пакетов в секунду выставил, по SUR вроде ясно. но все же, вы не пробывали NetFlow v9 на нем? вроде как полей много ( http://cisco.biz/en/US/products/ps6135/pro....html#wp1062912 ) только вот что-то проблемы у меня с ним, то ли с отправкой, то ли с принятием..Нетфлоу пробовали, девятку, но из-за малого количества форматов - ушли на РДР. В девятке не забывайте, что надо темплейты ловить периодически и т.п. Геморройно, в общем. понял, еще раз большое спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rus-p Опубликовано 16 августа, 2010 · Жалоба Какие результаты? Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 16 августа, 2010 · Жалоба Какие результаты?Думаю многим интересно, пусть даже теоретически, можно ли расшириться с 6500/7600 и 1-2Gbps до 15 Gbps обсчета на одной коробке. на 4 гигабитах SUR считает отлично, с TUR пока лично у меня проблеммы, если запускать в реалтайме обработку, то на sce создается большая очередь, которая в конечном итоге переполняется и теряются rdr, даже если увеличить буфер до 79мбайт. Если распаралелить TUR на SCE c помощью RDR-formatter forwarding-mode simple-load-balancing то сыпятся дубликаты и так же переполняется буфер.. если лить сразу на сервер, а потом обрабатывать, то все нормально.. пока тестирую приведение TUR к виду NetFlow - теряется часть трафика, допустим с 16 гигов у абонента в час теряется 200-300мбайт, и при очень маленьком трафике так же возникают казусы.. так же было замечено, что у 1-2 абонентов вообще через TUR не было никакой статистики за час.. хотя TUR настроен выплевывать статистику каждые 5 минут. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rus-p Опубликовано 16 августа, 2010 · Жалоба Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 16 августа, 2010 · Жалоба Правильно ли я понял, что при сливе rdr праямиком на сервер, потерь нет, но глубоко вы не копали. А сейчас вы пытаетесь генерить нетфлов прямо на sce и с этим проблемы ? да, если сливать на сервер, то потерь rdr нет вообще, если пытаться преобразовывать поток "на лету" в нетфлов вид, то создается очередь, но в этом уже не sce виновата... Пока заметил, что у rdr есть разница по трафику с netflow, на маленьких и больших объемах.. еше странность, что при тестах 2-м абонентам вообще ничего не посчитал, хотя, если судить по netflow у них был трафик.. возможно глюк какой-то. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
postuser Опубликовано 14 июля, 2011 (изменено) · Жалоба Тоже пробую организовать учет на SCE 2020. Пробовал собирать NetFlow V9 с помощью nfcapd, но толи не все приходит, толи вывожу не так... Очень похоже на пример из первого поста. Почему-то нет данных по ip и трафик слишком маленький: Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows 2011-06-29 18:36:53.227 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 0 1 2011-06-29 18:36:53.227 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 0 1 2011-06-29 18:36:53.227 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 2.4 M 0 1 ... Summary: total flows: 1155, total bytes: 64.4 M, total packets: 2.7 G, avg bps: 1.2 G, avg pps: 6.2 G, avg bpp: 0 Time window: 2011-06-29 18:36:52 - 2011-06-29 18:36:53 Total flows processed: 1155, Blocks skipped: 0, Bytes read: 41616 Sys: 0.024s flows/second: 48123.0 Wall: 18.007s flows/second: 64.1 Потом планировал конвертировать с помощью nfreplay в NetFlow 5. Может кто-то реализовывал или нашел готовый конвертер RDR или NetFlow V9 в NetFlow 5? С помощью каких инструментов можно его сделать? Для сбора RDR нашел только это - http://search.cpan.org/dist/RDR-Collector/. По нему не совсем понятно, как он потом сохраняет данные и может ли конвертировать. Еще интересует, какой тип RDR используют для учета, желательно, чтобы было поле с ip абонента, а не только его SUBSCRIBER_ID? Анализировал таблицу RPT_TR от CM, но там тоже не весь трафик, хотя через консоль включил Transactions RDR на всех типах трафика. Как проверить не теряет ли SCE поток RDR или NetFlow? Заранее спасибо за помощь. Изменено 14 июля, 2011 пользователем postuser Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 14 июля, 2011 · Жалоба не понял что имеется в иду под SUR ткните пальцем пожалуйста Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 14 июля, 2011 (изменено) · Жалоба формат RDR http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a7.html формат NetFlow http://cisco.biz/en/US/products/ps6135/products_technical_reference_chapter09186a00808484a0.html#wp1062912 посмотреть сколько чего - sh RDR-formatter statistics p.s. RDR -> NetFlow 5 преобразовывем с помошью немного переписынного http://search.cpan.org/dist/RDR-Collector/ Изменено 14 июля, 2011 пользователем caz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
postuser Опубликовано 14 июля, 2011 · Жалоба to caz: Начал с NetFlow v9, льется поток, но в записях одни 0: А как с этим поборолись (NetFlow 9)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 14 июля, 2011 · Жалоба to caz: Начал с NetFlow v9, льется поток, но в записях одни 0: А как с этим поборолись (NetFlow 9)? забил на него. используем RDR. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
raveren Опубликовано 19 июля, 2012 · Жалоба to caz: Начал с NetFlow v9, льется поток, но в записях одни 0: А как с этим поборолись (NetFlow 9)? забил на него. используем RDR. Сейчас конвертируете RDR в NetflowV5 на лету или складываете в файлы, а потом другим скриптом отправляете в формате NetflowV5 в биллинг? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
littlesavage Опубликовано 15 октября, 2012 (изменено) · Жалоба Сделали с raveren rdrv1 -> netflowv5 конвертилку. Приглашаем к тестированию :) В netflow v9 идут шаблон и данные Subscriber Usage RDR, причем все аттрибуты в шаблоне - приватные цисковые, не знаю, понимает ли их какой-либо из открытых netflow коллекторов. По идее, там можно и отправку Transaction Usage RDR в формате netflow v9 включить? Изменено 15 октября, 2012 пользователем littlesavage Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
raveren Опубликовано 4 марта, 2014 · Жалоба Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BanZaj Опубликовано 20 февраля, 2015 (изменено) · Жалоба Ну что, кто-нибудь протестировал конвертилку? Есть у кого-нибудь расхождения с NetFlow v5? Добрый день! Пытаюсь прикрутить сбор netflow c sce2020, пока в качестве теста. Собрал конвертилку на linux, rdr поток принимает, в консоль вываливает, но на коллектор не отправляется, либо я делаю чего-то не того. запускаю rdr2netflow -p 10000 -d 192.168.1.238 -P 9996 -V 1 вывод получаю ввиде (1.1.1.1 адрес абонента вместо реального) RDR TRANSACTION_RDR(0xf0f0f010) .203:51938 -> .242:4244, PPC: 2, FC_ID: 66840, size: 246, fields: 28 Subscriber: 1.1.1.1@Anonymous Group; package_id: 0; service_id: 123; protocol_id: 1147 skipped: 0 Fri Feb 20 15:34:04 2015 1.1.1.1:51938* -> 54.225.249.242:4244 Up/Down: 178/128; Duration: 121720ms; Time_frame: 0; Proto: 6 IDs: 9 95 0 85917952 0 0 2 пробовал и на локалхосте запускать nfcapd и на другом. результат один - netflow нету, tcpdump тоже ничего не кажеть. Можете подсказать чего-то? Изменено 20 февраля, 2015 пользователем BanZaj Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
2fat2fly Опубликовано 3 августа, 2017 · Жалоба Проблема актуальна! Кто-нибудь смог в итоге решить эту проблему? caz, все таки происходит учет трафа? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...