Beginner Опубликовано 5 августа, 2009 · Жалоба Чем сейчас модно собирать и обрабатывать netflow? Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Дегтярев Илья Опубликовано 5 августа, 2009 · Жалоба Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет. Только агрегированные за определенное время стоит хранить в базе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pnep Опубликовано 6 августа, 2009 · Жалоба Чем сейчас модно собирать и обрабатывать netflow? Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики? http://nfdump.sourceforge.net/ - для собирания. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 6 августа, 2009 · Жалоба Вопрос к стати, какая альтернатива fprobe есть для linux ? А то он здорово грузит CPU :-( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
chainick Опубликовано 6 августа, 2009 · Жалоба У нас flowtools, сырые данные на фс, которые потом гзипятся на ленту и раз в сутки сборщик рисует аггрегированные странички - топ толкерс, траффик етс. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ates Опубликовано 6 августа, 2009 · Жалоба Чем сейчас модно собирать и обрабатывать netflow? Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики? Есть фреймфорк на erlang который понимает netflow 5 и 9. Если erlang не пугает - достаточно легко адаптировать под ваши нужды. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Beginner Опубликовано 6 августа, 2009 · Жалоба Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.Только агрегированные за определенное время стоит хранить в базе. В общем так и собираюсь. Хранить в базе пятиминутные или пятнадцатиминутные подбивки, а исходные данные сливать в часовые файлы. После месяц выливать не внешние носители или хранилище. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 7 августа, 2009 · Жалоба flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 7 августа, 2009 (изменено) · Жалоба flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер. Т.е. нужен софтовый сенсор нетфлоу под Линукс? - ipt_netflow... Изменено 7 августа, 2009 пользователем Jugernault Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vadimus Опубликовано 7 августа, 2009 · Жалоба Ну да, http://freshmeat.net/projects/ipt-netflow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 9 августа, 2009 · Жалоба Ядро 2.6.30.4 ipt_netflow-1.6 newbridge:/usr/local/src/ipt_netflow-1.6# make all install Compiling for kernel 2.6.30.4-custom make -C /lib/modules/2.6.30.4-custom/build M=/usr/local/src/ipt_netflow-1.6 modules make[1]: Entering directory `/usr/src/linux-2.6.30.4' CC [M] /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.o /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘nf_seq_show’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:263: error: implicit declaration of function ‘HIPQUAD’ /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:265: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘usock_free’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: format ‘%u’ expects type ‘unsigned int’, but argument 4 has type ‘struct socket *’ /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_usock’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:580: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_aggregation’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:693: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: At top level: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1245: warning: initialization from incompatible pointer type /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘ipt_netflow_init’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1315: error: ‘struct proc_dir_entry’ has no member named ‘owner’ :-( Как решить такую проблему ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vadislaus Опубликовано 5 сентября, 2009 · Жалоба Тут http://sourceforge.net/tracker/?func=detai...mp;atid=1088104 говорится о решении проблемы (скачать с репозитория). Мне помогло Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BETEPAH Опубликовано 8 сентября, 2009 (изменено) · Жалоба в моём случае (CentOS 5.3) пришлось ещё iptables обновить до 1.3.7, иначе тоже не собиралось а вообще отличная штука, после ulog и fprobe кажется, что вообще не нагружает проц Изменено 8 сентября, 2009 пользователем BETEPAH Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Beginner Опубликовано 1 октября, 2009 · Жалоба Подскажите, пожалуйста. С циски netflow напраляется на linux, где собирается flow-capture. 1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз? 2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Nickuz Опубликовано 2 октября, 2009 · Жалоба 1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз? два раза Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 2 октября, 2009 (изменено) · Жалоба 2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах. А зачем? - Если я правильно понял, то достаточно валить весь нетфлоу поток на один сенсор, а в дальнейшем (при парсинге) выбирать только тот трафик который нужен - ведь номер интерфейса то тоже пишется. Изменено 2 октября, 2009 пользователем Jugernault Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Beginner Опубликовано 5 октября, 2009 · Жалоба Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно. И все же не очень понятно с настройкой на портах. Если включить на портах (не всех) ip flow ingress ip flow egress то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну. PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pnep Опубликовано 5 октября, 2009 · Жалоба Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно. И все же не очень понятно с настройкой на портах. Если включить на портах (не всех) ip flow ingress ip flow egress то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну. PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно две записи то есть трафик прошедший через два порта с дублируется Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Beginner Опубликовано 5 октября, 2009 · Жалоба То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pnep Опубликовано 5 октября, 2009 (изменено) · Жалоба То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз? ага egress нужен когда NAT есть на железке. Ибо во входящем трафике на аплинке не будет видно ip которые сидят за NAT. Потому включаете на внутреннем интерфейсе egress и снимаете разначенный траффик. Изменено 5 октября, 2009 пользователем pnep Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...