Jump to content
Калькуляторы

Netflow Сбор и обработка

Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

Share this post


Link to post
Share on other sites

Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.

Только агрегированные за определенное время стоит хранить в базе.

Share this post


Link to post
Share on other sites
Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

http://nfdump.sourceforge.net/ - для собирания.

Share this post


Link to post
Share on other sites

У нас flowtools, сырые данные на фс, которые потом гзипятся на ленту и раз в сутки сборщик рисует аггрегированные странички - топ толкерс, траффик етс.

Share this post


Link to post
Share on other sites
Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

Есть фреймфорк на erlang который понимает netflow 5 и 9. Если erlang не пугает - достаточно легко адаптировать под ваши нужды.

Share this post


Link to post
Share on other sites
Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.

Только агрегированные за определенное время стоит хранить в базе.

В общем так и собираюсь. Хранить в базе пятиминутные или пятнадцатиминутные подбивки, а исходные данные сливать в часовые файлы. После месяц выливать не внешние носители или хранилище.

Share this post


Link to post
Share on other sites

flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер.

Т.е. нужен софтовый сенсор нетфлоу под Линукс? - ipt_netflow...

Edited by Jugernault

Share this post


Link to post
Share on other sites

Ядро 2.6.30.4

ipt_netflow-1.6

 

newbridge:/usr/local/src/ipt_netflow-1.6# make all install

Compiling for kernel 2.6.30.4-custom

make -C /lib/modules/2.6.30.4-custom/build M=/usr/local/src/ipt_netflow-1.6 modules

make[1]: Entering directory `/usr/src/linux-2.6.30.4'

CC [M] /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.o

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘nf_seq_show’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:263: error: implicit declaration of function ‘HIPQUAD’

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:265: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘usock_free’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: format ‘%u’ expects type ‘unsigned int’, but argument 4 has type ‘struct socket *’

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_usock’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:580: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_aggregation’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:693: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: At top level:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1245: warning: initialization from incompatible pointer type

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘ipt_netflow_init’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1315: error: ‘struct proc_dir_entry’ has no member named ‘owner’

 

:-(

 

Как решить такую проблему ?

Share this post


Link to post
Share on other sites

в моём случае (CentOS 5.3) пришлось ещё iptables обновить до 1.3.7, иначе тоже не собиралось

а вообще отличная штука, после ulog и fprobe кажется, что вообще не нагружает проц

Edited by BETEPAH

Share this post


Link to post
Share on other sites

Подскажите, пожалуйста. С циски netflow напраляется на linux, где собирается flow-capture.

1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз?

2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах.

Share this post


Link to post
Share on other sites

1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз?

два раза

Share this post


Link to post
Share on other sites

2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах.

А зачем? - Если я правильно понял, то достаточно валить весь нетфлоу поток на один сенсор, а в дальнейшем (при парсинге) выбирать только тот трафик который нужен - ведь номер интерфейса то тоже пишется.

Edited by Jugernault

Share this post


Link to post
Share on other sites

Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно.

 

И все же не очень понятно с настройкой на портах. Если включить на портах (не всех)

ip flow ingress

ip flow egress

то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну.

PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно

Share this post


Link to post
Share on other sites
Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно.

 

И все же не очень понятно с настройкой на портах. Если включить на портах (не всех)

ip flow ingress

ip flow egress

то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну.

PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно

две записи

то есть трафик прошедший через два порта с дублируется

Share this post


Link to post
Share on other sites

То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз?

Share this post


Link to post
Share on other sites
То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз?

ага

 

egress нужен когда NAT есть на железке.

Ибо во входящем трафике на аплинке не будет видно ip которые сидят за NAT.

 

Потому включаете на внутреннем интерфейсе egress и снимаете разначенный траффик.

Edited by pnep

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this