Перейти к содержимому
Калькуляторы

Netflow Сбор и обработка

Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.

Только агрегированные за определенное время стоит хранить в базе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

http://nfdump.sourceforge.net/ - для собирания.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас flowtools, сырые данные на фс, которые потом гзипятся на ленту и раз в сутки сборщик рисует аггрегированные странички - топ толкерс, траффик етс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

Есть фреймфорк на erlang который понимает netflow 5 и 9. Если erlang не пугает - достаточно легко адаптировать под ваши нужды.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.

Только агрегированные за определенное время стоит хранить в базе.

В общем так и собираюсь. Хранить в базе пятиминутные или пятнадцатиминутные подбивки, а исходные данные сливать в часовые файлы. После месяц выливать не внешние носители или хранилище.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер.

Т.е. нужен софтовый сенсор нетфлоу под Линукс? - ipt_netflow...

Изменено пользователем Jugernault

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ядро 2.6.30.4

ipt_netflow-1.6

 

newbridge:/usr/local/src/ipt_netflow-1.6# make all install

Compiling for kernel 2.6.30.4-custom

make -C /lib/modules/2.6.30.4-custom/build M=/usr/local/src/ipt_netflow-1.6 modules

make[1]: Entering directory `/usr/src/linux-2.6.30.4'

CC [M] /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.o

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘nf_seq_show’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:263: error: implicit declaration of function ‘HIPQUAD’

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:265: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘usock_free’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: format ‘%u’ expects type ‘unsigned int’, but argument 4 has type ‘struct socket *’

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_usock’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:580: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_aggregation’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:693: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: At top level:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1245: warning: initialization from incompatible pointer type

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘ipt_netflow_init’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1315: error: ‘struct proc_dir_entry’ has no member named ‘owner’

 

:-(

 

Как решить такую проблему ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тут http://sourceforge.net/tracker/?func=detai...mp;atid=1088104 говорится о решении проблемы (скачать с репозитория). Мне помогло

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

в моём случае (CentOS 5.3) пришлось ещё iptables обновить до 1.3.7, иначе тоже не собиралось

а вообще отличная штука, после ulog и fprobe кажется, что вообще не нагружает проц

Изменено пользователем BETEPAH

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, пожалуйста. С циски netflow напраляется на linux, где собирается flow-capture.

1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз?

2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз?

два раза

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах.

А зачем? - Если я правильно понял, то достаточно валить весь нетфлоу поток на один сенсор, а в дальнейшем (при парсинге) выбирать только тот трафик который нужен - ведь номер интерфейса то тоже пишется.

Изменено пользователем Jugernault

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно.

 

И все же не очень понятно с настройкой на портах. Если включить на портах (не всех)

ip flow ingress

ip flow egress

то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну.

PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно.

 

И все же не очень понятно с настройкой на портах. Если включить на портах (не всех)

ip flow ingress

ip flow egress

то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну.

PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно

две записи

то есть трафик прошедший через два порта с дублируется

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз?

ага

 

egress нужен когда NAT есть на железке.

Ибо во входящем трафике на аплинке не будет видно ip которые сидят за NAT.

 

Потому включаете на внутреннем интерфейсе egress и снимаете разначенный траффик.

Изменено пользователем pnep

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас