Перейти к содержимому
Калькуляторы

Netflow Сбор и обработка

Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.

Только агрегированные за определенное время стоит хранить в базе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

http://nfdump.sourceforge.net/ - для собирания.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вопрос к стати, какая альтернатива fprobe есть для linux ? А то он здорово грузит CPU :-(

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас flowtools, сырые данные на фс, которые потом гзипятся на ленту и раз в сутки сборщик рисует аггрегированные странички - топ толкерс, траффик етс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чем сейчас модно собирать и обрабатывать netflow?

 

Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики?

Есть фреймфорк на erlang который понимает netflow 5 и 9. Если erlang не пугает - достаточно легко адаптировать под ваши нужды.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.

Только агрегированные за определенное время стоит хранить в базе.

В общем так и собираюсь. Хранить в базе пятиминутные или пятнадцатиминутные подбивки, а исходные данные сливать в часовые файлы. После месяц выливать не внешние носители или хранилище.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер.

Т.е. нужен софтовый сенсор нетфлоу под Линукс? - ipt_netflow...

Изменено пользователем Jugernault

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ядро 2.6.30.4

ipt_netflow-1.6

 

newbridge:/usr/local/src/ipt_netflow-1.6# make all install

Compiling for kernel 2.6.30.4-custom

make -C /lib/modules/2.6.30.4-custom/build M=/usr/local/src/ipt_netflow-1.6 modules

make[1]: Entering directory `/usr/src/linux-2.6.30.4'

CC [M] /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.o

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘nf_seq_show’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:263: error: implicit declaration of function ‘HIPQUAD’

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:265: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘usock_free’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: format ‘%u’ expects type ‘unsigned int’, but argument 4 has type ‘struct socket *’

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_usock’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:580: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_aggregation’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:693: warning: too few arguments for format

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: At top level:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1245: warning: initialization from incompatible pointer type

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘ipt_netflow_init’:

/usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1315: error: ‘struct proc_dir_entry’ has no member named ‘owner’

 

:-(

 

Как решить такую проблему ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тут http://sourceforge.net/tracker/?func=detai...mp;atid=1088104 говорится о решении проблемы (скачать с репозитория). Мне помогло

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

в моём случае (CentOS 5.3) пришлось ещё iptables обновить до 1.3.7, иначе тоже не собиралось

а вообще отличная штука, после ulog и fprobe кажется, что вообще не нагружает проц

Изменено пользователем BETEPAH

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, пожалуйста. С циски netflow напраляется на linux, где собирается flow-capture.

1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз?

2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз?

два раза

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах.

А зачем? - Если я правильно понял, то достаточно валить весь нетфлоу поток на один сенсор, а в дальнейшем (при парсинге) выбирать только тот трафик который нужен - ведь номер интерфейса то тоже пишется.

Изменено пользователем Jugernault

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно.

 

И все же не очень понятно с настройкой на портах. Если включить на портах (не всех)

ip flow ingress

ip flow egress

то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну.

PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно.

 

И все же не очень понятно с настройкой на портах. Если включить на портах (не всех)

ip flow ingress

ip flow egress

то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну.

PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно

две записи

то есть трафик прошедший через два порта с дублируется

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз?

ага

 

egress нужен когда NAT есть на железке.

Ибо во входящем трафике на аплинке не будет видно ip которые сидят за NAT.

 

Потому включаете на внутреннем интерфейсе egress и снимаете разначенный траффик.

Изменено пользователем pnep

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.