Beginner Posted August 5, 2009 Posted August 5, 2009 Чем сейчас модно собирать и обрабатывать netflow? Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики? Вставить ник Quote
Дегтярев Илья Posted August 5, 2009 Posted August 5, 2009 Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет. Только агрегированные за определенное время стоит хранить в базе. Вставить ник Quote
pnep Posted August 6, 2009 Posted August 6, 2009 Чем сейчас модно собирать и обрабатывать netflow? Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики? http://nfdump.sourceforge.net/ - для собирания. Вставить ник Quote
Ivan Rostovikov Posted August 6, 2009 Posted August 6, 2009 Вопрос к стати, какая альтернатива fprobe есть для linux ? А то он здорово грузит CPU :-( Вставить ник Quote
chainick Posted August 6, 2009 Posted August 6, 2009 У нас flowtools, сырые данные на фс, которые потом гзипятся на ленту и раз в сутки сборщик рисует аггрегированные странички - топ толкерс, траффик етс. Вставить ник Quote
ates Posted August 6, 2009 Posted August 6, 2009 Чем сейчас модно собирать и обрабатывать netflow? Сам присматриваюсь к flow-tools с хранением суммарных данных в mysql. Насчет подбивки статистики пока склоняюсь к самостоятельному написанию. Или есть хорошие готовые обработчики статистики? Есть фреймфорк на erlang который понимает netflow 5 и 9. Если erlang не пугает - достаточно легко адаптировать под ваши нужды. Вставить ник Quote
Beginner Posted August 6, 2009 Author Posted August 6, 2009 Храни данные в его исходном формате. В базе займут в разы больше, а выгоды нет.Только агрегированные за определенное время стоит хранить в базе. В общем так и собираюсь. Хранить в базе пятиминутные или пятнадцатиминутные подбивки, а исходные данные сливать в часовые файлы. После месяц выливать не внешние носители или хранилище. Вставить ник Quote
Ivan Rostovikov Posted August 7, 2009 Posted August 7, 2009 flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер. Вставить ник Quote
Jugernault Posted August 7, 2009 Posted August 7, 2009 (edited) flowtools это коллектор. А мне нужно аналог fprobe. Т.е. flow-кодер. Т.е. нужен софтовый сенсор нетфлоу под Линукс? - ipt_netflow... Edited August 7, 2009 by Jugernault Вставить ник Quote
vadimus Posted August 7, 2009 Posted August 7, 2009 Ну да, http://freshmeat.net/projects/ipt-netflow Вставить ник Quote
Ivan Rostovikov Posted August 9, 2009 Posted August 9, 2009 Ядро 2.6.30.4 ipt_netflow-1.6 newbridge:/usr/local/src/ipt_netflow-1.6# make all install Compiling for kernel 2.6.30.4-custom make -C /lib/modules/2.6.30.4-custom/build M=/usr/local/src/ipt_netflow-1.6 modules make[1]: Entering directory `/usr/src/linux-2.6.30.4' CC [M] /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.o /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘nf_seq_show’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:263: error: implicit declaration of function ‘HIPQUAD’ /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:265: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘usock_free’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: format ‘%u’ expects type ‘unsigned int’, but argument 4 has type ‘struct socket *’ /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:535: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_usock’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:580: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘add_aggregation’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:693: warning: too few arguments for format /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: At top level: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1245: warning: initialization from incompatible pointer type /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c: In function ‘ipt_netflow_init’: /usr/local/src/ipt_netflow-1.6/ipt_NETFLOW.c:1315: error: ‘struct proc_dir_entry’ has no member named ‘owner’ :-( Как решить такую проблему ? Вставить ник Quote
vadislaus Posted September 5, 2009 Posted September 5, 2009 Тут http://sourceforge.net/tracker/?func=detai...mp;atid=1088104 говорится о решении проблемы (скачать с репозитория). Мне помогло Вставить ник Quote
BETEPAH Posted September 8, 2009 Posted September 8, 2009 (edited) в моём случае (CentOS 5.3) пришлось ещё iptables обновить до 1.3.7, иначе тоже не собиралось а вообще отличная штука, после ulog и fprobe кажется, что вообще не нагружает проц Edited September 8, 2009 by BETEPAH Вставить ник Quote
Beginner Posted October 1, 2009 Author Posted October 1, 2009 Подскажите, пожалуйста. С циски netflow напраляется на linux, где собирается flow-capture. 1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз? 2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах. Вставить ник Quote
Nickuz Posted October 2, 2009 Posted October 2, 2009 1. Если на циске настроить сбор входящего и исходящего трафика на нескольких интерфейсах, то трафик прошедший через эти интерфейсы посчитается 1 раз? два раза Вставить ник Quote
Jugernault Posted October 2, 2009 Posted October 2, 2009 (edited) 2. Есть ли возможность с разных интерфейсов собирать трафик в разные коллекторы? Например, на нескольких flow-capture слушающих на разных портах. А зачем? - Если я правильно понял, то достаточно валить весь нетфлоу поток на один сенсор, а в дальнейшем (при парсинге) выбирать только тот трафик который нужен - ведь номер интерфейса то тоже пишется. Edited October 2, 2009 by Jugernault Вставить ник Quote
Beginner Posted October 5, 2009 Author Posted October 5, 2009 Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно. И все же не очень понятно с настройкой на портах. Если включить на портах (не всех) ip flow ingress ip flow egress то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну. PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно Вставить ник Quote
pnep Posted October 5, 2009 Posted October 5, 2009 Ладно. С экспортом на несколько коллекторов погорячился - проще лить на все полный поток и на месте парсить что нужно. И все же не очень понятно с настройкой на портах. Если включить на портах (не всех) ip flow ingress ip flow egress то трафик прошедший через 2 таких порта оставит одну запись или две? Я так понимаю что должен одну. PS. Извиняюсь что занудничаю - вопрос из тех что лучше сделать 1 раз правильно две записи то есть трафик прошедший через два порта с дублируется Вставить ник Quote
Beginner Posted October 5, 2009 Author Posted October 5, 2009 То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз? Вставить ник Quote
pnep Posted October 5, 2009 Posted October 5, 2009 (edited) То есть лучше на всех портах собирать ingress, тогда любой трафик будет попадать в статистику 1 раз? ага egress нужен когда NAT есть на железке. Ибо во входящем трафике на аплинке не будет видно ip которые сидят за NAT. Потому включаете на внутреннем интерфейсе egress и снимаете разначенный траффик. Edited October 5, 2009 by pnep Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.