Перейти к содержимому
Калькуляторы

Конвертер NetFlow 9 в 5

Подскажите, есть ли конвертер из NetFlow V9 в V5. Нужно для получения статистики с Cisco SCE.

Или как можно заставить flow-tools работать с 9-ой версией.

Изменено пользователем postuser

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

nProbe.

 

It can be a probe, probe+collector, collector, or a proxy. In proxy mode you can convert from/to IPFIX/NetFlow v5/v9 in order to smoothly upgrade to newer netflow protocol versions while capitalizing on previous protocol versions. So you can for instance convert flows coming from your v5 router into IPFIX and vice-versa. Note that with some combinations (e.g. from v9 to v5) you might loose some flow information.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Его уже смотрели раньше. Он закрытый и платный (:

Есть еще этот http://search.cpan.org/~shamrock/RDR-Collector-1.0000/, но это просто коллектор, он не умеет конвертировать в NetFlow V5. И еще не понятно, в каком виде он может выводить данные

Изменено пользователем postuser

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

можете посмотреть в сторону nfdump: http://nfdump.sourceforge.net/

 

 

NFDUMP tools overview

 

All tools support netflow v5, v7 and v9.

 

nfcapd - netflow capture daemon.

Reads the netflow data from the network and stores the data into files. Automatically rotate files every n minutes. ( typically ever 5 min ) nfcapd reads netflow v5, v7 and v9 flows transparently. You need one nfcapd process for each netflow stream.

 

nfdump - netflow dump.

Reads the netflow data from the files stored by nfcapd. It's syntax is similar to tcpdump. If you like tcpdump you will like nfdump. Displays netflow data and can create lots of top N statistics of flows IP addresses, ports etc ordered by whatever order you like.

 

nfprofile - netflow profiler.

Reads the netflow data from the files stored by nfcapd. Filters the netflow data according to the specified filter sets ( profiles ) and stores the filtered data into files for later use.

 

nfreplay - netflow replay

Reads the netflow data from the files stored by nfcapd and sends it over the network to another host.

 

nfclean.pl - cleanup old data

Sample script to cleanup old data. You may run this script every hour or so.

 

ft2nfdump - Read and convert flow-tools data.

Reads flow-tools data from files or from stdin in a chain of flow-tools commands and converts the data into nfdump format to be processed by nfdump.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

день добрый.

тема конечно устарела, но я также искал данный конвертер, т.к. флоу тулз имеет много полезных утилит.

остановился на flowd у него есть также фильтры отсечения ненужного трафика, т.е. например потоки локального трафика.

но есть минусы, чтобы отправить в 5 версию надо уже разбирать сформированный файл, т.к. он сам его не ротэйтит, приходиться убивать демон. а версия 9 это всетаки шаблонная, значит идет потеря трафика пока демон шаблонов нацепляет, убивая каджые 5 минут объем множится.

главный минус не умеет отправлять не в stdout не в pipe.

поковырял исходники и дописал патч к версии flowd-0.9.1_2

теперь с параметром -n программа валит поток в stderr в cvs формате как и flowd-reader, что прекрастно понимают flow-tools, так же с данным параметром не сохраняется дамп на диск, т.к. я его отправляю в другой графический колектор уже удалив ненужные потоки, что ненапрягает диск лишний раз и не забивает место. ну или прячет виайпи :)

патч прилагаю, пользуйтесь.

ну и запуск уже работающего фильтра для колектора у меня такой

flowd -n -f /usr/local/etc/flowd.conf 2>&1|flow-import -V5 -f2|flow-send -V5 127.0.0.1/127.0.0.1/9995

нагрузки на процессоры пока замечено небыло

надеюсь flowd всетаки допишет утилиту для онлайн сбора и обработки

flowd.c.diff.txt

Изменено пользователем nshut

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

nshut flowd понимает статистику в формате NetFlow v9 от Cisco SCE или это описание не для нее?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кто может подсказать в чем дело. Циска шлет какой то странный аккаунтинг v9.

 

1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063145,0,7692574,172.23.236.144,0,0,0,0,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063146,0,7693445,172.23.236.144,0,0,34359738368,34359738368,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0
1366063146,0,7693445,172.23.236.144,0,0,34359738368,34359738368,0,0,(null),(null),(null),0,0,0,0,0,0,0,0,0,0,0

 

Что и где копнуть?

 

SCE 1010 v3.8.5

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

nshut flowd понимает статистику в формате NetFlow v9 от Cisco SCE или это описание не для нее?

Для SCE можно вот эту софтинку посмотреть: https://github.com/littlesavage/rdr2netflow

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Для SCE можно вот эту софтинку посмотреть: https://github.com/l...age/rdr2netflow

уже смотрю

при запуске с -V 1 все пусто...

при -V 10 и -V 100 активно данные сыпятся в консоль. но на выходе ничего нет.

 

где еще копать?

 

RDR FLOW_START_RDR(0xf0f0f016) .144:4544 -> .53:80, PPC: 3, FC_ID: 149220, size: 150,  fields: 17
RDR UNKNOWN(0xf0f0f546) .17:19740 -> .66:80, PPC: 1, FC_ID: 185058, size: 369,  fields: 29
RDR FLOW_START_RDR(0xf0f0f016) .3:2927 -> .2:80, PPC: 2, FC_ID: 39534, size: 154,  fields: 17
RDR UNKNOWN(0xf0f0f546) .28:52802 -> .188:10095, PPC: 2, FC_ID: 57868, size: 258,  fields: 29
RDR FLOW_END_RDR(0xf0f0f018) .187:1178 -> .209:80, PPC: 3, FC_ID: 198996, size: 149,  fields: 17
RDR UNKNOWN(0xf0f0f546) .203:59301 -> .119:25, PPC: 3, FC_ID: 218114, size: 258,  fields: 29
RDR FLOW_START_RDR(0xf0f0f016) .101:4113 -> .203:1080, PPC: 3, FC_ID: 210744, size: 149,  fields: 17
RDR UNKNOWN(0xf0f0f546) .16:62612 -> .36:63808, PPC: 3, FC_ID: 194092, size: 258,  fields: 29
RDR FLOW_START_RDR(0xf0f0f016) .175:59843 -> .53:80, PPC: 1, FC_ID: 160531, size: 148,  fields: 17
RDR ANONYMIZED_HTTP_TRANSACTION_USAGE_RDR(0xf0f0f53c) .2:59916 -> .215:80, PPC: 3, FC_ID: 213666, size: 455,  fields: 33

 

RDR FLOW_END_RDR(0xf0f0f018) .111:2296 -> .197:28000, PPC: 1, FC_ID: 171618, size: 154,  fields: 17
       Field 01 STRING(41), 19 bytes: perekreshenko_17_70
       Field 02  INT16(12), 02 bytes: 4
       Field 03  INT32(13), 04 bytes: 63
       Field 04  UINT8(14), 01 bytes: 17
       Field 05 UINT32(16), 04 bytes: 3256667845
       Field 06 UINT16(15), 02 bytes: 28000
       Field 07 UINT32(16), 04 bytes: 3658870895
       Field 08 UINT16(15), 02 bytes: 2296
       Field 09  UINT8(14), 01 bytes: 1
       Field 10 UINT32(16), 04 bytes: 1366086956
       Field 11 UINT32(16), 04 bytes: 1366086978
       Field 12   INT8(11), 01 bytes: 0
       Field 13 UINT32(16), 04 bytes: 171618
       Field 14   INT8(11), 01 bytes: 1
       Field 15  UINT8(14), 01 bytes: 0
       Field 16 STRING(41), 00 bytes:
       Field 17 STRING(41), 00 bytes:

RDR UNKNOWN(0xf0f0f020) .0:0 -> .0:0, PPC: 3, FC_ID: 0, size: 119,  fields: 12
       Field 01 STRING(41), 15 bytes: kolhoznaja_45_1
       Field 02 UINT16(15), 02 bytes: 1
       Field 03  INT32(13), 04 bytes: 16732
       Field 04  INT32(13), 04 bytes: 163718
       Field 05 UINT16(15), 02 bytes: 4615
       Field 06 UINT16(15), 02 bytes: 37328
       Field 07  UINT8(14), 01 bytes: 0
       Field 08 BOOLEAN(31), 01 bytes: ...
       Field 09 BOOLEAN(31), 01 bytes: ...
       Field 10 UINT32(16), 04 bytes: 1366087031
       Field 11 UINT32(16), 04 bytes: 87102
       Field 12 UINT32(16), 04 bytes: 148938

Изменено пользователем murzik_one

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если я правильно понял, то начиная с 3.8.0 нефло уже нет и не будет, так что, наверное, не нужно ковырять умирающую сущность, проще научиться работать с RDR.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если я правильно понял, то начиная с 3.8.0 нефло уже нет и не будет, так что, наверное, не нужно ковырять умирающую сущность, проще научиться работать с RDR.

Дак сконвертить то как то надо. Биллинг не понимает RDR он понимает скотина только netflow v5.

Что-ж нам делать ущербным нищебродам?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

murzik_one, на SCE нужно включить TRANSACTION_USAGE_RDR, используются только они.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если я правильно понял, то начиная с 3.8.0 нефло уже нет и не будет, так что, наверное, не нужно ковырять умирающую сущность, проще научиться работать с RDR.

Откуда такая информация насчёт "нефло уже нет и не будет"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

RDR UNKNOWN(0xf0f0f546) возникает, если в настройках RDR, включен Extended TURs (include protocol specific information).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас