banec Опубликовано 31 марта, 2018 (изменено) · Жалоба 42 minutes ago, aabc said: По-умолчанию он не выключен, а равен 0. Если у вас один экспортер, то так и оставьте. Если несколько, то сделайте им номера по порядку. просветите немного Observation Domain ID = что содержит? ID как число ? и как его с доменом связать? или будет в поле 300 observationDomainName Изменено 31 марта, 2018 пользователем banec Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 1 апреля, 2018 · Жалоба А чем сейчас модно netflow собирать? Сколько уходит на это ресурсов? Можно ли делать это на бордере, например? Трафика 1,5г Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
banec Опубликовано 2 апреля, 2018 · Жалоба On 31.03.2018 at 8:54 PM, aabc said: По-умолчанию он не выключен, а равен 0. Если у вас один экспортер, то так и оставьте. Если несколько, то сделайте им номера по порядку. Поднял эластик+кибану + https://github.com/manitonetworks/flowanalyzer Кибана в Дисковери не показывает что в пакетах ipfix урлов или доменов :( как я понимаю должно быть поле observationDomainName - но его нет. или я что-то не до понимаю ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
banec Опубликовано 2 апреля, 2018 · Жалоба aabc Как я понял все таки IPFIX не содержит доменов :( (подтвердите или опровергните плиз) просто в flowanalyzer есть опция DNS lookup - и на питоне, я глянул, юзает socket.getfqdn но не все адреса резольвятся. даже если они имеют домен. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 3 апреля, 2018 (изменено) · Жалоба Каких доменов? ps. Какой элемент вам нужен из этих https://www.iana.org/assignments/ipfix/ipfix.xhtml? Изменено 3 апреля, 2018 пользователем aabc Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
banec Опубликовано 3 апреля, 2018 · Жалоба 1 hour ago, aabc said: Каких доменов? фактически мне нужно хранить кто куда ходил - ip внутренний и внешний, ip и сайт назначения. по факту нет только сайтов (сопоставление ip c именем FQDN ) observationDomainName в ipfix думал как раз содержит FQDN но это походу имя идентификатора id. Хотелось бы всё в одном, но нужно городить огород по ходу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 7 апреля, 2018 · Жалоба Я, кстати, думал что есть возможность добавить к каждому flow первые n-байт из его содержания. Анализаторы протоколов уже могли бы определить тип соединения (для IDS, например), может влезть начало http запроса, dns запросы, начало ответов на них (в обратные flows). Есть две проблемы - 1) нет стандарта для такого, хоть и определён элемент ipPayloadPacketSection, но он для PSAMP, а следовательно per-packet, в то время как идея чтоб было per-flow; 2) нет софта который бы это ожидал и парсил. Ну и недостаток что это будет занимать больше памяти и увеличивать нагрузку на экспорт. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 10 апреля, 2018 · Жалоба посылать первый пакет из flow по sflow :) Для него тулзы есть, они и сопоставят потом Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bomberman Опубликовано 11 апреля, 2018 (изменено) · Жалоба On 03.04.2018 at 10:01 AM, banec said: Хотелось бы всё в одном, но нужно городить огород по ходу Сомневаюсь что без огорода получится. Анализировать http|https на NAT-е, имхо слишком, но и никто не запрещает. Только это нечто иное нежели задачи решаемые этим модулем. Даже идеологически, как мне кажется. Для логирования обращения по http/https можно сгородить небольшой анализатор, кторотый будет выдирать SNI из TLS Handshake, для https, для http, мернее проблемно. Пусть это не полный пусть, по которому обращение было, но всё же. Ну и разумеется не netflow протоколом экспортировать. К примеру, зеркалировать трафик с обращениями, на железке, а на сервере с анализатором получать зеркалированный трафик и логировать из нужных пакетов SNI. Изменено 11 апреля, 2018 пользователем bomberman Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 18 мая, 2018 (изменено) · Жалоба Как можно слить netflow в несколько destination, но при этом на один из них нужно natevents=0. options ipt_NETFLOW destination=172.23.255.1:8889@172.23.255.10,172.23.255.1:9996@172.23.255.1 natevents=1 protocol=5 Т.е. отправляем с 172.23.255.10 на 172.23.255.1:8889 обычный NetFLOW 5, а на 172.23.255.1:9996 ещё natevents=1 Возможна такая конфигурация? указывать несколько разных destination не получится? И будут ли видны NAT трансляции в NetFLOW v5 ? Изменено 18 мая, 2018 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 18 мая, 2018 · Жалоба 4 часа назад, hsvt сказал: Возможна такая конфигурация? указывать несколько разных destination не получится? И будут ли видны NAT трансляции в NetFLOW v5 ? пересобирали для этого модуль с другим именем. работает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 18 мая, 2018 (изменено) · Жалоба 2 часа назад, LostSoul сказал: пересобирали для этого модуль с другим именем. работает Типа как в два инстанса запущено два модуля с разными именами? Можно подробней чуть, что править ) По сути нужно указывать два разных протокола, в один dst 9, в другой dst 5. А сейчас protocol только глобально можно на один модуль. Изменено 18 мая, 2018 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 19 мая, 2018 · Жалоба 6 часов назад, hsvt сказал: Типа как в два инстанса запущено два модуля с разными именами? Можно подробней чуть, что править ) Да, два инстанса. я не помню, очень давно. могу спросить товарища, который повторял опыт на centos 7 недавно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Susanin Опубликовано 19 сентября, 2018 · Жалоба Добрый день. Решил кто-то задачу с отправкой neflow на два разных адреса ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 19 сентября, 2018 · Жалоба 2 часа назад, Susanin сказал: Добрый день. Решил кто-то задачу с отправкой neflow на два разных адреса ? а в чём проблема??? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Susanin Опубликовано 19 сентября, 2018 · Жалоба Как указать несколько назначений ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 19 сентября, 2018 · Жалоба /modprobe ipt_NETFLOW destination=ip1:port,ip2:port Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Susanin Опубликовано 19 сентября, 2018 · Жалоба пфф..... сорян, протупил. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
andrei.madiarov Опубликовано 9 ноября, 2018 · Жалоба 1)Как привести в порядок именование интерфейсов при экспорте? На шлюзе 50+ VPN туннелей и VLAN + ppp до провадеров. В fprobe-ulog можно было гвоздями прибить соответствие. Сейчас при падении туннеля или ppp я вижу новый номер интерфейса при экспорте. 2)Как размножить ipt_NETFLOW по всем маршрутизаторам? (достаточно ли перенести модуль ядра?) Использую- тестирую debian10 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
andrei.madiarov Опубликовано 9 ноября, 2018 · Жалоба 2 часа назад, andrei.madiarov сказал: 1)Как привести в порядок именование интерфейсов при экспорте? На шлюзе 50+ VPN туннелей и VLAN + ppp до провадеров. В fprobe-ulog можно было гвоздями прибить соответствие. Сейчас при падении туннеля или ppp я вижу новый номер интерфейса при экспорте. 2)Как размножить ipt_NETFLOW по всем маршрутизаторам? (достаточно ли перенести модуль ядра?) Использую- тестирую debian10 нашел в доках. snmp-rules=eth0:0,ppp0:100,tun_cisco:999 snmp-rules=string... - Few SNMP-index conversion rules similar to fproble-ulog. Quoting man fprobe-ulog: "Comma separated list of interface name to SNMP-index conversion rules. Each rule consists of interface base name and SNMP-index base separated by colon (e.g. ppp:200). Final SNMP-index is sum of corresponding SNMP-index base and interface number. In the above example SNMP-index of interface ppp11 is 211. If interface name did not fit to any of conversion rules then SNMP-index will be taken from kernel." This implementation isn't optimized for performance (no rule caching or hashing), but should be fast if rules list are short. Rules are parsed in order from first to last until first match. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
felixio_01 Опубликовано 23 января, 2020 · Жалоба Здравствуйте! Подскажите, в чём может быть проблема? В nfsen не отображаются графики в "Packets" и "Traffic". Графики "Flows" нормально отображаются. uname -a Linux gw3 3.16.0-4-amd64 #1 SMP Debian 3.16.51-3 (2017-12-13) x86_64 GNU/Linux nfsen-1.3.8 /usr/local/bin/nfdump: Version: NSEL-NEL1.6.18 modinfo -F version ipt_NETFLOW 2.4-12-g1519063 cat /etc/modprobe.d/ipt_NETFLOW.conf options ipt_NETFLOW destination=127.0.0.1:2055 protocol=9 natevents=1 sysctl -a | grep net.netflow net.netflow.active_timeout = 1800 net.netflow.aggregation = net.netflow.debug = 0 net.netflow.destination = 127.0.0.1:2055 net.netflow.flush = 0 net.netflow.hashsize = 491666 net.netflow.inactive_timeout = 15 net.netflow.maxflows = 2000000 net.netflow.natevents = 1 net.netflow.promisc = 0 net.netflow.protocol = 9 net.netflow.refresh-rate = 20 net.netflow.scan-min = 1 net.netflow.sndbuf = 16777216 net.netflow.timeout-rate = 30 ps -aux |grep nfcapd www-data 26689 0.0 0.1 40908 4528 ? S 11:25 0:00 /usr/local/bin/nfcapd -w -D -p 2055 -u www-data -g www-data -B 200000 -S 1 -P /etc/nfsen/var/run/p2055.pid -z -I gw3 -l /etc/nfsen/profiles-data/live/gw3 cat /etc/nfsen/etc/nfsen.conf $BASEDIR = "/etc/nfsen"; $LIBEXECDIR="${BASEDIR}/libexec"; $CONFDIR="${BASEDIR}/etc"; $HTMLDIR = "/var/www/nfsen/"; $DOCDIR="${HTMLDIR}/doc"; $VARDIR="${BASEDIR}/var"; $PROFILESTATDIR="${BASEDIR}/profiles-stat"; $PROFILEDATADIR="${BASEDIR}/profiles-data"; $BACKEND_PLUGINDIR="${BASEDIR}/plugins"; $FRONTEND_PLUGINDIR="${HTMLDIR}/plugins"; $PREFIX = '/usr/local/bin'; $USER = "www-data"; $WWWUSER = "www-data"; $WWWGROUP = "www-data"; $BUFFLEN = 200000; $SUBDIRLAYOUT = 1; $ZIPcollected = 1; $ZIPprofiles = 1; $PROFILERS = 2; $DISKLIMIT = 98; $PROFILERS = 6; %sources = ( 'gw3' => { 'port' => '2055', 'col' => '#0000ff', 'type' => 'netflow' }, ); $low_water = 90; $syslog_facility = 'local3'; @plugins = ( # profile # module # [ '*', 'demoplugin' ], ); %PluginConf = ( # For plugin demoplugin demoplugin => { # scalar param2 => 42, # hash param1 => { 'key' => 'value' }, }, # for plugin otherplugin otherplugin => [ # array 'mary had a little lamb' ], ); $MAIL_FROM = 'aeldarr@yandex.ru'; $SMTP_SERVER = 'localhost'; $MAIL_BODY = q{ Alert '@alert@' triggered at timeslot @timeslot@ }; 1; Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 23 января, 2020 · Жалоба Вы собираете натевенты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
felixio_01 Опубликовано 24 января, 2020 (изменено) · Жалоба 15 часов назад, zhenya` сказал: Вы собираете натевенты. Подскажите, что нужно исправить, что бы собиралась статистика и по трафику? Изменено 24 января, 2020 пользователем felixio_01 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 24 января, 2020 · Жалоба Нет ни одной записи с байтами? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
felixio_01 Опубликовано 24 января, 2020 · Жалоба 2 часа назад, pppoetest сказал: Нет ни одной записи с байтами? нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...