Jump to content
42 minutes ago, aabc said:

По-умолчанию он не выключен, а равен 0. Если у вас один экспортер, то так и оставьте. Если несколько, то сделайте им номера по порядку.

просветите немного Observation Domain ID  = что содержит?

ID как число ? и как его с доменом связать?

или

будет в поле

300 observationDomainName
Edited by banec

Share this post


Link to post
Share on other sites

On 31.03.2018 at 8:54 PM, aabc said:

По-умолчанию он не выключен, а равен 0. Если у вас один экспортер, то так и оставьте. Если несколько, то сделайте им номера по порядку.

Поднял эластик+кибану + https://github.com/manitonetworks/flowanalyzer

 

Кибана в  Дисковери не показывает что в пакетах ipfix урлов или доменов :(

как я понимаю должно быть поле observationDomainName  - но его нет.  или я что-то не до понимаю ?

 

Share this post


Link to post
Share on other sites

aabc

Как я понял все таки IPFIX не содержит доменов  :( (подтвердите или опровергните плиз)

 

просто в flowanalyzer есть опция DNS lookup  - и на питоне, я глянул, юзает socket.getfqdn

но не все адреса резольвятся. даже если они имеют домен.

 

 

Share this post


Link to post
Share on other sites

Каких доменов?

 

ps. Какой элемент вам нужен из этих https://www.iana.org/assignments/ipfix/ipfix.xhtml?

Edited by aabc

Share this post


Link to post
Share on other sites

1 hour ago, aabc said:

Каких доменов?

фактически мне нужно хранить кто куда ходил - ip внутренний и внешний, ip и сайт назначения.

по факту нет только сайтов (сопоставление ip c именем FQDN )

 

observationDomainName в ipfix думал как раз содержит FQDN

но это походу имя идентификатора id.

 

Хотелось бы всё в одном, но нужно городить огород по ходу.

 

 

 

Share this post


Link to post
Share on other sites

Я, кстати, думал что есть возможность добавить к каждому flow первые n-байт из его содержания. Анализаторы протоколов уже могли бы определить тип соединения (для IDS, например), может влезть начало http запроса, dns запросы, начало ответов на них (в обратные flows). Есть две проблемы - 1) нет стандарта для такого, хоть и определён элемент ipPayloadPacketSection, но он для PSAMP, а следовательно per-packet, в то время как идея чтоб было per-flow; 2) нет софта который бы это ожидал и парсил. Ну и недостаток что это будет занимать больше памяти и увеличивать нагрузку на экспорт.

Share this post


Link to post
Share on other sites

On 03.04.2018 at 10:01 AM, banec said:

Хотелось бы всё в одном, но нужно городить огород по ходу

Сомневаюсь что без огорода получится. Анализировать http|https на NAT-е, имхо слишком, но и никто не запрещает. Только это нечто иное нежели задачи решаемые этим модулем. Даже идеологически, как мне кажется.
Для логирования обращения по http/https можно сгородить небольшой анализатор, кторотый будет выдирать SNI из TLS Handshake, для https, для http, мернее проблемно. Пусть это не полный пусть, по которому обращение было, но всё же. Ну и разумеется не netflow протоколом экспортировать.  К примеру, зеркалировать трафик с обращениями, на железке, а на сервере с анализатором получать зеркалированный трафик и логировать из нужных пакетов SNI.

Edited by bomberman

Share this post


Link to post
Share on other sites

Как можно слить netflow в несколько destination, но при этом на один из них нужно natevents=0. 

 

options ipt_NETFLOW destination=172.23.255.1:8889@172.23.255.10,172.23.255.1:9996@172.23.255.1 natevents=1 protocol=5

 

Т.е. отправляем с 172.23.255.10 на 172.23.255.1:8889 обычный NetFLOW 5, а на 172.23.255.1:9996 ещё natevents=1

 

Возможна такая конфигурация? указывать несколько разных destination не получится? И будут ли видны NAT трансляции в NetFLOW v5 ?

Edited by hsvt

Share this post


Link to post
Share on other sites

4 часа назад, hsvt сказал:

Возможна такая конфигурация? указывать несколько разных destination не получится? И будут ли видны NAT трансляции в NetFLOW v5 ?

 

пересобирали для этого модуль с другим именем. работает

 

Share this post


Link to post
Share on other sites

2 часа назад, LostSoul сказал:

пересобирали для этого модуль с другим именем. работает

 

Типа как в два инстанса запущено два модуля с разными именами? Можно подробней чуть, что править )

 

По сути нужно указывать два разных протокола, в один dst 9, в другой dst 5. А сейчас protocol только глобально можно на один модуль.

Edited by hsvt

Share this post


Link to post
Share on other sites

6 часов назад, hsvt сказал:

Типа как в два инстанса запущено два модуля с разными именами? Можно подробней чуть, что править )

Да, два инстанса.

я не помню, очень давно.

могу спросить товарища, который повторял опыт на centos 7 недавно.

 

Share this post


Link to post
Share on other sites

2 часа назад, Susanin сказал:

Добрый день. Решил кто-то задачу с отправкой neflow на два разных адреса ?

а в чём проблема???

Share this post


Link to post
Share on other sites

1)Как привести в порядок именование интерфейсов при экспорте? На шлюзе 50+ VPN туннелей и VLAN + ppp до провадеров.

В fprobe-ulog можно было гвоздями прибить соответствие.

Сейчас при падении туннеля или ppp я вижу новый номер интерфейса при экспорте.

2)Как размножить ipt_NETFLOW по всем маршрутизаторам? (достаточно ли перенести модуль ядра?)

 

Использую- тестирую debian10

Share this post


Link to post
Share on other sites

2 часа назад, andrei.madiarov сказал:

1)Как привести в порядок именование интерфейсов при экспорте? На шлюзе 50+ VPN туннелей и VLAN + ppp до провадеров.

В fprobe-ulog можно было гвоздями прибить соответствие.

Сейчас при падении туннеля или ppp я вижу новый номер интерфейса при экспорте.

2)Как размножить ipt_NETFLOW по всем маршрутизаторам? (достаточно ли перенести модуль ядра?)

 

Использую- тестирую debian10

нашел в доках.

snmp-rules=eth0:0,ppp0:100,tun_cisco:999

snmp-rules=string...
- Few SNMP-index conversion rules similar to fproble-ulog.
 
Quoting man fprobe-ulog:
 
"Comma separated list of interface name to SNMP-index conversion
rules. Each rule consists of interface base name and SNMP-index
base separated by colon (e.g. ppp:200). Final SNMP-index is sum
of corresponding SNMP-index base and interface number.
In the above example SNMP-index of interface ppp11 is 211.
 
If interface name did not fit to any of conversion rules then
SNMP-index will be taken from kernel."
 
This implementation isn't optimized for performance (no rule caching
or hashing), but should be fast if rules list are short.
 

Rules are parsed in order from first to last until first match.

Share this post


Link to post
Share on other sites

Здравствуйте! 

Подскажите, в чём может быть проблема? 

В nfsen не отображаются графики в "Packets" и "Traffic". Графики "Flows" нормально отображаются. 

 

 uname -a
Linux gw3 3.16.0-4-amd64 #1 SMP Debian 3.16.51-3 (2017-12-13) x86_64 GNU/Linux

 

nfsen-1.3.8

/usr/local/bin/nfdump: Version: NSEL-NEL1.6.18

 

modinfo -F version ipt_NETFLOW
2.4-12-g1519063
 

cat /etc/modprobe.d/ipt_NETFLOW.conf
options ipt_NETFLOW destination=127.0.0.1:2055 protocol=9 natevents=1

 

sysctl -a | grep net.netflow
net.netflow.active_timeout = 1800
net.netflow.aggregation =
net.netflow.debug = 0
net.netflow.destination = 127.0.0.1:2055
net.netflow.flush = 0
net.netflow.hashsize = 491666
net.netflow.inactive_timeout = 15
net.netflow.maxflows = 2000000
net.netflow.natevents = 1
net.netflow.promisc = 0
net.netflow.protocol = 9
net.netflow.refresh-rate = 20
net.netflow.scan-min = 1
net.netflow.sndbuf = 16777216
net.netflow.timeout-rate = 30

 

ps -aux |grep nfcapd
www-data 26689  0.0  0.1  40908  4528 ?        S    11:25   0:00 /usr/local/bin/nfcapd -w -D -p 2055 -u www-data -g www-data -B 200000 -S 1 -P /etc/nfsen/var/run/p2055.pid -z -I gw3 -l /etc/nfsen/profiles-data/live/gw3

 

2020-01-23_163327.thumb.png.16b291766815eb80738d2baa092c49f6.png

 

 

cat /etc/nfsen/etc/nfsen.conf

 

$BASEDIR = "/etc/nfsen";

$LIBEXECDIR="${BASEDIR}/libexec";

$CONFDIR="${BASEDIR}/etc";

$HTMLDIR    = "/var/www/nfsen/";

$DOCDIR="${HTMLDIR}/doc";

$VARDIR="${BASEDIR}/var";

$PROFILESTATDIR="${BASEDIR}/profiles-stat";

$PROFILEDATADIR="${BASEDIR}/profiles-data";

$BACKEND_PLUGINDIR="${BASEDIR}/plugins";

$FRONTEND_PLUGINDIR="${HTMLDIR}/plugins";

$PREFIX  = '/usr/local/bin';

$USER    = "www-data";

$WWWUSER  = "www-data";
$WWWGROUP = "www-data";

$BUFFLEN = 200000;

$SUBDIRLAYOUT = 1;

$ZIPcollected    = 1;

$ZIPprofiles     = 1;

$PROFILERS = 2;

$DISKLIMIT = 98;

$PROFILERS = 6;

 %sources = (
     'gw3'    => { 'port' => '2055', 'col' => '#0000ff', 'type' => 'netflow' },
 );

$low_water = 90;

$syslog_facility = 'local3';

@plugins = (
    # profile    # module
    # [ '*',     'demoplugin' ],
);

%PluginConf = (
        # For plugin demoplugin
        demoplugin => {
                # scalar
                param2 => 42,
                # hash
                param1 => { 'key' => 'value' },
        },
        # for plugin otherplugin
        otherplugin => [
                # array
                'mary had a little lamb'
        ],
);

$MAIL_FROM   = 'aeldarr@yandex.ru';

$SMTP_SERVER = 'localhost';

$MAIL_BODY       = q{
Alert '@alert@' triggered at timeslot @timeslot@
};

1;

 

 

Share this post


Link to post
Share on other sites

15 часов назад, zhenya` сказал:

Вы собираете натевенты.

Подскажите, что нужно исправить, что бы собиралась статистика и по трафику? 

Edited by felixio_01

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.