[banec]

42 minutes ago, aabc said:

По-умолчанию он не выключен, а равен 0. Если у вас один экспортер, то так и оставьте. Если несколько, то сделайте им номера по порядку.

просветите немного Observation Domain ID  = что содержит?

ID как число ? и как его с доменом связать?

или

будет в поле

300	observationDomainName

Изменено 31 марта, 2018 пользователем banec

[myth]

А чем сейчас модно netflow собирать? Сколько уходит на это ресурсов? Можно ли делать это на бордере, например? Трафика 1,5г

[banec]

On 31.03.2018 at 8:54 PM, aabc said:

По-умолчанию он не выключен, а равен 0. Если у вас один экспортер, то так и оставьте. Если несколько, то сделайте им номера по порядку.

Поднял эластик+кибану + https://github.com/manitonetworks/flowanalyzer

 

Кибана в  Дисковери не показывает что в пакетах ipfix урлов или доменов :(

как я понимаю должно быть поле observationDomainName  - но его нет.  или я что-то не до понимаю ?

 

[banec]

aabc

Как я понял все таки IPFIX не содержит доменов  :( (подтвердите или опровергните плиз)

 

просто в flowanalyzer есть опция DNS lookup  - и на питоне, я глянул, юзает socket.getfqdn

но не все адреса резольвятся. даже если они имеют домен.

 

 

[aabc]

Каких доменов?

 

ps. Какой элемент вам нужен из этих https://www.iana.org/assignments/ipfix/ipfix.xhtml?

Изменено 3 апреля, 2018 пользователем aabc

[banec]

1 hour ago, aabc said:

Каких доменов?

фактически мне нужно хранить кто куда ходил - ip внутренний и внешний, ip и сайт назначения.

по факту нет только сайтов (сопоставление ip c именем FQDN )

 

observationDomainName в ipfix думал как раз содержит FQDN

но это походу имя идентификатора id.

 

Хотелось бы всё в одном, но нужно городить огород по ходу.

 

 

 

[aabc]

Я, кстати, думал что есть возможность добавить к каждому flow первые n-байт из его содержания. Анализаторы протоколов уже могли бы определить тип соединения (для IDS, например), может влезть начало http запроса, dns запросы, начало ответов на них (в обратные flows). Есть две проблемы - 1) нет стандарта для такого, хоть и определён элемент ipPayloadPacketSection, но он для PSAMP, а следовательно per-packet, в то время как идея чтоб было per-flow; 2) нет софта который бы это ожидал и парсил. Ну и недостаток что это будет занимать больше памяти и увеличивать нагрузку на экспорт.

[nuclearcat]

посылать первый пакет из flow по sflow :)

Для него тулзы есть, они и сопоставят потом

[bomberman]

On 03.04.2018 at 10:01 AM, banec said:

Хотелось бы всё в одном, но нужно городить огород по ходу

Сомневаюсь что без огорода получится. Анализировать http|https на NAT-е, имхо слишком, но и никто не запрещает. Только это нечто иное нежели задачи решаемые этим модулем. Даже идеологически, как мне кажется.
Для логирования обращения по http/https можно сгородить небольшой анализатор, кторотый будет выдирать SNI из TLS Handshake, для https, для http, мернее проблемно. Пусть это не полный пусть, по которому обращение было, но всё же. Ну и разумеется не netflow протоколом экспортировать.  К примеру, зеркалировать трафик с обращениями, на железке, а на сервере с анализатором получать зеркалированный трафик и логировать из нужных пакетов SNI.

Изменено 11 апреля, 2018 пользователем bomberman

[hsvt]

Как можно слить netflow в несколько destination, но при этом на один из них нужно natevents=0. 

 

options ipt_NETFLOW destination=172.23.255.1:8889@172.23.255.10,172.23.255.1:9996@172.23.255.1 natevents=1 protocol=5

 

Т.е. отправляем с 172.23.255.10 на 172.23.255.1:8889 обычный NetFLOW 5, а на 172.23.255.1:9996 ещё natevents=1

 

Возможна такая конфигурация? указывать несколько разных destination не получится? И будут ли видны NAT трансляции в NetFLOW v5 ?

Изменено 18 мая, 2018 пользователем hsvt

[LostSoul]

4 часа назад, hsvt сказал:

Возможна такая конфигурация? указывать несколько разных destination не получится? И будут ли видны NAT трансляции в NetFLOW v5 ?

 

пересобирали для этого модуль с другим именем. работает

 

[hsvt]

2 часа назад, LostSoul сказал:

пересобирали для этого модуль с другим именем. работает

 

Типа как в два инстанса запущено два модуля с разными именами? Можно подробней чуть, что править )

 

По сути нужно указывать два разных протокола, в один dst 9, в другой dst 5. А сейчас protocol только глобально можно на один модуль.

Изменено 18 мая, 2018 пользователем hsvt

[LostSoul]

6 часов назад, hsvt сказал:

Типа как в два инстанса запущено два модуля с разными именами? Можно подробней чуть, что править )

Да, два инстанса.

я не помню, очень давно.

могу спросить товарища, который повторял опыт на centos 7 недавно.

 

[Susanin]

Добрый день. Решил кто-то задачу с отправкой neflow на два разных адреса ?

[Antares]

2 часа назад, Susanin сказал:

Добрый день. Решил кто-то задачу с отправкой neflow на два разных адреса ?

а в чём проблема???

[Susanin]

Как указать несколько назначений ?

[Antares]

/modprobe ipt_NETFLOW destination=ip1:port,ip2:port

[Susanin]

пфф.....  сорян, протупил.

[andrei.madiarov]

1)Как привести в порядок именование интерфейсов при экспорте? На шлюзе 50+ VPN туннелей и VLAN + ppp до провадеров.

В fprobe-ulog можно было гвоздями прибить соответствие.

Сейчас при падении туннеля или ppp я вижу новый номер интерфейса при экспорте.

2)Как размножить ipt_NETFLOW по всем маршрутизаторам? (достаточно ли перенести модуль ядра?)

 

Использую- тестирую debian10

[andrei.madiarov]

2 часа назад, andrei.madiarov сказал:

1)Как привести в порядок именование интерфейсов при экспорте? На шлюзе 50+ VPN туннелей и VLAN + ppp до провадеров.

В fprobe-ulog можно было гвоздями прибить соответствие.

Сейчас при падении туннеля или ppp я вижу новый номер интерфейса при экспорте.

2)Как размножить ipt_NETFLOW по всем маршрутизаторам? (достаточно ли перенести модуль ядра?)

 

Использую- тестирую debian10

нашел в доках.

snmp-rules=eth0:0,ppp0:100,tun_cisco:999

snmp-rules=string...

- Few SNMP-index conversion rules similar to fproble-ulog.

Quoting man fprobe-ulog:

"Comma separated list of interface name to SNMP-index conversion

rules. Each rule consists of interface base name and SNMP-index

base separated by colon (e.g. ppp:200). Final SNMP-index is sum

of corresponding SNMP-index base and interface number.

In the above example SNMP-index of interface ppp11 is 211.

If interface name did not fit to any of conversion rules then

SNMP-index will be taken from kernel."

This implementation isn't optimized for performance (no rule caching

or hashing), but should be fast if rules list are short.

Rules are parsed in order from first to last until first match.

[felixio_01]

Здравствуйте! 

Подскажите, в чём может быть проблема? 

В nfsen не отображаются графики в "Packets" и "Traffic". Графики "Flows" нормально отображаются. 

 

 uname -a
Linux gw3 3.16.0-4-amd64 #1 SMP Debian 3.16.51-3 (2017-12-13) x86_64 GNU/Linux

 

nfsen-1.3.8

/usr/local/bin/nfdump: Version: NSEL-NEL1.6.18

 

modinfo -F version ipt_NETFLOW
2.4-12-g1519063
 

cat /etc/modprobe.d/ipt_NETFLOW.conf
options ipt_NETFLOW destination=127.0.0.1:2055 protocol=9 natevents=1

 

sysctl -a | grep net.netflow
net.netflow.active_timeout = 1800
net.netflow.aggregation =
net.netflow.debug = 0
net.netflow.destination = 127.0.0.1:2055
net.netflow.flush = 0
net.netflow.hashsize = 491666
net.netflow.inactive_timeout = 15
net.netflow.maxflows = 2000000
net.netflow.natevents = 1
net.netflow.promisc = 0
net.netflow.protocol = 9
net.netflow.refresh-rate = 20
net.netflow.scan-min = 1
net.netflow.sndbuf = 16777216
net.netflow.timeout-rate = 30

 

ps -aux |grep nfcapd
www-data 26689  0.0  0.1  40908  4528 ?        S    11:25   0:00 /usr/local/bin/nfcapd -w -D -p 2055 -u www-data -g www-data -B 200000 -S 1 -P /etc/nfsen/var/run/p2055.pid -z -I gw3 -l /etc/nfsen/profiles-data/live/gw3

 

 

 

cat /etc/nfsen/etc/nfsen.conf

 

$BASEDIR = "/etc/nfsen";

$LIBEXECDIR="${BASEDIR}/libexec";

$CONFDIR="${BASEDIR}/etc";

$HTMLDIR    = "/var/www/nfsen/";

$DOCDIR="${HTMLDIR}/doc";

$VARDIR="${BASEDIR}/var";

$PROFILESTATDIR="${BASEDIR}/profiles-stat";

$PROFILEDATADIR="${BASEDIR}/profiles-data";

$BACKEND_PLUGINDIR="${BASEDIR}/plugins";

$FRONTEND_PLUGINDIR="${HTMLDIR}/plugins";

$PREFIX  = '/usr/local/bin';

$USER    = "www-data";

$WWWUSER  = "www-data";
$WWWGROUP = "www-data";

$BUFFLEN = 200000;

$SUBDIRLAYOUT = 1;

$ZIPcollected    = 1;

$ZIPprofiles     = 1;

$PROFILERS = 2;

$DISKLIMIT = 98;

$PROFILERS = 6;

 %sources = (
     'gw3'    => { 'port' => '2055', 'col' => '#0000ff', 'type' => 'netflow' },
 );

$low_water = 90;

$syslog_facility = 'local3';

@plugins = (
    # profile    # module
    # [ '*',     'demoplugin' ],
);

%PluginConf = (
        # For plugin demoplugin
        demoplugin => {
                # scalar
                param2 => 42,
                # hash
                param1 => { 'key' => 'value' },
        },
        # for plugin otherplugin
        otherplugin => [
                # array
                'mary had a little lamb'
        ],
);

$MAIL_FROM   = 'aeldarr@yandex.ru';

$SMTP_SERVER = 'localhost';

$MAIL_BODY       = q{
Alert '@alert@' triggered at timeslot @timeslot@
};

1;

 

 

[zhenya`]

Вы собираете натевенты.

[felixio_01]

15 часов назад, zhenya` сказал:

Вы собираете натевенты.

Подскажите, что нужно исправить, что бы собиралась статистика и по трафику? 

Изменено 24 января, 2020 пользователем felixio_01

[pppoetest]

Нет ни одной записи с байтами?

[felixio_01]

2 часа назад, pppoetest сказал:

Нет ни одной записи с байтами?

нет.