[alex39x]

В 20.10.2023 в 09:11, Cramac сказал:

Такого нет, видимо надо пересобирать

Если в дальнейшем планируете лить v5 в биллинг а v9 в сорм - можно этот модуль оставить для биллинга и собрать новый ipt-netflow модуль с natevents для v9 сорм-а. При сборке просто меняете название модуля. Примерно так:

cd ipt-netflow-2.5/

find -type f -name \* -exec sed -i -r 's/netflow/netflow2/g' {} \;
find -type f -name \* -exec sed -i -r 's/NETFLOW/NETFLOW2/g' {} \;
Ещё вроде есть особенность  не собирается на последних версиях ядер.

Edited October 20, 2023 by alex39x

[Antares]

Цитата

Они самые:

net.netflow.sndbuf = 16777216

net.netflow.hashsize = 32768

С такими значениями у нас на бордере процент NAT-сопоставлений стал >90%. По крайней мере, со стороны МФИ больше вопросов к нам не возникало.

У нас тот же МФИ требует более 95%

Ещё одна проблемы с Flow direction. Модуль скомпилен с --enable-direction. В iptables цепочки прописаны. ХЗ что им не нравится

Было у кого подобное, как решали?

[alex39x]

В 27.10.2023 в 06:49, Antares сказал:

У нас тот же МФИ требует более 95%

Ещё одна проблемы с Flow direction. Модуль скомпилен с --enable-direction. В iptables цепочки прописаны. ХЗ что им не нравится

Было у кого подобное, как решали?

У нас всё закончилось тем что они обновили ПО на съёмнике. 

Пересборка модуля на новую версию, увеличение всяких буферов/таймаутов проблему не решало.

Edited October 27, 2023 by alex39x

[hsvt]

ipt_NETFLOW 2.6-17-g0eb2092

 

6.1.0-18-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 GNU/Linux
 

[Mon Mar 25 00:32:27 2024] ipt_NETFLOW: natevents already disabled.

[Mon Apr  1 01:12:24 2024] ipt_NETFLOW: natevents already disabled.

[Mon Apr  8 01:37:53 2024] ipt_NETFLOW: natevents already disabled.

На моей инсталляции наблюдается те же самые сообщения, удалось ли кому ни будь разобраться в причине ?

[sgu]

ipt_NETFLOW 2.6 последний с git-а на текущий момнет на машине с RHEL 9.3 like дистрибутивом. kernek-5.14.0-362.24.1.0.1.el9_3.x86_64
 

Сообщение ipt_NETFLOW: natevents already disabled появляется спустя пару минут после логина пользователя по ssh.

Зависимость такая: после логина пользователя активируется сервис systemd-hostnamed.

Во время завершения этого сервиса и появляется данное сообщение.

09:25:03 bras systemd[1]: systemd-hostnamed.service: Deactivated successfully.
09:25:03 bras kernel: ipt_NETFLOW: natevents already disabled.

Так-же сервис systemd-hostnamed активируется при получении рута и при выполнении команды hostnamectl.
Результат один: при завершении сервиса systemd-hostnamed появляется сообщение ipt_NETFLOW: natevents already disabled.

 

Решил проблему маскированием сервиса systemd-hostnamed. Негативного влияния от этого действия не выявлено.

[nixx]

распоследний ipt_netflow с git'а не собирается на 4.19.304 ядре, ругается на вот этот коммит https://github.com/aabc/ipt-netflow/commit/122662f5c19864e3340cc44e703ae24b75a26ca7

при возвращении "как было" нормально собирается и даже работает.

 

хак со сборкой двух экземпляров модуля с включенным nat events разбивается о, насколько я понимаю, невозможность отбирания/фильтрации требуемых эвентов - каждый модуль видит всю таблицу nat'а, и всю ее льет на выход независимо от того, как я его повешу в файерволле.

так ли это? или можно всё же отфильтровать events разных подсетей с разных модулей на разные dst?

Edited June 2, 2024 by nixx

[Cramac]

В 04.03.2023 в 12:29, myth сказал:

шлю v9. Всё норм

не подскажите, как сливаете нетфлоу?

Собрал модуль, вроде льет все в v9, но в потоке есть разные шаблоны, как лить только в 258?

 

Скрытый текст

# modinfo ipt_NETFLOW
filename:       /lib/modules/5.15.0-43-generic/extra/ipt_NETFLOW.ko
alias:          ip6t_NETFLOW
version:        2.6-17-g0eb2092
description:    iptables NETFLOW target module
author:         <abc@openwall.com>
license:        GPL
srcversion:     9D57791DE7AEF9589512DAB
depends:        x_tables,nf_conntrack
retpoline:      Y
name:           ipt_NETFLOW
vermagic:       5.15.0-43-generic SMP mod_unload modversions
parm:           destination:export destination ipaddress:port (charp)
parm:           inactive_timeout:inactive flows timeout in seconds (int)
parm:           active_timeout:active flows timeout in seconds (int)
parm:           exportcpu:lock exporter to this cpu (int)
parm:           debug:debug verbosity level (int)
parm:           sndbuf:udp socket SNDBUF size (int)
parm:           protocol:netflow protocol version (5, 9, 10=IPFIX) (int)
parm:           refresh_rate:NetFlow v9/IPFIX refresh rate (packets) (uint)
parm:           timeout_rate:NetFlow v9/IPFIX timeout rate (minutes) (uint)
parm:           scan_min:Minimal interval between export scans (jiffies) (uint)
parm:           natevents:enable NAT Events (int)
parm:           hashsize:hash table size (int)
parm:           maxflows:maximum number of flows (int)
parm:           engine_id:Observation Domain ID (int)
 

 

тот же норси-транс просит поправить

[nixx]

скажите, а кто-нибудь использовал PMAcct в виде его демона nfacctd для приема netflow от обсуждаемого модуля?

у меня он падает хронически. может через неделю, может через месяц.

это мне "везет", или оно по жизни такое?

Debian 6, версия pmacct 1.7.7 из пакетов.

 

по сравнению с дубовостью nfdump, который демонится чуть ли не годами без проблем, как-то печально это выглядит.

[ne-vlezay80]

В 04.07.2024 в 17:45, nixx сказал:

Debian 6, версия pmacct 1.7.7 из пакетов.

И это в 2024 году...
Попробуй актуальную версия с github'а.

[nixx]

43 минуты назад, ne-vlezay80 сказал:

И это в 2024 году...
Попробуй актуальную версия с github'а.

таки у вас работает без падений месяцами и более, или же вам просто дебиан 6 понравился? )) дебиан 12, конечно же.

[ne-vlezay80]

3 минуты назад, nixx сказал:

таки у вас работает без падений месяцами и более, или же вам просто дебиан 6 понравился? )) дебиан 12, конечно же.

а тогда по какой причине падает?

[stalker86]

All - вопрос.  Ели включены NAT EVENTS - пустой счётчик In Byte/Out Byte.

Стоит  выключить NAT EVERNTS - появляюся счётчики трафика.

====

# nfdump -R ./
Event time               Event  XEvent Proto      Src IP Addr:Port          Dst IP Addr:Port     X-Src IP Addr:Port        X-Dst IP Addr:Port   In Byte Out Byte
2025-06-09 21:01:14.046     ADD  Ignore UDP    192.168.253.100:48129 ->    192.168.150.1:53      192.168.150.15:48129 ->    192.168.150.1:53           0        0
2025-06-09 21:01:14.048     ADD  Ignore TCP    192.168.253.100:38160 ->    194.71.11.173:443     192.168.150.15:38160 ->    194.71.11.173:443          0        0
2025-06-09 21:01:15.343     ADD  Ignore UDP    192.168.253.100:60998 ->    192.168.150.1:53      192.168.150.15:60998 ->    192.168.150.1:53           0        0
2025-06-09 21:01:15.346     ADD  Ignore TCP    192.168.253.100:36194 ->    194.71.11.166:443     192.168.150.15:36194 ->    194.71.11.166:443          0        0
2025-06-09 21:01:29.661  DELETE  Ignore TCP    192.168.253.100:38160 ->    194.71.11.173:443     192.168.150.15:38160 ->    194.71.11.173:443          0        0
2025-06-09 21:02:31.098  DELETE  Ignore UDP    192.168.253.100:48129 ->    192.168.150.1:53      192.168.150.15:48129 ->    192.168.150.1:53           0        0
2025-06-09 21:02:31.098  DELETE  Ignore TCP    192.168.253.100:36194 ->    194.71.11.166:443     192.168.150.15:36194 ->    194.71.11.166:443          0        0
2025-06-09 21:02:31.098  DELETE  Ignore UDP    192.168.253.100:60998 ->    192.168.150.1:53      192.168.150.15:60998 ->    192.168.150.1:53           0        0
====

 

debian 12.

 

Фикс в природе существует или нет?

[nixx]

2 часа назад, stalker86 сказал:

All - вопрос.  Ели включены NAT EVENTS - пустой счётчик In Byte/Out Byte.

Стоит  выключить NAT EVERNTS - появляюся счётчики трафика.

 

Фикс в природе существует или нет?

не надо ничего фиксить (ну кроме вашего понимания работы netflow ))

переведите слово "event"

это не счетчики трафика, это события создания-протухания нат-сессий, никакого трафика там не будет.

 

посмотрите внимательнее/полистайте дальше вывод nfdump попеременно с ключами -o line и -o nel, где-то там найдется и трафик.

[stalker86]

да моя голова квадратная. В том то и прикол что ни дальше ни раньше не вижу по трафику ничего. Даже в pcap собрал дамп.

dump.pcap

[nixx]

1 час назад, stalker86 сказал:

да моя голова квадратная. В том то и прикол что ни дальше ни раньше не вижу по трафику ничего

с форума файлы не скачиваются.

если у вас вывод в формате NEL, ищите строчки без слов ADD/DELETE, со словом INVALID после таймстампа. это и будут обычные flow со счетчиками трафика.

 

может, у вас nfdump как-то замысловато вывод делает, игнорируя обычные flow при наличии NEL?

 

посмотрите /proc/net/stat/ipt_netflow на тему статистики выливаемого.

 

и да, если у вас собрана для теста сетка на два компа, то выливания на диск счетчиков трафика можно ждать очень долго, пока буфер не наполнится. вот не помню только, относится ли это также и к NEL, или нет.

Edited Monday at 11:43 PM by nixx

[stalker86]

Продублировал дамп на http://stlk.name/files/dump.pcap
Да тестовый стенд на 2 виртуалках изобразил. и тестил на мелком. Сейчас доеду потестирую на чём-то побольше.

 

 

[stalker86]

В общем не в этом дело оказалось. Когда  последний дамп собирал в iptables потерял -A FORWARD -j NETFLOW. Поэтому и прилетали только нат ивенты.

Теперь с nfdump  1.7.1-2+deb12u1
====
Event time               Event  XEvent Proto      Src IP Addr:Port          Dst IP Addr:Port     X-Src IP Addr:Port        X-Dst IP Addr:Port   In Byte Out Byte
2025-06-10 22:32:23.430     ADD  Ignore UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:32:23.431     ADD  Ignore TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
1970-01-01 03:00:00.000 INVALID  Ignore UDP      192.168.150.1:53    ->  192.168.253.100:58996          0.0.0.0:0     ->          0.0.0.0:0          169        0
1970-01-01 03:00:00.000 INVALID  Ignore UDP    192.168.253.100:58996 ->    192.168.150.1:53             0.0.0.0:0     ->          0.0.0.0:0          108        0
1970-01-01 03:00:00.000 INVALID  Ignore TCP    192.168.253.100:51180 ->     195.78.127.3:443            0.0.0.0:0     ->          0.0.0.0:0        3.6 M        0
1970-01-01 03:00:00.000 INVALID  Ignore TCP       195.78.127.3:443   ->  192.168.253.100:51180          0.0.0.0:0     ->          0.0.0.0:0      423.2 M        0
2025-06-10 22:33:23.074  DELETE  Ignore UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:35:25.954  DELETE  Ignore TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
Summary: total flows: 8, total bytes: 426.8 M, total packets: 124663, avg bps: 1, avg pps: 0, avg bpp: 3423
Time window: Time Window unknown
Total flows processed: 8, passed: 8, Blocks skipped: 0, Bytes read: 1532
Sys: 0.0069s User: 0.0000s Wall: 0.0034s flows/second: 2380.9 Runtime: 0.0039s
===

 

 

с nfdump  из git

======
Date first seen            Event  XEvent Proto      Src IP Addr:Port          Dst IP Addr:Port     X-Src IP Addr:Port        X-Dst IP Addr:Port   In Byte Out Byte
2025-06-10 22:32:23.430      ADD <no-evt> UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:32:23.431      ADD <no-evt> TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
2025-06-10 22:32:22.604 <no-evt> <no-evt> UDP      192.168.150.1:53    ->  192.168.253.100:58996          0.0.0.0:0     ->          0.0.0.0:0          169        0
2025-06-10 22:32:22.600 <no-evt> <no-evt> UDP    192.168.253.100:58996 ->    192.168.150.1:53             0.0.0.0:0     ->          0.0.0.0:0          108        0
2025-06-10 22:32:22.604 <no-evt> <no-evt> TCP    192.168.253.100:51180 ->     195.78.127.3:443            0.0.0.0:0     ->          0.0.0.0:0        3.6 M        0
2025-06-10 22:32:22.604 <no-evt> <no-evt> TCP       195.78.127.3:443   ->  192.168.253.100:51180          0.0.0.0:0     ->          0.0.0.0:0      423.2 M        0
2025-06-10 22:33:23.074   DELETE <no-evt> UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:35:25.954   DELETE <no-evt> TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
Summary: total flows: 8, total bytes: 426.8 M, total packets: 124663, avg bps: 333.1 M, avg pps: 12164, avg bpp: 3423
Time window: Time Window unknown, Duration:20249d 19:45:00.000
Total records processed: 8, passed: 8, Blocks skipped: 0, Bytes read: 1532
Sys: 0.0105s User: 0.0000s Wall: 0.0041s flows/second: 1965.6 Runtime: 0.0044s
=====

 

Время трафика получилось раньше времени NAT EVENT (ADD)