Jump to content
Калькуляторы
В 20.10.2023 в 09:11, Cramac сказал:

Такого нет, видимо надо пересобирать

Если в дальнейшем планируете лить v5 в биллинг а v9 в сорм - можно этот модуль оставить для биллинга и собрать новый ipt-netflow модуль с natevents для v9 сорм-а. При сборке просто меняете название модуля. Примерно так:


cd ipt-netflow-2.5/

find -type f -name \* -exec sed -i -r 's/netflow/netflow2/g' {} \;
find -type f -name \* -exec sed -i -r 's/NETFLOW/NETFLOW2/g' {} \;
Ещё вроде есть особенность  не собирается на последних версиях ядер.

Edited by alex39x

Share this post


Link to post
Share on other sites

Цитата

Они самые:

net.netflow.sndbuf = 16777216

net.netflow.hashsize = 32768

С такими значениями у нас на бордере процент NAT-сопоставлений стал >90%. По крайней мере, со стороны МФИ больше вопросов к нам не возникало.

У нас тот же МФИ требует более 95%

Ещё одна проблемы с Flow direction. Модуль скомпилен с --enable-direction. В iptables цепочки прописаны. ХЗ что им не нравится

Было у кого подобное, как решали?

Share this post


Link to post
Share on other sites

В 27.10.2023 в 06:49, Antares сказал:

У нас тот же МФИ требует более 95%

Ещё одна проблемы с Flow direction. Модуль скомпилен с --enable-direction. В iptables цепочки прописаны. ХЗ что им не нравится

Было у кого подобное, как решали?

У нас всё закончилось тем что они обновили ПО на съёмнике. 

Пересборка модуля на новую версию, увеличение всяких буферов/таймаутов проблему не решало.

Edited by alex39x

Share this post


Link to post
Share on other sites

ipt_NETFLOW 2.6-17-g0eb2092

 

6.1.0-18-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 GNU/Linux
 

[Mon Mar 25 00:32:27 2024] ipt_NETFLOW: natevents already disabled.

[Mon Apr  1 01:12:24 2024] ipt_NETFLOW: natevents already disabled.

[Mon Apr  8 01:37:53 2024] ipt_NETFLOW: natevents already disabled.

На моей инсталляции наблюдается те же самые сообщения, удалось ли кому ни будь разобраться в причине ?

Share this post


Link to post
Share on other sites

ipt_NETFLOW 2.6 последний с git-а на текущий момнет на машине с RHEL 9.3 like дистрибутивом. kernek-5.14.0-362.24.1.0.1.el9_3.x86_64
 

Сообщение ipt_NETFLOW: natevents already disabled появляется спустя пару минут после логина пользователя по ssh.

Зависимость такая: после логина пользователя активируется сервис systemd-hostnamed.

Во время завершения этого сервиса и появляется данное сообщение.

09:25:03 bras systemd[1]: systemd-hostnamed.service: Deactivated successfully.
09:25:03 bras kernel: ipt_NETFLOW: natevents already disabled.

Так-же сервис systemd-hostnamed активируется при получении рута и при выполнении команды hostnamectl.
Результат один: при завершении сервиса systemd-hostnamed появляется сообщение ipt_NETFLOW: natevents already disabled.

 

Решил проблему маскированием сервиса systemd-hostnamed. Негативного влияния от этого действия не выявлено.

Share this post


Link to post
Share on other sites

распоследний ipt_netflow с git'а не собирается на 4.19.304 ядре, ругается на вот этот коммит https://github.com/aabc/ipt-netflow/commit/122662f5c19864e3340cc44e703ae24b75a26ca7

при возвращении "как было" нормально собирается и даже работает.

 

хак со сборкой двух экземпляров модуля с включенным nat events разбивается о, насколько я понимаю, невозможность отбирания/фильтрации требуемых эвентов - каждый модуль видит всю таблицу nat'а, и всю ее льет на выход независимо от того, как я его повешу в файерволле.

так ли это? или можно всё же отфильтровать events разных подсетей с разных модулей на разные dst?

Edited by nixx

Share this post


Link to post
Share on other sites

В 04.03.2023 в 12:29, myth сказал:

шлю v9. Всё норм

не подскажите, как сливаете нетфлоу?

Собрал модуль, вроде льет все в v9, но в потоке есть разные шаблоны, как лить только в 258?

 

Скрытый текст

# modinfo ipt_NETFLOW
filename:       /lib/modules/5.15.0-43-generic/extra/ipt_NETFLOW.ko
alias:          ip6t_NETFLOW
version:        2.6-17-g0eb2092
description:    iptables NETFLOW target module
author:         <abc@openwall.com>
license:        GPL
srcversion:     9D57791DE7AEF9589512DAB
depends:        x_tables,nf_conntrack
retpoline:      Y
name:           ipt_NETFLOW
vermagic:       5.15.0-43-generic SMP mod_unload modversions
parm:           destination:export destination ipaddress:port (charp)
parm:           inactive_timeout:inactive flows timeout in seconds (int)
parm:           active_timeout:active flows timeout in seconds (int)
parm:           exportcpu:lock exporter to this cpu (int)
parm:           debug:debug verbosity level (int)
parm:           sndbuf:udp socket SNDBUF size (int)
parm:           protocol:netflow protocol version (5, 9, 10=IPFIX) (int)
parm:           refresh_rate:NetFlow v9/IPFIX refresh rate (packets) (uint)
parm:           timeout_rate:NetFlow v9/IPFIX timeout rate (minutes) (uint)
parm:           scan_min:Minimal interval between export scans (jiffies) (uint)
parm:           natevents:enable NAT Events (int)
parm:           hashsize:hash table size (int)
parm:           maxflows:maximum number of flows (int)
parm:           engine_id:Observation Domain ID (int)
 

 

тот же норси-транс просит поправить

Безымянный.png

Share this post


Link to post
Share on other sites

скажите, а кто-нибудь использовал PMAcct в виде его демона nfacctd для приема netflow от обсуждаемого модуля?

у меня он падает хронически. может через неделю, может через месяц.

это мне "везет", или оно по жизни такое?

Debian 6, версия pmacct 1.7.7 из пакетов.

 

по сравнению с дубовостью nfdump, который демонится чуть ли не годами без проблем, как-то печально это выглядит.

Share this post


Link to post
Share on other sites

43 минуты назад, ne-vlezay80 сказал:

И это в 2024 году...
Попробуй актуальную версия с github'а.

таки у вас работает без падений месяцами и более, или же вам просто дебиан 6 понравился? )) дебиан 12, конечно же.

Share this post


Link to post
Share on other sites

3 минуты назад, nixx сказал:

таки у вас работает без падений месяцами и более, или же вам просто дебиан 6 понравился? )) дебиан 12, конечно же.

а тогда по какой причине падает?

Share this post


Link to post
Share on other sites

All - вопрос.  Ели включены NAT EVENTS - пустой счётчик In Byte/Out Byte.

Стоит  выключить NAT EVERNTS - появляюся счётчики трафика.

====

# nfdump -R ./
Event time               Event  XEvent Proto      Src IP Addr:Port          Dst IP Addr:Port     X-Src IP Addr:Port        X-Dst IP Addr:Port   In Byte Out Byte
2025-06-09 21:01:14.046     ADD  Ignore UDP    192.168.253.100:48129 ->    192.168.150.1:53      192.168.150.15:48129 ->    192.168.150.1:53           0        0
2025-06-09 21:01:14.048     ADD  Ignore TCP    192.168.253.100:38160 ->    194.71.11.173:443     192.168.150.15:38160 ->    194.71.11.173:443          0        0
2025-06-09 21:01:15.343     ADD  Ignore UDP    192.168.253.100:60998 ->    192.168.150.1:53      192.168.150.15:60998 ->    192.168.150.1:53           0        0
2025-06-09 21:01:15.346     ADD  Ignore TCP    192.168.253.100:36194 ->    194.71.11.166:443     192.168.150.15:36194 ->    194.71.11.166:443          0        0
2025-06-09 21:01:29.661  DELETE  Ignore TCP    192.168.253.100:38160 ->    194.71.11.173:443     192.168.150.15:38160 ->    194.71.11.173:443          0        0
2025-06-09 21:02:31.098  DELETE  Ignore UDP    192.168.253.100:48129 ->    192.168.150.1:53      192.168.150.15:48129 ->    192.168.150.1:53           0        0
2025-06-09 21:02:31.098  DELETE  Ignore TCP    192.168.253.100:36194 ->    194.71.11.166:443     192.168.150.15:36194 ->    194.71.11.166:443          0        0
2025-06-09 21:02:31.098  DELETE  Ignore UDP    192.168.253.100:60998 ->    192.168.150.1:53      192.168.150.15:60998 ->    192.168.150.1:53           0        0
====

 

debian 12.

 

Фикс в природе существует или нет?

Share this post


Link to post
Share on other sites

2 часа назад, stalker86 сказал:

All - вопрос.  Ели включены NAT EVENTS - пустой счётчик In Byte/Out Byte.

Стоит  выключить NAT EVERNTS - появляюся счётчики трафика.

 

Фикс в природе существует или нет?

не надо ничего фиксить (ну кроме вашего понимания работы netflow ))

переведите слово "event"

это не счетчики трафика, это события создания-протухания нат-сессий, никакого трафика там не будет.

 

посмотрите внимательнее/полистайте дальше вывод nfdump попеременно с ключами -o line и -o nel, где-то там найдется и трафик.

Share this post


Link to post
Share on other sites

да моя голова квадратная. В том то и прикол что ни дальше ни раньше не вижу по трафику ничего. Даже в pcap собрал дамп.

dump.pcap

Share this post


Link to post
Share on other sites

1 час назад, stalker86 сказал:

да моя голова квадратная. В том то и прикол что ни дальше ни раньше не вижу по трафику ничего

с форума файлы не скачиваются.

если у вас вывод в формате NEL, ищите строчки без слов ADD/DELETE, со словом INVALID после таймстампа. это и будут обычные flow со счетчиками трафика.

 

может, у вас nfdump как-то замысловато вывод делает, игнорируя обычные flow при наличии NEL?

 

посмотрите /proc/net/stat/ipt_netflow на тему статистики выливаемого.

 

и да, если у вас собрана для теста сетка на два компа, то выливания на диск счетчиков трафика можно ждать очень долго, пока буфер не наполнится. вот не помню только, относится ли это также и к NEL, или нет.

Edited by nixx

Share this post


Link to post
Share on other sites

Продублировал дамп на http://stlk.name/files/dump.pcap
Да тестовый стенд на 2 виртуалках изобразил. и тестил на мелком. Сейчас доеду потестирую на чём-то побольше.

 

 

Share this post


Link to post
Share on other sites

В общем не в этом дело оказалось. Когда  последний дамп собирал в iptables потерял -A FORWARD -j NETFLOW. Поэтому и прилетали только нат ивенты.

Теперь с nfdump  1.7.1-2+deb12u1
====
Event time               Event  XEvent Proto      Src IP Addr:Port          Dst IP Addr:Port     X-Src IP Addr:Port        X-Dst IP Addr:Port   In Byte Out Byte
2025-06-10 22:32:23.430     ADD  Ignore UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:32:23.431     ADD  Ignore TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
1970-01-01 03:00:00.000 INVALID  Ignore UDP      192.168.150.1:53    ->  192.168.253.100:58996          0.0.0.0:0     ->          0.0.0.0:0          169        0
1970-01-01 03:00:00.000 INVALID  Ignore UDP    192.168.253.100:58996 ->    192.168.150.1:53             0.0.0.0:0     ->          0.0.0.0:0          108        0
1970-01-01 03:00:00.000 INVALID  Ignore TCP    192.168.253.100:51180 ->     195.78.127.3:443            0.0.0.0:0     ->          0.0.0.0:0        3.6 M        0
1970-01-01 03:00:00.000 INVALID  Ignore TCP       195.78.127.3:443   ->  192.168.253.100:51180          0.0.0.0:0     ->          0.0.0.0:0      423.2 M        0
2025-06-10 22:33:23.074  DELETE  Ignore UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:35:25.954  DELETE  Ignore TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
Summary: total flows: 8, total bytes: 426.8 M, total packets: 124663, avg bps: 1, avg pps: 0, avg bpp: 3423
Time window: Time Window unknown
Total flows processed: 8, passed: 8, Blocks skipped: 0, Bytes read: 1532
Sys: 0.0069s User: 0.0000s Wall: 0.0034s flows/second: 2380.9 Runtime: 0.0039s

===

 

 

с nfdump  из git

======
Date first seen            Event  XEvent Proto      Src IP Addr:Port          Dst IP Addr:Port     X-Src IP Addr:Port        X-Dst IP Addr:Port   In Byte Out Byte
2025-06-10 22:32:23.430      ADD <no-evt> UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:32:23.431      ADD <no-evt> TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
2025-06-10 22:32:22.604 <no-evt> <no-evt> UDP      192.168.150.1:53    ->  192.168.253.100:58996          0.0.0.0:0     ->          0.0.0.0:0          169        0
2025-06-10 22:32:22.600 <no-evt> <no-evt> UDP    192.168.253.100:58996 ->    192.168.150.1:53             0.0.0.0:0     ->          0.0.0.0:0          108        0
2025-06-10 22:32:22.604 <no-evt> <no-evt> TCP    192.168.253.100:51180 ->     195.78.127.3:443            0.0.0.0:0     ->          0.0.0.0:0        3.6 M        0
2025-06-10 22:32:22.604 <no-evt> <no-evt> TCP       195.78.127.3:443   ->  192.168.253.100:51180          0.0.0.0:0     ->          0.0.0.0:0      423.2 M        0
2025-06-10 22:33:23.074   DELETE <no-evt> UDP    192.168.253.100:58996 ->    192.168.150.1:53      192.168.150.15:58996 ->    192.168.150.1:53           0        0
2025-06-10 22:35:25.954   DELETE <no-evt> TCP    192.168.253.100:51180 ->     195.78.127.3:443     192.168.150.15:51180 ->     195.78.127.3:443          0        0
Summary: total flows: 8, total bytes: 426.8 M, total packets: 124663, avg bps: 333.1 M, avg pps: 12164, avg bpp: 3423
Time window: Time Window unknown, Duration:20249d 19:45:00.000
Total records processed: 8, passed: 8, Blocks skipped: 0, Bytes read: 1532
Sys: 0.0105s User: 0.0000s Wall: 0.0041s flows/second: 1965.6 Runtime: 0.0044s

=====

 

Время трафика получилось раньше времени NAT EVENT (ADD)

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.