[junjunk2]

On 11/11/2022 at 9:33 AM, sanyasi said:

Ubuntu 22.04
5.15.0-52-generic

Компилируется, но что-то идёт не так.
 

 

Пофикшено в PR#204

[sanyasi]

В 14.11.2022 в 01:40, junjunk2 сказал:

Пофикшено в PR#204

Спасибо! Работает!

Изменено 14 ноября, 2022 пользователем sanyasi
Протестировано. Работает.

[sanyasi]

В 14.11.2022 в 01:40, junjunk2 сказал:

Пофикшено в PR#204

Вот еще странное после обновления на 5.15 ядро. Там что-то переделали как в ядре, так и в ipt_NETFLOW по поводу nat трансляций:

Nov 17 09:35:44 nas kernel: [90222.292436] ipt_NETFLOW: natevents already disabled.
Nov 18 02:47:33 nas kernel: [152131.610011] ipt_NETFLOW: natevents already disabled.
Nov 19 04:36:43 nas kernel: [245081.347848] ipt_NETFLOW: natevents already disabled.

Пока полностью сохранность всех nat сессий в нетфлоу не проверил, но есть пропуски. Причем, не только в nat трансляциях, но и в данных по трафику в v9.


ipt_NETFLOW 2.6, srcversion 5ADB82C68DDC8702D2DC6AE; llist nel
Protocol version 9 (netflow), refresh-rate 20, timeout-rate 30, (templates 8, active 8).
Timeouts: active 300s, inactive 15s. Maxflows 2000000
Natevents enabled, count start 376833198, stop 376709087.
Flows: active 90995 (peak 166399 reached 1d13h46m ago), mem 19337K, worker delay 1/250 [1..25] (4 ms, 0 us, 296:0 1 [cpu2]).
Hash: size 655360 (mem 5120K), metric 1.09 [1.05, 1.00, 1.00]. InHash: 45194226 pkt, 44087306 K, InPDU 57, 7040.
Rate: 4110016356 bits/sec, 528850 packets/sec; Avg 1 min: 4002725667 bps, 511619 pps; 5 min: 3938182797 bps, 501906 pps
cpu#     pps; <search found new [metric], trunc frag alloc maxflows>, traffic: <pkt, bytes>, drop: <pkt, bytes>
Total 528848; 13007076146 125206488126 1113689444 [78.88],    0    0    0    0, traffic: 126320177570, 115120753 MB, drop: 0, 0 K
cpu0   93799; 2250082842 21603383069 191332615 [1.05],    0    0    0    0, traffic: 21794715684, 19809514 MB, drop: 0, 0 K
cpu1   79647; 2241730454 21571386162 191974628 [1.03],    0    0    0    0, traffic: 21763360790, 19764019 MB, drop: 0, 0 K
cpu2   94887; 2114437035 20540645579 180678225 [1.07],    0    0    0    0, traffic: 20721323804, 18967542 MB, drop: 0, 0 K
cpu3   84775; 2147643481 20789567715 180329874 [1.05],    0    0    0    0, traffic: 20969897589, 19176022 MB, drop: 0, 0 K
cpu4   88878; 2124267566 20439057273 185251417 [1.04],    0    0    0    0, traffic: 20624308690, 18858125 MB, drop: 0, 0 K
cpu5   86862; 2128914768 20262448332 184122685 [1.05],    0    0    0    0, traffic: 20446571017, 18545528 MB, drop: 0, 0 K
Export: Rate 629506 bytes/s; Total 107873488 pkts, 144291 MB, 1867247088 flows; Errors 0 pkts; Traffic lost 0 pkts, 0 Kbytes, 0 flows.
sock0: 192....:9996, sndbuf 3145728, filled 1, peak 211969; err: sndbuf reached 0, connect 0, cberr 0, other 0
sock1: 192....:9996, sndbuf 3145728, filled 1, peak 211969; err: sndbuf reached 0, connect 0, cberr 0, other 0


PS.

Каждый раз сообщение было одновременно с этим. Вот это подземный стук, я понимаю.
Nov 17 09:35:44 nas systemd[1]: plocate-updatedb.service: Deactivated successfully.
Nov 17 09:35:44 nas systemd[1]: Finished Update the plocate database.
Nov 17 09:35:44 nas kernel: [90222.292436] ipt_NETFLOW: natevents already disabled.


 

Изменено 19 ноября, 2022 пользователем sanyasi

[md5alx]

#/home/src/ipt-netflow# modprobe ipt_NETFLOW
# dkms status

ipt-netflow, 2.6-12-g40fefb2: added
 

#/home/src/ipt-netflow# iptables -A FORWARD -j NETFLOW
iptables v1.8.7 (nf_tables): Chain 'NETFLOW' does not exist
Try `iptables -h' or 'iptables --help' for more information.
 

Подскажите пожалуйста, что нужно сделать ?? Как я понимаю нужно создать таблицу. iptables -N NETFLOW

[DDR]

On 11/20/2022 at 2:00 AM, md5alx said:

#/home/src/ipt-netflow# modprobe ipt_NETFLOW
# dkms status

ipt-netflow, 2.6-12-g40fefb2: added
 

#/home/src/ipt-netflow# iptables -A FORWARD -j NETFLOW
iptables v1.8.7 (nf_tables): Chain 'NETFLOW' does not exist
Try `iptables -h' or 'iptables --help' for more information.
 

Подскажите пожалуйста, что нужно сделать ?? Как я понимаю нужно создать таблицу. iptables -N NETFLOW

 

On 11/20/2022 at 2:00 AM, md5alx said:

iptables v1.8.7 (nf_tables)

поменяйте на iptables-legacy

[sanyasi]

2022-11-21 01:23:31 fstrim[669683]: /boot/efi: 502.4 MiB (526753792 bytes) trimmed on /dev/disk/by-uuid/F
2022-11-21 01:23:31 fstrim[669683]: /: 221.5 GiB (237825269760 bytes) trimmed on /dev/disk/by-uuid/af
2022-11-21 01:23:31 systemd[1]: fstrim.service: Deactivated successfully.
2022-11-21 01:23:31 systemd[1]: Finished Discard unused blocks on filesystems from /etc/fstab.
2022-11-21 01:23:31 kernel:[551633.449924] ipt_NETFLOW: natevents already disabled.

Похоже, что дисковая активность как-то дергает ipt_NETFLOW.

 

[1boris]

В 20.11.2022 в 23:06, DDR сказал:

 

поменяйте на iptables-legacy

update-alternatives --set iptables /usr/sbin/iptables-legacy
update-alternatives --set ip6tables /usr/sbin/ip6tables-legacy

iptables v1.8.7 (legacy): Couldn't load target `NETFLOW':No such file or directory
 

make all install
...
install -D libipt_NETFLOW.so /usr/lib/debug/.dwz/x86_64-linux-gnu/iptables.debug/libipt_NETFLOW.so
install -D libip6t_NETFLOW.so /usr/lib/debug/.dwz/x86_64-linux-gnu/iptables.debug/libip6t_NETFLOW.so

strace показывает No such file or directory /usr/lib/x86_64-linux-gnu/xtables/libipt_NETFLOW.so

Спасает:
./configure --ipt-lib=/usr/lib/x86_64-linux-gnu/xtables

Изменено 5 декабря, 2022 пользователем 1boris

[Ilya]

Два тупых вопроса если можно:

1) Как мне убедиться, что я не теряю трафик? По данным со стороны маршрутизатора прилетает примерно 1.4 Mpkt/s а я вижу примерно половину:

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

ipt_NETFLOW 2.6-12-g40fefb2, srcversion DA235835D1CF1F574501467; llist promisc vlan
Protocol version 9 (netflow), refresh-rate 20, timeout-rate 30, (templates 8, active 8).
Timeouts: active 1800s, inactive 15s. Maxflows 2000000
Promisc hack is enabled (observed 4299400024 packets, discarded 2865).
Flows: active 370848 (peak 378529 reached 0d0h8m ago), mem 57270K, worker delay 1/1000 [1..100] (1 ms, 0 us, 293:0 0 [cpu20]).
Hash: size 655360 (mem 5120K), metric 1.41 [1.36, 1.06, 1.00]. InHash: 249845782 pkt, 242997357 K, InPDU 28, 7051.
Rate: 6847072148 bits/sec, 855599 packets/sec; Avg 1 min: 6730058944 bps, 838281 pps; 5 min: 6706026097 bps, 836452 pps

 

2) Как использовать больше 16 ядер ? У меня - 64. 

[QWE]

1. Скачайте файл какой нить, пересчитайте его размер из ft файлов.

2. Какая модель вашего процессора?     какая сетевая карта у Вас?

[YuryD]

>1. Скачайте файл какой нить, пересчитайте его размер из ft файлов. 

 

 Лучше чексумму, так точнее. И да, качать и в зеркале ловить, склеивать из флоу и сравнивать. Кстати при склейке из флоу, склеиватель может сразу сказать о битости,  проводная акула раньше отлично это делала. И да, качать лучше архивы, ибо битый не распакуется, ну и чексуммы к ним как правило прилагаются на сайте.

[Phantom]

ipt_NETFLOW 2.6-5-gc0badb8, srcversion A54C402B0D7FB11FD1E760C; dir llist mac nel samp vlan
Protocol version 9 (netflow), refresh-rate 20, timeout-rate 30, (templates 37, active 13).
Timeouts: active 1800s, inactive 15s. Maxflows 2000000
Flow sampling is disabled.
Natevents enabled, count start 5796666, stop 5483717.
Flows: active 278441 (peak 476171 reached 0d0h23m ago), mem 53873K, worker delay 1/1000 [1..100] (1 ms, 0 us, 284:0 0 [cpu0]).
Hash: size 491666 (mem 3841K), metric 1.33 [1.29, 1.00, 1.00]. InHash: 376354422 pkt, 330331352 K, InPDU 0, 0.
Rate: 8361370938 bits/sec, 1322732 packets/sec; Avg 1 min: 8534269901 bps, 1315941 pps; 5 min: 8462335546 bps, 1298402 pps
cpu#     pps; <search found new [metric], trunc frag alloc maxflows>, traffic: <pkt, bytes>, drop: <pkt, bytes>
Total 1322722; 529442785 1619786493 20702438 [1.32],    0    0    0    0, traffic: 1640488931, 1261862 MB, drop: 0, 0 K
cpu0   55896; 24444911 78126631 937752 [1.31],    0    0    0    0, traffic: 79064383, 58888 MB, drop: 0, 0 K
cpu1   70563; 22641381 73284381 930156 [1.26],    0    0    0    0, traffic: 74214537, 55741 MB, drop: 0, 0 K
cpu2   67817; 25997160 78713413 936292 [1.30],    0    0    0    0, traffic: 79649705, 58151 MB, drop: 0, 0 K
cpu3   62231; 21706745 69700560 1004729 [1.28],    0    0    0    0, traffic: 70705289, 51371 MB, drop: 0, 0 K
cpu4   64804; 25436718 76390229 941191 [1.24],    0    0    0    0, traffic: 77331420, 62970 MB, drop: 0, 0 K
cpu5   58474; 22890312 72105069 986211 [1.26],    0    0    0    0, traffic: 73091280, 51216 MB, drop: 0, 0 K
cpu6   58098; 22176686 71782625 971915 [1.26],    0    0    0    0, traffic: 72754540, 53377 MB, drop: 0, 0 K
cpu7   60802; 23212092 74412748 922592 [1.29],    0    0    0    0, traffic: 75335340, 54267 MB, drop: 0, 0 K
cpu8   67286; 24232789 74969345 910026 [1.29],    0    0    0    0, traffic: 75879371, 54846 MB, drop: 0, 0 K
cpu9   73784; 26349156 78996493 910971 [1.29],    0    0    0    0, traffic: 79907464, 59484 MB, drop: 0, 0 K
cpu10  62915; 27771936 82346195 907829 [1.33],    0    0    0    0, traffic: 83254024, 65071 MB, drop: 0, 0 K
cpu11  65125; 24670463 78823924 924342 [1.29],    0    0    0    0, traffic: 79748266, 60789 MB, drop: 0, 0 K
cpu12  66786; 27066147 84241393 942928 [1.28],    0    0    0    0, traffic: 85184321, 65066 MB, drop: 0, 0 K
cpu13  62384; 26337019 80585759 922022 [1.30],    0    0    0    0, traffic: 81507781, 64759 MB, drop: 0, 0 K
cpu14  61467; 23136285 72005320 916573 [1.26],    0    0    0    0, traffic: 72921893, 53953 MB, drop: 0, 0 K
cpu15  61058; 23715631 74719282 911899 [1.29],    0    0    0    0, traffic: 75631181, 58283 MB, drop: 0, 0 K
cpu16  25723; 12205635 33555367 475571 [1.35],    0    0    0    0, traffic: 34030938, 27392 MB, drop: 0, 0 K
cpu17  20706; 10427888 29410568 477025 [1.35],    0    0    0    0, traffic: 29887593, 23042 MB, drop: 0, 0 K
cpu18  20997; 8732937 26748639 475147 [1.34],    0    0    0    0, traffic: 27223786, 22003 MB, drop: 0, 0 K
cpu19  18999; 10940979 31333991 473654 [1.29],    0    0    0    0, traffic: 31807645, 25372 MB, drop: 0, 0 K
cpu20  17716; 12259920 31813933 472506 [1.33],    0    0    0    0, traffic: 32286439, 23740 MB, drop: 0, 0 K
cpu21  27166; 12747981 37667012 478474 [1.39],    0    0    0    0, traffic: 38145486, 32800 MB, drop: 0, 0 K
cpu22  17873; 12610199 35551077 476164 [1.35],    0    0    0    0, traffic: 36027241, 31162 MB, drop: 0, 0 K
cpu23  29932; 13128574 36503305 478970 [1.34],    0    0    0    0, traffic: 36982275, 31539 MB, drop: 0, 0 K
cpu24  39438; 12398661 35324962 478057 [1.28],    0    0    0    0, traffic: 35803019, 29724 MB, drop: 0, 0 K
cpu25  27474; 10335578 32869770 479118 [1.30],    0    0    0    0, traffic: 33348888, 28822 MB, drop: 0, 0 K
cpu26  33216; 11404673 35203407 478306 [1.25],    0    0    0    0, traffic: 35681713, 29637 MB, drop: 0, 0 K
cpu27  23992; 10464341 32601121 482020 [1.34],    0    0    0    0, traffic: 33083141, 28383 MB, drop: 0, 0 K
Export: Rate 2339757 bytes/s; Total 2442450 pkts, 3245 MB, 31706462 flows; Errors 2 pkts; Traffic lost 0 pkts, 0 Kbytes, 0 flows.
sock0: 172.16.1.5:9996, sndbuf 16777216, filled 1, peak 59905; err: sndbuf reached 0, connect 0, cberr 0, other 0
sock1: 172.16.1.9:9996, sndbuf 16777216, filled 1, peak 59905; err: sndbuf reached 0, connect 0, cberr 0, other 0

Здравствуйте, коллеги! Используем ipt_netflow для слива netflow в сорм-3(МФИ-СОРФ), начали поступать жалобы, что часть идет нормально (Есть источник, получатель, адрес после ната, получатель после ната. Все порты, до нат и после нат), а часть нет (есть источник, получатель, а дальше в виде 0.0.0.0:0 -> 0.0.0.0:0). И вот такие строки к примеру - 

 

2023-01-13 16:41:17.998 INVALID  Ignore UDP          10.9.2.88:56759 ->    202.5.137.108:49840          0.0.0.0:0     ->          0.0.0.0:0           48        0
2023-01-13 16:41:17.998 INVALID  Ignore UDP          10.9.2.88:56759 ->  201.190.175.134:49027          0.0.0.0:0     ->          0.0.0.0:0           48        0
2023-01-13 16:41:17.998 INVALID  Ignore UDP          10.9.2.88:56759 ->      37.238.8.14:54394          0.0.0.0:0     ->          0.0.0.0:0           48        0
2023-01-13 16:41:17.999 INVALID  Ignore UDP          10.9.2.88:56759 ->     37.238.67.10:39462          0.0.0.0:0     ->          0.0.0.0:0           48        0
2023-01-13 16:41:17.999 INVALID  Ignore UDP          10.9.2.88:56759 ->  222.124.113.211:55458          0.0.0.0:0     ->          0.0.0.0:0           48        0

Вызывают вопросы у "сормистов" - типа как могут абоненты работать без NAT-трансляций? Ибо, кроме как вот на это грешить - больше не на что.

Никак не могу понять в чем причина.
 

[bike]

3 часа назад, Phantom сказал:

начали поступать жалобы, что часть идет нормально (Есть источник, получатель, адрес после ната, получатель после ната. Все порты, до нат и после нат), а часть нет (есть источник, получатель, а дальше в виде 0.0.0.0:0 -> 0.0.0.0:0). И вот такие строки к примеру - 

ОФФ ТОП.

Проблемы появились сразу после внедрения или в последствии, какая часть НАТ лога кривая?

Проблемные пакеты действительно прошли НАТ, ограничение сессий и т.д.?

[Phantom]

Off-топну тоже.

bike, да мы этот модуль использовали с 2018г и исключительно для себя (для ответов на вопросы из органов кто и когда был за таким IP из NAT пула). Пока вот не пришлось столкнутся с тем, что UDP-соединения абонентов без NAT-трансляций(но, такое не может быть в принципе, иначе абоненты в сеть не выйдут. "Серая" адресация для абонентов.) 

А, внедрять стали недавно именно для сорм-3. Ограничений вроде бы никаких нет для сессий. Раньше на сервере крутился Centos 7, после пришлось сменить и сервер, и ОС( поставили Rocky Linux 8.5). 2 аплинка со статикой. Как собирал модуль - уже не вспомню(но, snmp точно не нужно было и ещё что-то)

[Phantom]

Добрый день, коллеги. Опять офф-топну. В общем, увеличил net.netflow.hashsize до 491666 и увеличил sndbuf до 16777216...проблемы ушли. По крайней мере со слов коллег из МФИ, все стало нормально. Трафик через сервер в ЧНН 12Gb.

[nixx]

В 17.10.2022 в 04:54, nixx сказал:

господа, а кто-нибудь льет nat-events с ipt_NETFLOW 2.3 (да, старый) в IPFIX-формате в nfcapd?

получается нормально принять?

если да, то сразу завелось, или были нюансы?

на всяк случай, если кому надо - последний nfdump/nfcapd стал нормально обрабатывать NAT-events в IPFIX из-под ipt_NETFLOW.

какой "последний" - ну вот сегодня скачал с github'а HEAD и скомпилировал. 1.7.1 с фиксами на текущий момент. но наверное и чистая 1.7.1 заработает, т.к. сообщения от разработчика об исправлениях в работе с IPFIX были уже давно.

 

теперь хочется разделить на диске отдельно NAT-events, отдельно обычные flow. вроде уже придумал, как.

[valll]

Добрый день, коллеги.

сталкивался ли кто с такой ситуацией:

флоу льется как надо, но информация о нат-трансляции есть только в 258 темплейте.

В остальных темплейтах (259, 260...)  нет даже соответствующих полей. 

natevents включен, контрэк тоже. 

 

[alex39x]

Цитата

Добрый день, коллеги.

сталкивался ли кто с такой ситуацией:

флоу льется как надо, но информация о нат-трансляции есть только в 258 темплейте.

В остальных темплейтах (259, 260...)  нет даже соответствующих полей. 

natevents включен, контрэк тоже. 

 

А какая версия ipt_netflow ?

[valll]

Цитата

А какая версия ipt_netflow ?

ipt-netflow-2.3.

 

Изменено 1 марта, 2023 пользователем valll

[alex39x]

Цитата

ipt-netflow-2.3

У нас на версии 2.2 передаётся тоже в 258.  Получается так не должно быть? 

А вы это заметили в связи с чем? СОРМ сдаёте?

[valll]

Цитата

У нас на версии 2.2 передаётся тоже в 258.  Получается так не должно быть? 

А вы это заметили в связи с чем? СОРМ сдаёте?

сдаем сорм. Документацию какую-то, как должно быть, не нашел, но подрядчики, которые ставят сорм, говорят, что эти поля должны быть во всех темплейтах, где есть нат-трансляция.

Заметил, что если отключить natevents, то 258 темплейт отсутствует совсем. 

Изменено 2 марта, 2023 пользователем valll

[alex39x]

Я так понял в 258 шлёт чисто NEL, а в других NetFlow

[alex39x]

А у вас кто подрядчики?

[myth]

Норси Транс всё устроило, вопросов не возникало

[valll]

Цитата

А у вас кто подрядчики?

норси-транс

[myth]

шлю v9. Всё норм