Jump to content
Калькуляторы

ipt_NETFLOW

Reply to this topic

Andy52280   

Andy52280
Posted · Report post

Хотелось бы отправлять NetFlow статистику на 2 разных коллектора, причем в идеале с группировкой по IP, скажем для трафика, в котором фигурирую IP из подсети А - на один коллектор, а для остального - на другой.

 

Есть какие-нибудь соображения каким образом это можно реализовать?

Share this post

Link to post
Share on other sites

sanya_com_ua   

sanya_com_ua
Posted · Report post

Хотелось бы отправлять NetFlow статистику на 2 разных коллектора, причем в идеале с группировкой по IP, скажем для трафика, в котором фигурирую IP из подсети А - на один коллектор, а для остального - на другой.

 

Когда-то была идея собрать копию модуля с другим именем, загрузить оба и разрулить средствами iptables.

Share this post

Link to post
Share on other sites

micol   

micol
Posted (edited) · Report post

Есть какие-нибудь соображения каким образом это можно реализовать?

 

 

 

Сам не пробовал, но прочитав заинтересовался и сделал такой велосипед:)

Пару минут гуглений нашел следующий проект https://code.google.com/p/samplicator/

качаем, компилим...

Заворачиваем нетфлоу скажем на 127.0.0.1:1234

# ./samplicate  -help
This is samplicate, version 1.3.7-beta6.
Usage: ./samplicate [option...] receiver...

Supported options:

 -p <port>                UDP port to accept flows on (default 2000)
 -s <address>             Interface address to accept flows on (default any)
 -d <level>               debug level
 -b <size>                set socket buffer size (default 65536)
 -n			   don't compute UDP checksum (leave at 0)
 -S                       maintain (spoof) source addresses
 -x <delay>               transmit delay in microseconds
 -c configfile            specify a config file to read
 -f                       fork program into background
 -V                       print program version and exit
 -h                       print this usage message and exit

Specifying receivers:

 A.B.C.D[/port[/freq][,ttl]]...
where:
 A.B.C.D                  is the receiver's IP address
 port                     is the UDP port to send to (default 2000)
 freq                     is the sampling rate (default 1)
 ttl                      is the sending packets TTL value (default 64)

Config file format:

 a.b.c.d[/e.f.g.h]: receiver ...
where:
 a.b.c.d                  is the senders IP address
 e.f.g.h                  is a mask to apply to the sender (default 255.255.255.255)
 receiver                 see above.

Receivers specified on the command line will get all packets, those
specified in the config-file will get only packets with a matching source.

 

Запускаем,слушаем 1234 порт куда льет сенсор ipt_NETFLOW

Копируем на локальный порт 2222 и локальный порт 2223

./samplicate -p 1234 -s 127.0.0.1 127.0.0.1/2222 127.0.0.1/2223

 

В качестве эксперимента вместо ipt_NETFLOW использую генератор flow-gen в связке с flow-send на 127.0.0.1:1234

#flow-gen -V7  | flow-send 0/127.0.0.1/1234  -d 09
flow-send: processed 1000 flows
 sys:   seconds=0.000 flows/second=inf
 wall:  seconds=0.001 flows/second=637348.629700

 

# tcpdump -nni any port 2222 or port 2223
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on any, link-type LINUX_SLL (Linux cooked), capture size 65535 bytes
14:26:10.033937 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.033968 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428
14:26:10.033987 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.034001 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428
14:26:10.034017 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.034030 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428
14:26:10.034046 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.034059 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428
14:26:10.034074 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.034087 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428
14:26:10.034102 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.034115 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428
14:26:10.034130 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.034143 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428
14:26:10.034159 IP 127.0.0.1.43691 > 127.0.0.1.2222: UDP, length 1428
14:26:10.034172 IP 127.0.0.1.43691 > 127.0.0.1.2223: UDP, length 1428

 

Как видим копии netflow потока у нас на 127.0.0.1:2222 и 127.0.0.1:2223 (естественно адреса и порты можно назначить свои :) )

 

Если кому-то этого достаточно - и то хорошо, если надо группировать/фильтровать и т.д. и т.п. на ум приходят утилиты из того же набора flow-tools

 

Получаем копию netflow на 2222 порту при помощи flow-receive 127.0.0.1/0/1234 и делаем конструкцию с flow-filter c нужным набором фильтрации и шлем на коллектор через flow-send

Аналогично делаем для другой копии на порту 2223

 

Критика приветствуется, потому как собираюсь в последствии это применять у себя

Edited by micol

Share this post

Link to post
Share on other sites

aabc   

aabc
Posted (edited) · Report post

Вчера собрал и запустил последнюю версию модуля ipt_NETFLOW (с https://github.com/aabc/ipt-netflow.git) на Debian 6 Squeeze, ядро 2.6.32-5-686-bigmem (кстати скриптом configure текущее ядро не определилось, пришлось его явно указать --kver=...). ... Сегодня сервер завис

 

apog, а вы не помните был ли включен коллектор когда вы тестировали?

 

ps. Пофикисил проблему с configure в дебиане 6. Так же тестировал под большой нагрузкой на именно этом ядре на виртуалке - не виснет, в debug ядре с lockdep вылез один варнинг - в последней версии в git (097b1b5a48) он исправлен.

 

Andy52280, micol Как насчет прописать в destination два адреса?

 

 

   destination=127.0.0.1:2055,192.0.0.1:2055
    - mirror flows to two (can be more) addresses, separate addresses
      with comma.

Edited by aabc

Share this post

Link to post
Share on other sites

micol   

micol
Posted · Report post 

   destination=127.0.0.1:2055,192.0.0.1:2055
    - mirror flows to two (can be more) addresses, separate addresses
      with comma.

 

О, а я велосипед изобретаю... все дело в том, что не собирал из исходников, а взял готовый RPM, а в нем только сам ядерный модуль и никаких README, а в modinfo о перечислении destination через запятую ни слова.

 

Огромное спасибо за наставление на верный путь :)

Share this post

Link to post
Share on other sites

Andy52280   

Andy52280
Posted · Report post

 

Andy52280, micol Как насчет прописать в destination два адреса?

 

 

   destination=127.0.0.1:2055,192.0.0.1:2055
    - mirror flows to two (can be more) addresses, separate addresses
      with comma.

 

Спасибо, это удобно, однако хотелось бы таки разделять статистику, чтобы в разные анализаторы трафика собирать разные NetFlow потоки, например разложив на несколько правил с -j NetflowX по ipset.

Может быть есть вариант с отдельным Netflow-proxy приложением, которое разделяет NetFlow-статистику на несколько дестинейшенов на основе списка сетей, фигурирующих в потоках?

 

Можно это как хотелку оформить? ;)

Share this post

Link to post
Share on other sites

aabc   

aabc
Posted (edited) · Report post
однако хотелось бы таки разделять статистику, чтобы в разные анализаторы трафика собирать разные NetFlow потоки ... на основе списка сетей, фигурирующих в потоках

 

Cisco так умеет?

Edited by aabc

Share this post

Link to post
Share on other sites

tawer   

tawer
Posted · Report post

aabc

на uname -srm

Linux 2.6.27.62 x86_64

make[1]: Entering directory `/usr/local/src/linux-2.6.27.62'
 CC [M]  /home/kv/ipt-netflow1/ipt_NETFLOW.o
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2117: warning: 'struct nf_ct_event' declared inside parameter list
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2117: warning: its scope is only this definition or declaration, which is probably not what you want
/home/kv/ipt-netflow1/ipt_NETFLOW.c: In function 'netflow_conntrack_event':
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2119: error: dereferencing pointer to incomplete type
/home/kv/ipt-netflow1/ipt_NETFLOW.c: At top level:
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2182: warning: initialization from incompatible pointer type
/home/kv/ipt-netflow1/ipt_NETFLOW.c: In function 'netflow_target':
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2661: error: implicit declaration of function 'skb_rtable'
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2661: warning: assignment makes pointer from integer without a cast
/home/kv/ipt-netflow1/ipt_NETFLOW.c: In function 'set_notifier_cb':
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2743: error: 'nf_conntrack_event_cb' undeclared (first use in this function)
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2743: error: (Each undeclared identifier is reported only once
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2743: error: for each function it appears in.)
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2743: warning: type defaults to 'int' in declaration of '_________p1'
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2743: warning: type defaults to 'int' in declaration of 'type name'
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2743: warning: assignment makes pointer from integer without a cast
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2747: warning: comparison of distinct pointer types lacks a cast
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2748: error: 'saved_event_cb' undeclared (first use in this function)
/home/kv/ipt-netflow1/ipt_NETFLOW.c: In function 'unset_notifier_cb':
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2762: error: 'nf_conntrack_event_cb' undeclared (first use in this function)
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2762: warning: type defaults to 'int' in declaration of '_________p1'
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2762: warning: type defaults to 'int' in declaration of 'type name'
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2762: warning: assignment makes pointer from integer without a cast
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2763: warning: comparison of distinct pointer types lacks a cast
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2764: error: 'saved_event_cb' undeclared (first use in this function)
/home/kv/ipt-netflow1/ipt_NETFLOW.c: At top level:
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2881: warning: initialization from incompatible pointer type
/home/kv/ipt-netflow1/ipt_NETFLOW.c:2894: warning: initialization from incompatible pointer type
make[2]: *** [/home/kv/ipt-netflow1/ipt_NETFLOW.o] Ошибка 1
make[1]: *** [_module_/home/kv/ipt-netflow1] Ошибка 2
make[1]: Leaving directory `/usr/local/src/linux-2.6.27.62'
make: *** [ipt_NETFLOW.ko] Ошибка 2

Share this post

Link to post
Share on other sites

aabc   

aabc
Posted (edited) · Report post

tawer

Пофиксил в 31eace054d. Спасибо, что тестируете! К слову говоря, есть два bug trackerа, один на гитхаб, другой на sourceforge. Если вы там заведете тикет, то мне придёт письмо, а nag не всегда шлет письма, хоть я и подписан на этот тред. Но с другой стороны, конечно, тут больше людей могут помочь.

 

ps. 5 ноя 2013: Кто тестировал версию из git пожалуйста обновите на 10d52981 или новее - пофиксен довольно критический баг.

Edited by aabc

Share this post

Link to post
Share on other sites

lknsfos   

lknsfos
Posted · Report post

tawer

ps. 5 ноя 2013: Кто тестировал версию из git пожалуйста обновите на 10d52981 или новее - пофиксен довольно критический баг.

Случаем с этим багом не может быть связано падение в кернел паник? Отловить не успел, грешу между accel-ppp и ipt_netflow. А то перед выходными не хочется оставлять потенциально опасную машинку оставлять, а воспроизвести снова не получается... (версия была g49e4ed7)

Share this post

Link to post
Share on other sites

aabc   

aabc
Posted (edited) · Report post

lknsfos

Смотря какой текст ошибки. Тот баг, который исправлен делал зависание с сообщением типа

 

kernel: [ 3788.208009] BUG: soft lockup - CPU#5 stuck for 23s! [swapper/5:0]

kernel: [ 3788.208010] CPU: 5 PID: 0 Comm: swapper/5 Tainted: GF W O 3.10.17-custom-imq-b2 #1

kernel: [ 3788.208010] task: ffff880129b25dc0 ti: ffff880129b2c000 task.ti: ffff880129b2c000

kernel: [ 3788.208010] RIP: 0010:[<ffffffffa03cc6f5>] [<ffffffffa03cc6f5>] netflow_target+0xc95/0x1124 [ipt_NETFLOW]

или

kernel: [56541.740096] NETDEV WATCHDOG: eth4 (igb): transmit queue 6 timed out

или

kernel: [82815.104006] INFO: rcu_sched self-detected stall on CPU { 7} (t=15000 jiffies g=173289 c=173288 q=3308)

kernel: [82815.104008] sending NMI to all CPUs:

kernel: [82815.104008] NMI backtrace for cpu 7

kernel: [82815.104008] CPU: 7 PID: 0 Comm: swapper/7 Tainted: GF O 3.10.17-matrix-imq-debug #1

 

Этот баг полностью исправлен. Тестирование на реальном трафике никаких других проблем не выявило. Так что пока все хорошо.

 

Ваша версия 49e4ed7 должна быть нормальной.

 

Вот инструкции по тестированию какие я смог придумать:

Testing with lockdep

Testing with pktgen

Testing with mirred

FAQ: How to submit kernel panic message

 

А то перед выходными не хочется оставлять потенциально опасную машинку оставлять

 

Настройте watchdog. А если будете тестировать так, чтоб можно было получить сообщение кернел паник (и понять к чему оно относится), то рекомендую прикрутить внешнюю консоль, в любом случае консоль не повредит.

Edited by aabc

Share this post

Link to post
Share on other sites

lknsfos   

lknsfos
Posted · Report post

Паники были другие. Как предположили, скорее из-за драйверов, либо самого железа.

Спасибо за ссылки! Покрутим после выходных.

Share this post

Link to post
Share on other sites

Andy52280   

Andy52280
Posted · Report post
однако хотелось бы таки разделять статистику, чтобы в разные анализаторы трафика собирать разные NetFlow потоки ... на основе списка сетей, фигурирующих в потоках

 

Cisco так умеет?

Относительно cisco не в курсе, однако в реальной практике очень бы пригодилось.

Share this post

Link to post
Share on other sites

tawer   

tawer
Posted (edited) · Report post

aabc

предусмотрена ли возможность собрать модуль без поддержки IPv6 (что бы эксплуатировать на ядрах без поддержки IPv6)?

Edited by tawer

Share this post

Link to post
Share on other sites

aabc   

aabc
Posted (edited) · Report post

tawer

Для версии в git пока не делал, но можно сделать.

 

ps. Проверил - при отключенном IPv6 (CONFIG_IPV6) в ядре (2.6.32) модуль прекрасно компилируется. Так о чем вы говорите?

Edited by aabc

Share this post

Link to post
Share on other sites

S_ergey   

S_ergey
Posted · Report post

Поставил версию с гита проверить natevents=1

Нат адреса появились но время странно пишет.

nfdump -r nfcapd.201311290935 -onel "nat event add"

Date first seen Event Proto Src IP Addr:Port Dst IP Addr:Port Src NAT IP Addr:Port Dst NAT IP Addr:Port

1970-01-01 03:00:00.000 ADD TCP 192.168.209.90:0 -> 178.72.104.21:0 26.157.166.34:3642 -> 178.72.104.21:0

1970-01-01 03:00:00.996 ADD TCP 192.168.158.34:0 -> 87.240.159.36:0 26.157.166.43:51078 -> 87.240.159.36:0

1970-01-01 03:00:00.52229 ADD TCP 192.168.158.34:0 -> 87.240.159.36:0 26.157.166.43:51080 -> 87.240.159.36:0

1970-01-01 03:00:00.000 ADD TCP 192.168.158.34:0 -> 87.240.152.125:0 26.157.166.43:51043 -> 87.240.152.125:0

1970-01-01 03:00:00.001 ADD TCP 192.168.128.48:0 -> 89.184.81.136:0 26.157.166.35:50976 -> 89.184.81.136:0

1970-01-01 03:00:00.17284 ADD TCP 192.168.128.48:0 -> 91.198.36.35:0 26.157.166.35:50979 -> 91.198.36.35:0

1970-01-01 03:00:00.56791 ADD TCP 192.168.158.34:0 -> 87.240.159.36:0 26.157.166.43:51069 -> 87.240.159.36:0

1970-01-01 03:00:00.796 ADD UDP 192.168.137.123:0 -> 78.60.199.249:0 26.157.166.12:26439 -> 78.60.199.249:0

1970-01-01 03:00:00.53055 ADD UDP 192.168.194.94:0 -> 41.47.95.198:0 26.157.166.59:1408 -> 41.47.95.198:0

1970-01-01 03:00:00.000 ADD TCP 192.168.158.34:0 -> 87.240.148.50:0 26.157.166.43:51089 -> 87.240.148.50:0

1970-01-01 03:00:00.001 ADD TCP 192.168.158.34:0 -> 87.240.159.36:0 26.157.166.43:51048 -> 87.240.159.36:0

1970-01-01 03:00:00.17284 ADD UDP 192.168.155.116:0 -> 2.132.13.227:0 26.157.166.2:1411 -> 2.132.13.227:0

1970-01-01 03:00:00.40289 ADD UDP 192.168.194.94:0 -> 95.225.203.249:0 26.157.166.59:1408 -> 95.225.203.249:0

Куда копать?

Share this post

Link to post
Share on other sites

aabc   

aabc
Posted · Report post

Поставил версию с гита проверить natevents=1

Спасибо.

 

Нат адреса появились но время странно пишет.

nfdump -r nfcapd.201311290935 -onel "nat event add"

Date first seen Event Proto Src IP Addr:Port Dst IP Addr:Port Src NAT IP Addr:Port Dst NAT IP Addr:Port

1970-01-01 03:00:00.000 ADD TCP 192.168.209.90:0 -> 178.72.104.21:0 26.157.166.34:3642 -> 178.72.104.21:0

Куда копать?

 

Я поправил NEL темплейт. Попробуйте новую версию. Если можно пришлите пример nfdump что получилось.

Share this post

Link to post
Share on other sites

S_ergey   

S_ergey
Posted · Report post

ipt_NETFLOW version v1.8-80-g33caa49

nfdump -r nfcapd.201311291245 -onel "nat event add"

Date first seen Event Proto Src IP Addr:Port Dst IP Addr:Port Src NAT IP Addr:Port Dst NAT IP Addr:Port

2013-10-10 20:42:12.700 ADD TCP 192.168.141.57:56832 -> 173.194.39.154:80 26.157.166.25:56832 -> 173.194.39.154:80

2013-10-10 20:42:12.700 ADD TCP 192.168.64.79:55140 -> 178.76.222.36:10234 26.157.166.35:55140 -> 178.76.222.36:10234

2013-10-10 20:42:12.700 ADD TCP 192.168.203.41:60225 -> 77.67.96.231:443 26.157.166.8:60225 -> 77.67.96.231:443

2013-10-10 20:42:12.700 ADD TCP 192.168.203.41:60226 -> 77.67.96.231:443 26.157.166.8:60226 -> 77.67.96.231:443

2013-10-10 20:42:12.700 ADD TCP 192.168.141.57:56820 -> 173.194.70.156:80 26.157.166.25:56820 -> 173.194.70.156:80

2013-10-10 20:42:12.696 ADD TCP 192.168.163.26:60835 -> 94.180.181.229:31699 26.157.166.36:60835 -> 94.180.181.229:31699

Share this post

Link to post
Share on other sites

aabc   

aabc
Posted (edited) · Report post

Может для анализа выложить сам nfcapd.201311291245

А то совпадает только год теперь а дата и время то разные.

А что такое nfcapd.201311291245? Лучше выложите фрагмент трафика записанный tcpdump-ом или wshark-ом (вышлите мне на почту, адрес в README). И убедитесь что время на сервере стоит правильное.

Edited by aabc

Share this post

Link to post
Share on other sites

S_ergey   

S_ergey
Posted · Report post

nfcapd.201311291245 дата и время создания файла.

Вывод nfdump -r nfcapd.201311291245 -oline тоесть без ната

2013-11-29 12:44:29.996 0.000 TCP 192.168.164.88:51362 -> 87.240.135.68:80 1 41 1

2013-11-29 12:44:29.996 0.000 UDP 192.168.207.35:8621 -> 94.242.229.182:6881 1 129 1

2013-11-29 12:44:29.996 0.000 TCP 192.168.160.47:1371 -> 94.100.178.241:2041 1 48 1

2013-10-10 20:42:12.696 4238010.940 TCP 192.168.209.20:2495 -> 87.251.157.250:20055 0 0 1

2013-10-10 20:42:12.696 4238010.940 TCP 192.168.199.140:49849 -> 81.19.104.57:443 0 0 1

2013-10-10 20:42:12.700 4238010.936 TCP 192.168.141.57:56832 -> 173.194.39.154:80 0 0 1

2013-10-10 20:42:12.700 4238010.936 TCP 192.168.64.79:55140 -> 178.76.222.36:10234 0 0 1

2013-10-10 20:42:12.700 4238010.936 TCP 192.168.203.41:60225 -> 77.67.96.231:443 0 0 1

2013-10-10 20:42:12.700 4238010.936 TCP 192.168.203.41:60226 -> 77.67.96.231:443 0 0 1

2013-10-10 20:42:12.700 4238010.936 TCP 192.168.141.57:56820 -> 173.194.70.156:80 0 0 1

2013-10-10 20:42:12.700 4238010.936 TCP 192.168.137.22:55448 -> 206.144.175.200:59595 0 0 1

2013-11-29 12:44:30.000 0.000 UDP 92.37.161.147:6890 -> 192.168.199.45:34550 1 52 1

2013-11-29 12:44:30.000 0.000 TCP 192.168.142.47:12686 -> 94.126.61.94:61389 1 52 1

2013-11-29 12:44:30.000 0.000 TCP 192.168.204.29:50357 -> 37.131.219.244:35691 1 52 1

2013-11-29 12:44:30.000 0.000 UDP 192.168.215.89:56612 -> 157.56.144.215:3544 1 84 1

2013-11-29 12:44:30.000 0.000 TCP 192.168.204.96:49334 -> 213.21.43.242:19843 1 52 1

 

там где дата 2013-10-10 20:42:12 это строки которые выводятся при нате.

время на серваке по ntp установленно

tcpdump с какими параметрами выложить.

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Go to topic listing Программное обеспечение, биллинг и *unix системы