Sonne Опубликовано 28 ноября, 2015 · Жалоба aabc Вы не переживайте, ваш модуль наилучшее решение когда требуется генерация статистики нетфлоу. Мы, например, используем его в качестве сенсора для мирроринга трафика. Однако при увеличении количества маршрутизаторов и расширении сети миррор использовать менее удобно, чем чем прямой поток с маршрутизатора. Все таки 5-10 Мбит netflow гнать по сети проще чем 1 Гбит живого трафика. Стандарт Netflow 9 как раз и позволят гнать настраиваемые темплейты, поэтому Mikrotik не нарушает никаких RFC. Просто писатели коллекторов еще к этому не приспособились. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 28 ноября, 2015 · Жалоба Sonne Лучше Wireshark. Вот что посылает Mikrotik ROS 6.33 Netflow V9 FlowSet 1 FlowSet Id: Data Template (V9) (0) FlowSet Length: 184 Template (Id = 256, Count = 22) Template Id: 256 Field Count: 22 Field (1/22): LAST_SWITCHED Field (2/22): FIRST_SWITCHED Field (3/22): PKTS Field (4/22): BYTES Field (5/22): INPUT_SNMP Field (6/22): OUTPUT_SNMP Field (7/22): IP_SRC_ADDR Field (8/22): IP_DST_ADDR Field (9/22): PROTOCOL Field (10/22): IP_TOS Field (11/22): L4_SRC_PORT Field (12/22): L4_DST_PORT Field (13/22): IP_NEXT_HOP Field (14/22): DST_MASK Field (15/22): SRC_MASK Field (16/22): TCP_FLAGS Field (17/22): DESTINATION_MAC Field (18/22): SOURCE_MAC Field (19/22): postNATSourceIPv4Address Field (20/22): postNATDestinationIPv4Address Field (21/22): postNAPTSourceTransportPort Field (22/22): postNAPTDestinationTransportPort Template (Id = 257, Count = 21) Template Id: 257 Field Count: 21 Field (1/21): IP_PROTOCOL_VERSION Field (2/21): IPV6_SRC_ADDR Field (3/21): IPV6_SRC_MASK Field (4/21): INPUT_SNMP Field (5/21): IPV6_DST_ADDR Field (6/21): IPV6_DST_MASK Field (7/21): OUTPUT_SNMP Field (8/21): IPV6_NEXT_HOP Field (9/21): PROTOCOL Field (10/21): TCP_FLAGS Field (11/21): IP_TOS Field (12/21): L4_SRC_PORT Field (13/21): L4_DST_PORT Field (14/21): FLOW_LABEL Field (15/21): IPV6_OPTION_HEADERS Field (16/21): LAST_SWITCHED Field (17/21): FIRST_SWITCHED Field (18/21): BYTES Field (19/21): PKTS Field (20/21): DESTINATION_MAC Field (21/21): SOURCE_MAC Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 28 ноября, 2015 · Жалоба aabc Вы не переживайте, [...] Стандарт Netflow 9 как раз и позволят гнать настраиваемые темплейты, поэтому Mikrotik не нарушает никаких RFC. Вообще-то, набор элементов в темплейтах тоже бывает стандартизован. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 28 ноября, 2015 · Жалоба Вот что посылает Mikrotik ROS 6.33 Netflow V9 Template (Id = 256, Count = 22) Field (1/22): LAST_SWITCHED Field (2/22): FIRST_SWITCHED Field (3/22): PKTS Field (4/22): BYTES Field (5/22): INPUT_SNMP Field (6/22): OUTPUT_SNMP Field (7/22): IP_SRC_ADDR Field (8/22): IP_DST_ADDR Field (9/22): PROTOCOL Field (10/22): IP_TOS Field (11/22): L4_SRC_PORT Field (12/22): L4_DST_PORT Field (13/22): IP_NEXT_HOP Field (14/22): DST_MASK Field (15/22): SRC_MASK Field (16/22): TCP_FLAGS Field (17/22): DESTINATION_MAC Field (18/22): SOURCE_MAC Field (19/22): postNATSourceIPv4Address Field (20/22): postNATDestinationIPv4Address Field (21/22): postNAPTSourceTransportPort Field (22/22): postNAPTDestinationTransportPort Спасибо. Интересно, кто ещё шлёт информацию в таком виде кроме Mikrotik? Ведь это оказалось совместимо с nfdump. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 28 ноября, 2015 · Жалоба У меня есть подозрение что это формат Cisco NEL Подскажите лучше как настроить nfdump? Я компилировал с ключами: ./configure --enable-nsel --enable-nfprofile --enable-nftrack Пробовал так же --enable-nel, результат одинаковый - не отображаются адреса трансялции. Как то так: Date first seen Event XEvent Proto Src IP Addr:Port Dst IP Addr:Port X-Src IP Addr:Port X-Dst IP 2015-11-28 15:36:47.510 INVALID Ignore TCP 95.76.187.149:62339 -> 37.221.176.53:18165 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore UDP 192.168.9.2:123 -> 172.16.24.70:123 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore ICMP 184.50.30.133:0 -> 37.221.176.7:0.0 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore ICMP 37.221.176.7:0 -> 184.50.30.133:0.0 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore TCP 95.211.128.134:13256 -> 37.221.176.54:18267 0.0.0.0:0 -> 0 2015-11-28 15:36:54.750 INVALID Ignore TCP 104.96.90.9:443 -> 37.221.176.60:18025 0.0.0.0:0 -> 0 2015-11-28 15:36:47.590 INVALID Ignore TCP 37.221.176.184:58981 -> 172.207.146.174:23 0.0.0.0:0 -> 0 В потоке от микротика эти поля есть. Так что косяк где то в nfcapd/nfdump. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 28 ноября, 2015 · Жалоба У меня есть подозрение что это формат Cisco NEL Cisco NEL описан в драфте rfc, что я уже давал. Для них это просто лог событий. Микротик же смешал элементы от событий с реальными потоками. Behave S. Sivakumar Internet-Draft R. Penno Intended status: Standards Track Cisco Systems Expires: January 3, 2015 July 2, 2014 IPFIX Information Elements for logging NAT Events Обращаю внимание на "Cisco Systems" и "Events". Date first seen Event XEvent Proto Src IP Addr:Port Dst IP Addr:Port X-Src IP Addr:Port X-Dst IP 2015-11-28 15:36:47.510 INVALID Ignore TCP 95.76.187.149:62339 -> 37.221.176.53:18165 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore UDP 192.168.9.2:123 -> 172.16.24.70:123 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore ICMP 184.50.30.133:0 -> 37.221.176.7:0.0 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore ICMP 37.221.176.7:0 -> 184.50.30.133:0.0 0.0.0.0:0 -> 0 2015-11-28 15:36:56.590 INVALID Ignore TCP 95.211.128.134:13256 -> 37.221.176.54:18267 0.0.0.0:0 -> 0 2015-11-28 15:36:54.750 INVALID Ignore TCP 104.96.90.9:443 -> 37.221.176.60:18025 0.0.0.0:0 -> 0 2015-11-28 15:36:47.590 INVALID Ignore TCP 37.221.176.184:58981 -> 172.207.146.174:23 0.0.0.0:0 -> 0 В потоке от микротика эти поля есть. Это пример лога от Cisco? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 28 ноября, 2015 · Жалоба У меня есть подозрение что это формат Cisco NEL Cisco NEL описан в драфте rfc, что я уже давал. Для них это просто лог событий. Микротик же смешал элементы от событий с реальными потоками. Behave S. Sivakumar Internet-Draft R. Penno Intended status: Standards Track Cisco Systems Expires: January 3, 2015 July 2, 2014 IPFIX Information Elements for logging NAT Events Обращаю внимание на "Cisco Systems" и "Events". IPFIX это другой протокол, условно говоря Netflow v.10 и он не совместим с v.9 Может быть это nfdump/nfcapd смешал V.9 и IPFIX ? ... В потоке от микротика эти поля есть. Это пример лога от Cisco? Это лог nfdump Микротика. Вот, кстати пример живого Flow: Flow 1 [Duration: 1.020000000 seconds] StartTime: 191558.080000000 seconds EndTime: 191559.100000000 seconds Packets: 50 Octets: 53268 InputInt: 19 OutputInt: 18 SrcAddr: 2.20.45.67 (2.20.45.67) DstAddr: 37.221.176.72 (37.221.176.72) Protocol: 6 IP ToS: 0x00 SrcPort: 443 DstPort: 18069 NextHop: 192.168.9.10 (192.168.9.10) DstMask: 0 SrcMask: 0 TCP Flags: 0x12 Destination Mac Address: 4c:5e:0c:24:2d:c5 (4c:5e:0c:24:2d:c5) Post Source Mac Address: 4c:5e:0c:24:2d:c3 (4c:5e:0c:24:2d:c3) Post NAT Source IPv4 Address: 2.20.45.67 (2.20.45.67) Post NAT Destination IPv4 Address: 172.16.38.30 (172.16.38.30) Post NAPT Source Transport Port: 443 Post NAPT Destination Transport Port: 18069 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 30 ноября, 2015 · Жалоба Susanin Напишите пожалуйста вашу версию nfdump и настройки компиляции. Ну или nfdump -V Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Susanin Опубликовано 30 ноября, 2015 · Жалоба nfdump -V nfdump: Version: NSEL-NEL1.6.11 $Date: 2013-11-16 09:04:43 +0100 (Sat, 16 Nov 2013) $ nfdump-1.6.11-1.el6.x86_64 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 30 ноября, 2015 · Жалоба Прошу прощения, а как это при загрузке пофиксить можно? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 30 ноября, 2015 · Жалоба hsvt А что там фиксить, написано же don't worry. 101 это Network is unreachable. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 30 ноября, 2015 (изменено) · Жалоба hsvt А что там фиксить, написано же don't worry. 101 это Network is unreachable. Всё, подключился, спасибо. (Ооочень долго было после ребута сервера - unconnected (1 attempts), хотя сетка доступна) Ну фиксить я имел в виду при загрузке каждый раз такое не получать или просто пока сетка не поднята и интерфейсы апаются оно так и будет ? cat /proc/net/stat/ipt_netflow ipt_NETFLOW 2.1-27-g8ef0119, srcversion D029ADECDBE76912F270BA0; llist mac nel Protocol version 5 (netflow) Timeouts: active 120s, inactive 15s. Maxflows 2000000 Natevents disabled, count start 0, stop 0. Flows: active 5 (peak 185 reached 0d0h4m ago), mem 5120K, worker delay 25/250 [1..25] (88 ms, 0 us, 5:0 0 [cpu0]). Hash: size 655360 (mem 5120K), metric 1.00 [1.00, 1.00, 1.00]. InHash: 5 pkt, 0 K, InPDU 25, 2761. Rate: 0 bits/sec, 0 packets/sec; Avg 1 min: 893 bps, 0 pps; 5 min: 2080 bps, 0 pps cpu# pps; <search found new [metric], trunc frag alloc maxflows>, traffic: <pkt, bytes>, drop: <pkt, bytes> Total 0; 0 694 809 [1.00], 0 0 0 0, traffic: 1503, 0 MB, drop: 0, 0 K cpu0 0; 0 13 17 [1.00], 0 0 0 0, traffic: 30, 0 MB, drop: 0, 0 K cpu1 0; 0 99 50 [1.00], 0 0 0 0, traffic: 149, 0 MB, drop: 0, 0 K cpu2 0; 0 0 0 [1.00], 0 0 0 0, traffic: 0, 0 MB, drop: 0, 0 K cpu3 0; 0 3 17 [1.00], 0 0 0 0, traffic: 20, 0 MB, drop: 0, 0 K cpu4 0; 0 122 28 [1.00], 0 0 0 0, traffic: 150, 0 MB, drop: 0, 0 K cpu5 0; 0 4 10 [1.00], 0 0 0 0, traffic: 14, 0 MB, drop: 0, 0 K cpu6 0; 0 68 62 [1.00], 0 0 0 0, traffic: 130, 0 MB, drop: 0, 0 K cpu7 0; 0 28 45 [1.00], 0 0 0 0, traffic: 73, 0 MB, drop: 0, 0 K cpu8 0; 0 51 38 [1.00], 0 0 0 0, traffic: 89, 0 MB, drop: 0, 0 K cpu9 0; 0 23 79 [1.00], 0 0 0 0, traffic: 102, 0 MB, drop: 0, 0 K cpu10 0; 0 282 451 [1.00], 0 0 0 0, traffic: 733, 0 MB, drop: 0, 0 K cpu11 0; 0 1 12 [1.00], 0 0 0 0, traffic: 13, 0 MB, drop: 0, 0 K Export: Rate 0 bytes/s; Total 27 pkts, 0 MB, 782 flows; Errors 0 pkts; Traffic lost 0 pkts, 0 Kbytes, 0 flows. sock0: x.x.x.x:7373, sndbuf 229376, filled 1, peak 2305; err: sndbuf reached 0, connect 1, cberr 0, other 0 Изменено 30 ноября, 2015 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
babay951 Опубликовано 12 февраля, 2016 (изменено) · Жалоба А агрегация в 2.1 работает? До этого стояло 2.0.1, работало. # sysctl -w net.netflow.aggregation="1024-65535=0" sysctl: cannot stat /proc/sys/net/netflow/aggregation: Нет такого файла или каталога Было Debian 7 Linux gw 3.2.0-4-amd64 #1 SMP Debian 3.2.63-2 x86_64 GNU/Linux iptables v1.4.21 ipt_NETFLOW version 2.0.1 Сейчаc Debian 8 Linux gw 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux iptables v1.4.21 ipt_NETFLOW 2.1, srcversion 2C2EAEF86C9F7E334ED100B; Версия 2.1 с sourceforge не компилировалась, с github скомпилировалась. Изменено 12 февраля, 2016 пользователем babay951 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 13 февраля, 2016 · Жалоба А агрегация в 2.1 работает? ./configure --enable-aggregation Версия 2.1 с sourceforge не компилировалась, с github скомпилировалась. В gitе не "версия 2.1", а git head. Первичный репозиторий (т.е. со всеми последними изменениями) на https://github.com/aabc/ipt-netflow. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
banec Опубликовано 11 марта, 2016 · Жалоба Просветите по русски - что делает агрегация ? Понимаю что уменьшает количество записей, но как ? Можно более подробно, и что при этом теряем? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
enots Опубликовано 14 марта, 2016 · Жалоба Просветите по русски - что делает агрегация ? Понимаю что уменьшает количество записей, но как ? Можно более подробно, и что при этом теряем? при sysctl -w net.netflow.aggregation="1024-65535=0" трафик с портами в диапазоне 1024-65525 где srcip/dstip/proto одинаковые, будут преставлены как одна запись, порт будет 0. при sysctl -w net.netflow.aggregation=172.10.0.0/16=32,0.0.0.0/0=24 сеть 172.10.0.0/16 будет как есть, а вот все остальное свернется до /24. т.е. 8.8.8.8 и 8.8.8.7 трафик станет одной строчкой как 8.8.8.0/24. правила через зяпятую. p.s. при текущих "запросов из конторы" все это не имеет смысла, а раньше экономило hdd space и при этом корректно выставляло счета пользователям. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 14 марта, 2016 · Жалоба p.s. при текущих "запросов из конторы" все это не имеет смысла, а раньше экономило hdd space и при этом корректно выставляло счета пользователям. Не все в стране замечательной конторы живут. Так-что имеет еще какой! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 15 марта, 2016 · Жалоба Не все в стране замечательной конторы живут. Так-что имеет еще какой! Не боись, скоро и ваша контора подобное залупит (( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 15 марта, 2016 · Жалоба Не все в стране замечательной конторы живут. Так-что имеет еще какой! Не боись, скоро и ваша контора подобное залупит (( Чисто из солидарности, дабы ты чувствовал себя не так грустно. соглашусь. :) Хотя, тенденции в демократическом мире несколько другие. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 15 марта, 2016 · Жалоба Не все в стране замечательной конторы живут. Так-что имеет еще какой! Не боись, скоро и ваша контора подобное залупит (( Чисто из солидарности, дабы ты чувствовал себя не так грустно. соглашусь. :) Хотя, тенденции в демократическом мире несколько другие. Я тя умоляю, как раз все всё ужесточают Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 15 марта, 2016 · Жалоба Я тя умоляю, как раз все всё ужесточают Ну я же не возражаю. Будем считать, что ужесточают. :) Кстати, чем там закончилось ужесточение FBI против яблока? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 15 марта, 2016 · Жалоба Я тя умоляю, как раз все всё ужесточают Ну я же не возражаю. Будем считать, что ужесточают. :) Кстати, чем там закончилось ужесточение FBI против яблока? Хз, только Lawful interception не я придумал Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 15 марта, 2016 · Жалоба Хз, только Lawful interception не я придумал Я бы попытался объяснить, почему в обсуждаемой стране это в принципе невозможно вот уже, как 2 года, но это уже будет полная полилота. Что касается LI - там последовательность лошади и телеги правильная. Т.е., сначала суд, а потом контроль, а никак не иначе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 15 марта, 2016 · Жалоба Хз, только Lawful interception не я придумал Я бы попытался объяснить, почему в обсуждаемой стране это в принципе невозможно вот уже, как 2 года, но это уже будет полная полилота. Что касается LI - там последовательность лошади и телеги правильная. Т.е., сначала суд, а потом контроль, а никак не иначе. .. то божья роса :))) А Сноуден из-за наркотиков уехал. Поражаюсь такой наивностью и святой верностью. ПыСы Шпиёнов Путина искать - и будете сорм ставить :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 15 марта, 2016 · Жалоба Шпиёнов Путина искать - и будете сорм ставить :) Я же уже писал - дабы не портить тебе настроение, я полностью с тобой согласен. Мир, дружба, жувачка... :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
