man781 Опубликовано 14 декабря, 2017 · Жалоба Настолько много, что занимает 4 строчки и 20% от всех flows в топ10 Top 10 DPI Proto ordered by bytes: Date first seen Duration Proto DPI Proto Flows(%) Packets(%) Bytes(%) pps bps bpp 2017-12-13 14:19:10.456 349.450 any https 2.0 M( 23.5) 216.0 M( 45.1) 219.4 G( 50.1) 618056 5.0 G 1015 2017-12-13 14:19:10.110 349.820 any http 460177( 5.3) 87.4 M( 18.2) 88.5 G( 20.2) 249733 2.0 G 1012 2017-12-13 14:19:21.925 329.157 any Bittorrent 1.1 M( 12.8) 35.5 M( 7.4) 28.9 G( 6.6) 107758 701.7 M 813 2017-12-13 14:19:22.011 337.557 any QUIC 37794( 0.4) 16.3 M( 3.4) 20.8 G( 4.8) 48284 492.9 M 1276 2017-12-13 14:19:10.456 349.460 any Unknown 1.2 M( 14.1) 10.3 M( 2.1) 6.1 G( 1.4) 29351 139.7 M 595 2017-12-13 14:19:23.849 326.461 any H323 2676( 0.0) 3.1 M( 0.6) 4.2 G( 1.0) 9480 102.4 M 1349 2017-12-13 14:19:22.191 330.033 any UDP Unknown 436987( 5.0) 7.4 M( 1.5) 3.9 G( 0.9) 22412 93.5 M 521 2017-12-13 14:19:22.185 330.496 any TCP Unknown 103355( 1.2) 3.5 M( 0.7) 2.7 G( 0.6) 10617 65.5 M 771 2017-12-13 14:19:11.818 347.455 any Unknown 1408( 0.0) 2.5 M( 0.5) 2.6 G( 0.6) 7180 58.9 M 1025 2017-12-13 14:19:26.660 332.273 any MPEG 2246( 0.0) 2.2 M( 0.5) 2.3 G( 0.5) 6534 54.7 M 1045 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DimaM Опубликовано 15 декабря, 2017 · Жалоба В 13.12.2017 в 10:48, man781 сказал: Таки заставить nfsen рисовать стату по DPI протоколам Используйте экспорт с агрегацией по протоколам (netflow=1) - он компактный и поэтому как раз для таких графиков подходит, собственно его допиленный nfsen поддерживает "их коробки", для органов снимайте netflow=8 без замены портов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
man781 Опубликовано 15 декабря, 2017 · Жалоба А так можно было? ))) (одновременно в одном конфиге fasrdpi указать два типа экспорта нетфлоу и два коллектора)) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DimaM Опубликовано 15 декабря, 2017 · Жалоба конечно можно: в инструкции по настройке nfsen как раз указано 2 коллектора с агрегацией по протоколам и направлениям, в параметре netflow указывается, какие коллекторы будут использоваться через сумму (параметр по сути bitmask), пример 1 + 8 -> netflow=9 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
man781 Опубликовано 15 декабря, 2017 · Жалоба Попробую сделать 8+1=9 netflow=9 netflow_collector=192.168.0.1:9997 netflow_full_collector=127.0.0.1:9998 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
man781 Опубликовано 15 декабря, 2017 · Жалоба Прокатил такой конфиг. (RTFM :) В итоге возвращаемся к проблеме неизвестных протоколов Может так и надо? ))) Top 10 DPI Proto ordered by bytes: Date first seen Duration Proto DPI Proto Flows(%) Packets(%) Bytes(%) pps bps bpp 2017-12-15 14:57:25.183 150.008 any https 31( 0.1) 77.0 M( 32.1) 76.9 G( 34.8) 513353 4.1 G 999 2017-12-15 14:57:25.182 150.009 any Bittorrent 20( 0.0) 56.5 M( 23.6) 47.2 G( 21.3) 376654 2.5 G 834 2017-12-15 14:57:25.183 150.008 any http 22( 0.0) 39.9 M( 16.7) 39.7 G( 18.0) 265958 2.1 G 994 2017-12-15 14:57:25.182 150.009 any QUIC 22( 0.0) 31.1 M( 13.0) 35.0 G( 15.8) 207335 1.9 G 1126 2017-12-15 14:57:25.182 150.009 any UDP Unknown 18( 0.0) 12.2 M( 5.1) 5.2 G( 2.4) 81660 279.0 M 427 2017-12-15 14:57:25.182 150.009 any MPEG 18( 0.0) 4.8 M( 2.0) 5.1 G( 2.3) 32120 271.9 M 1058 2017-12-15 14:57:25.182 150.009 any H323 18( 0.0) 4.2 M( 1.8) 4.4 G( 2.0) 28085 234.8 M 1044 2017-12-15 14:57:25.182 150.009 any TCP Unknown 18( 0.0) 7.3 M( 3.1) 4.3 G( 2.0) 48873 230.8 M 590 2017-12-15 14:57:25.182 150.009 any RTP 18( 0.0) 786075( 0.3) 415.6 M( 0.2) 5240 22.2 M 528 2017-12-15 14:57:25.183 150.008 any stun-behavior 18( 0.0) 588916( 0.2) 240.3 M( 0.1) 3925 12.8 M 408 Покажите кто свою стату.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
man781 Опубликовано 20 декабря, 2017 · Жалоба Никто не покажет свою стату по протоколам? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 20 декабря, 2017 · Жалоба 43 минуты назад, man781 сказал: Никто не покажет свою стату по протоколам? https://forum.nag.ru/index.php?/topic/136659-chto-god-gryaduschiy-nam-gotovit-sroki-hraneniya-informacii-po-374-fz-yarovoy-budut-izvestny-na-flazhke/#comment-1452984 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
man781 Опубликовано 20 декабря, 2017 · Жалоба пасиб! У вас тоже Unknown протоколы. Все - мне стало легче - я забиваю на этот кейс....))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mechanic Опубликовано 24 января, 2018 · Жалоба 2 вопроса: 1. Profile:live - суммирует трафик по направления в один график, как разделить in/out на графиках ? 2. Netflow Processing выдает Processing Result Unknown stat: 'dpipr/bytes'! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
saaremaa Опубликовано 24 января, 2018 · Жалоба Кто-нибудь прикручивал к Скату? → https://github.com/robcowart/elastiflow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DimaM Опубликовано 31 января, 2018 · Жалоба В 24.01.2018 в 17:14, Mechanic сказал: как разделить in/out на графиках посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mechanic Опубликовано 2 февраля, 2018 · Жалоба В 31.01.2018 в 22:12, DimaM сказал: посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого Вы имеете ввиду сравнить два шаблона ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
VolanD666 Опубликовано 5 февраля, 2018 · Жалоба В 2/1/2018 в 02:12, DimaM сказал: посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого ElastiFlow выглядит симпатично, все как любят большие босы, картинки, графики. Но, интересно насколько он гибкий. Можно ли будет запилить какие-то особые графики, по какому-то особому набору клиентов и типов трафика. Я планирую таки прикрутить pmacct+самописные лесопеды. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
saaremaa Опубликовано 6 февраля, 2018 · Жалоба Цитата ElastiFlow выглядит симпатично Развернули ElastiFlow на тестовом сервере (2-х процессорный сервер Intel® Xeon® Processor E5405 с 8 Гб ). Базовая ОС Centos 7.x - без виртуализации. ElastiFlow выглядит симпатично, довольно гибкая, но! памяти есть ооооочень много т.к. Ява инсайд. Elasticsearch лучше вообще развернуть как кластер. Смешанные чувства. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
VolanD666 Опубликовано 7 февраля, 2018 · Жалоба 19 часов назад, saaremaa сказал: Развернули ElastiFlow на тестовом сервере (2-х процессорный сервер Intel® Xeon® Processor E5405 с 8 Гб ). Базовая ОС Centos 7.x - без виртуализации. ElastiFlow выглядит симпатично, довольно гибкая, но! памяти есть ооооочень много т.к. Ява инсайд. Elasticsearch лучше вообще развернуть как кластер. Смешанные чувства. Спасибо за то что делитесь опытом :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
VolanD666 Опубликовано 28 февраля, 2018 · Жалоба Таки прикрутил к СКАТу pmacct, данные льются вроде все хорошо. Но есть проблема, в поле "CN HTTPS" в самый конец добавляются какие "хвосты", типа вот такого: "v10.vortex-win.data.microsoft.com.com" или такого: "mrilog.mail.rulytics.comq". Само кустомное поле объявлено вот так: Цитата name=field2001 field_type=43823:2001 len=vlen semantics=str Причем, если вместо стринга поставить raw, то в этом поле появляется HEX или если его конвертить в стринг руками, то вроде такой проблемы нет. Может у кого-то что-то подобное было? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
VolanD666 Опубликовано 12 марта, 2018 · Жалоба Связался с автором pmacct, он исправил этот косяк в последней версии (нужно просто слить с гитхаба). В приципе pmacct очень даже хорош, куча всяких плагинов. Правда в доках пришлось голову поломать+ собрать из исходников, т.к. с пакетами под центос все тухло. Но я разобрался, статистика льется, теперь осталось ее распарсить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
saaremaa Опубликовано 12 марта, 2018 · Жалоба А мы остановились на своем "велосипеде" - самописный демон на Go собирает Ipfix (пачка Микротик) + из Radius берется привязка к абоненту если Ipfix запись относится к абоненту (нам по пользователю надо больше) все в ClickHouse , а дальше Grafana Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 28 мая, 2018 · Жалоба Старый сервер со статистикой помирает, хочу накатить на debian. А ссылки из Wiki сдохли. :-( Никто сорцами патченных nfsen/nfdump не поделится? А то, как практика показывает, у скатовцев просить - только нервы портить. Вопрос решен через ТП СКАТ. Очень быстро. :-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 4 февраля, 2019 · Жалоба Подниму-ка я темку. А никто не ведает, а есть-ли в природе более свежий код? А то уж больно тухл этот. Начиная с необходимости выискивать где-то в нафталине официально протухший PHP5. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Agent2006 Опубликовано 5 февраля, 2019 · Жалоба 19 часов назад, snvoronkov сказал: Подниму-ка я темку. А никто не ведает, а есть-ли в природе более свежий код? А то уж больно тухл этот. Начиная с необходимости выискивать где-то в нафталине официально протухший PHP5. Так статистика сейчас через модуль "QoE Store" сохраняется. Цитата Модуль предназначен для сбора и хранения данных Нефлоу и Клистрим. Данные используются для анализа QoE в DPIUI2. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 5 февраля, 2019 · Жалоба 38 минут назад, Agent2006 сказал: Так статистика сейчас через модуль "QoE Store" сохраняется. Спасибо! Что-то я в эту сторону и не смотрел ни разу. (Разворачивать вряд-ли буду. Машинки с SSE4.2 нужны для других нужд.) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...