Перейти к содержимому
Калькуляторы

nfsen, статистика CKAT на Debian

Настолько много, что занимает 4 строчки и 20% от всех flows в топ10

Top 10 DPI Proto ordered by bytes:
Date first seen          Duration Proto DPI Proto                                   Flows(%)      Packets(%)        Bytes(%)      pps      bps   bpp
2017-12-13 14:19:10.456   349.450 any   https                                   2.0 M( 23.5)  216.0 M( 45.1)  219.4 G( 50.1)   618056    5.0 G  1015
2017-12-13 14:19:10.110   349.820 any   http                                   460177(  5.3)   87.4 M( 18.2)   88.5 G( 20.2)   249733    2.0 G  1012
2017-12-13 14:19:21.925   329.157 any   Bittorrent                              1.1 M( 12.8)   35.5 M(  7.4)   28.9 G(  6.6)   107758  701.7 M   813
2017-12-13 14:19:22.011   337.557 any   QUIC                                    37794(  0.4)   16.3 M(  3.4)   20.8 G(  4.8)    48284  492.9 M  1276
2017-12-13 14:19:10.456   349.460 any   Unknown                                 1.2 M( 14.1)   10.3 M(  2.1)    6.1 G(  1.4)    29351  139.7 M   595
2017-12-13 14:19:23.849   326.461 any   H323                                     2676(  0.0)    3.1 M(  0.6)    4.2 G(  1.0)     9480  102.4 M  1349
2017-12-13 14:19:22.191   330.033 any   UDP Unknown                            436987(  5.0)    7.4 M(  1.5)    3.9 G(  0.9)    22412   93.5 M   521
2017-12-13 14:19:22.185   330.496 any   TCP Unknown                            103355(  1.2)    3.5 M(  0.7)    2.7 G(  0.6)    10617   65.5 M   771
2017-12-13 14:19:11.818   347.455 any   Unknown                                  1408(  0.0)    2.5 M(  0.5)    2.6 G(  0.6)     7180   58.9 M  1025
2017-12-13 14:19:26.660   332.273 any   MPEG                                     2246(  0.0)    2.2 M(  0.5)    2.3 G(  0.5)     6534   54.7 M  1045

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В ‎13‎.‎12‎.‎2017 в 10:48, man781 сказал:

Таки заставить nfsen рисовать стату по DPI протоколам

Используйте экспорт с агрегацией по протоколам (netflow=1) - он компактный и поэтому как раз для таких графиков подходит,

собственно его допиленный nfsen поддерживает "их коробки", для органов снимайте netflow=8 без замены портов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А так можно было? ))) (одновременно в одном конфиге fasrdpi указать два типа экспорта нетфлоу и два коллектора))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

конечно можно: в инструкции по настройке nfsen как раз указано 2 коллектора с агрегацией по протоколам и направлениям,

в параметре netflow указывается, какие коллекторы будут использоваться через сумму (параметр по сути bitmask), пример 1 + 8 -> netflow=9 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Попробую сделать  8+1=9

 

netflow=9
netflow_collector=192.168.0.1:9997
netflow_full_collector=127.0.0.1:9998

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Прокатил такой конфиг. (RTFM :)

 

В итоге возвращаемся к проблеме неизвестных протоколов

Может так и надо? )))

 

 

Top 10 DPI Proto ordered by bytes:
Date first seen          Duration Proto DPI Proto                                   Flows(%)      Packets(%)        Bytes(%)      pps      bps   bpp
2017-12-15 14:57:25.183   150.008 any   https                                      31(  0.1)   77.0 M( 32.1)   76.9 G( 34.8)   513353    4.1 G   999
2017-12-15 14:57:25.182   150.009 any   Bittorrent                                 20(  0.0)   56.5 M( 23.6)   47.2 G( 21.3)   376654    2.5 G   834
2017-12-15 14:57:25.183   150.008 any   http                                       22(  0.0)   39.9 M( 16.7)   39.7 G( 18.0)   265958    2.1 G   994
2017-12-15 14:57:25.182   150.009 any   QUIC                                       22(  0.0)   31.1 M( 13.0)   35.0 G( 15.8)   207335    1.9 G  1126
2017-12-15 14:57:25.182   150.009 any   UDP Unknown                                18(  0.0)   12.2 M(  5.1)    5.2 G(  2.4)    81660  279.0 M   427
2017-12-15 14:57:25.182   150.009 any   MPEG                                       18(  0.0)    4.8 M(  2.0)    5.1 G(  2.3)    32120  271.9 M  1058
2017-12-15 14:57:25.182   150.009 any   H323                                       18(  0.0)    4.2 M(  1.8)    4.4 G(  2.0)    28085  234.8 M  1044
2017-12-15 14:57:25.182   150.009 any   TCP Unknown                                18(  0.0)    7.3 M(  3.1)    4.3 G(  2.0)    48873  230.8 M   590
2017-12-15 14:57:25.182   150.009 any   RTP                                        18(  0.0)   786075(  0.3)  415.6 M(  0.2)     5240   22.2 M   528
2017-12-15 14:57:25.183   150.008 any   stun-behavior                              18(  0.0)   588916(  0.2)  240.3 M(  0.1)     3925   12.8 M   408

 

Покажите кто свою стату....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Никто не покажет свою стату по протоколам?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

43 минуты назад, man781 сказал:

Никто не покажет свою стату по протоколам?

https://forum.nag.ru/index.php?/topic/136659-chto-god-gryaduschiy-nam-gotovit-sroki-hraneniya-informacii-po-374-fz-yarovoy-budut-izvestny-na-flazhke/#comment-1452984

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

пасиб!

 

У вас тоже Unknown протоколы.  Все - мне стало легче - я забиваю на этот кейс....)))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 вопроса:

1. Profile:live - суммирует трафик по направления в один график, как разделить in/out на графиках ?

2. Netflow Processing выдает 

Processing Result

Unknown stat: 'dpipr/bytes'!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В ‎24‎.‎01‎.‎2018 в 17:14, Mechanic сказал:

как разделить in/out на графиках

посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen

 

elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 31.01.2018 в 22:12, DimaM сказал:

посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen

 

elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого

Вы имеете ввиду сравнить два шаблона ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 2/1/2018 в 02:12, DimaM сказал:

посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen

 

elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого

ElastiFlow выглядит симпатично, все как любят большие босы, картинки, графики. Но, интересно насколько он гибкий. Можно ли будет запилить какие-то особые графики, по какому-то особому набору клиентов и типов трафика. Я планирую таки прикрутить pmacct+самописные лесопеды.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

ElastiFlow выглядит симпатично

Развернули ElastiFlow на тестовом сервере  (2-х процессорный сервер Intel® Xeon® Processor E5405 с 8 Гб ). Базовая ОС Centos 7.x - без виртуализации. ElastiFlow выглядит симпатично, довольно гибкая, но! памяти есть ооооочень много т.к. Ява инсайд.  Elasticsearch лучше вообще развернуть как кластер. Смешанные чувства.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

19 часов назад, saaremaa сказал:

Развернули ElastiFlow на тестовом сервере  (2-х процессорный сервер Intel® Xeon® Processor E5405 с 8 Гб ). Базовая ОС Centos 7.x - без виртуализации. ElastiFlow выглядит симпатично, довольно гибкая, но! памяти есть ооооочень много т.к. Ява инсайд.  Elasticsearch лучше вообще развернуть как кластер. Смешанные чувства.

Спасибо за то что делитесь опытом :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Таки прикрутил к СКАТу pmacct, данные льются вроде все хорошо. Но есть проблема, в поле "CN HTTPS" в самый конец добавляются какие "хвосты", типа вот такого: "v10.vortex-win.data.microsoft.com.com" или такого: "mrilog.mail.rulytics.comq". Само кустомное поле объявлено вот так:

Цитата

name=field2001    field_type=43823:2001    len=vlen    semantics=str

Причем, если вместо стринга поставить raw, то в этом поле появляется HEX или если его конвертить в стринг руками, то вроде такой проблемы нет. Может у кого-то что-то подобное было?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Связался с автором pmacct, он исправил этот косяк в последней версии (нужно просто слить с гитхаба). В приципе pmacct очень даже хорош, куча всяких плагинов. Правда в доках пришлось голову поломать+ собрать из исходников, т.к. с пакетами под центос все тухло. Но я разобрался, статистика льется, теперь осталось ее распарсить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А мы остановились на своем "велосипеде" - самописный демон на Go собирает Ipfix (пачка Микротик) + из  Radius берется привязка к абоненту если Ipfix запись относится к абоненту (нам по пользователю надо больше) все в ClickHouse , а дальше Grafana

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Старый сервер со статистикой помирает, хочу накатить на debian. А ссылки из Wiki сдохли. :-(

 

Никто сорцами патченных nfsen/nfdump не поделится? А то, как практика показывает, у скатовцев просить - только нервы портить.

 

Вопрос решен через ТП СКАТ. Очень быстро. :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подниму-ка я темку.

 

А никто не ведает, а есть-ли в природе более свежий код? А то уж больно тухл этот. Начиная с необходимости выискивать где-то в нафталине официально протухший PHP5.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

19 часов назад, snvoronkov сказал:

Подниму-ка я темку.

 

А никто не ведает, а есть-ли в природе более свежий код? А то уж больно тухл этот. Начиная с необходимости выискивать где-то в нафталине официально протухший PHP5.

Так статистика сейчас через модуль "QoE Store" сохраняется.

Цитата

Модуль предназначен для сбора и хранения данных Нефлоу и Клистрим. Данные используются для анализа QoE в DPIUI2.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

38 минут назад, Agent2006 сказал:

Так статистика сейчас через модуль "QoE Store" сохраняется.

Спасибо! Что-то я в эту сторону и не смотрел ни разу. (Разворачивать вряд-ли буду. Машинки с SSE4.2 нужны для других нужд.)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.