Jump to content
Калькуляторы

nfsen, статистика CKAT на Debian

Настолько много, что занимает 4 строчки и 20% от всех flows в топ10

Top 10 DPI Proto ordered by bytes:
Date first seen          Duration Proto DPI Proto                                   Flows(%)      Packets(%)        Bytes(%)      pps      bps   bpp
2017-12-13 14:19:10.456   349.450 any   https                                   2.0 M( 23.5)  216.0 M( 45.1)  219.4 G( 50.1)   618056    5.0 G  1015
2017-12-13 14:19:10.110   349.820 any   http                                   460177(  5.3)   87.4 M( 18.2)   88.5 G( 20.2)   249733    2.0 G  1012
2017-12-13 14:19:21.925   329.157 any   Bittorrent                              1.1 M( 12.8)   35.5 M(  7.4)   28.9 G(  6.6)   107758  701.7 M   813
2017-12-13 14:19:22.011   337.557 any   QUIC                                    37794(  0.4)   16.3 M(  3.4)   20.8 G(  4.8)    48284  492.9 M  1276
2017-12-13 14:19:10.456   349.460 any   Unknown                                 1.2 M( 14.1)   10.3 M(  2.1)    6.1 G(  1.4)    29351  139.7 M   595
2017-12-13 14:19:23.849   326.461 any   H323                                     2676(  0.0)    3.1 M(  0.6)    4.2 G(  1.0)     9480  102.4 M  1349
2017-12-13 14:19:22.191   330.033 any   UDP Unknown                            436987(  5.0)    7.4 M(  1.5)    3.9 G(  0.9)    22412   93.5 M   521
2017-12-13 14:19:22.185   330.496 any   TCP Unknown                            103355(  1.2)    3.5 M(  0.7)    2.7 G(  0.6)    10617   65.5 M   771
2017-12-13 14:19:11.818   347.455 any   Unknown                                  1408(  0.0)    2.5 M(  0.5)    2.6 G(  0.6)     7180   58.9 M  1025
2017-12-13 14:19:26.660   332.273 any   MPEG                                     2246(  0.0)    2.2 M(  0.5)    2.3 G(  0.5)     6534   54.7 M  1045

Share this post


Link to post
Share on other sites
В ‎13‎.‎12‎.‎2017 в 10:48, man781 сказал:

Таки заставить nfsen рисовать стату по DPI протоколам

Используйте экспорт с агрегацией по протоколам (netflow=1) - он компактный и поэтому как раз для таких графиков подходит,

собственно его допиленный nfsen поддерживает "их коробки", для органов снимайте netflow=8 без замены портов.

Share this post


Link to post
Share on other sites

А так можно было? ))) (одновременно в одном конфиге fasrdpi указать два типа экспорта нетфлоу и два коллектора))

Share this post


Link to post
Share on other sites

конечно можно: в инструкции по настройке nfsen как раз указано 2 коллектора с агрегацией по протоколам и направлениям,

в параметре netflow указывается, какие коллекторы будут использоваться через сумму (параметр по сути bitmask), пример 1 + 8 -> netflow=9 

 

 

Share this post


Link to post
Share on other sites

Попробую сделать  8+1=9

 

netflow=9
netflow_collector=192.168.0.1:9997
netflow_full_collector=127.0.0.1:9998

Share this post


Link to post
Share on other sites

Прокатил такой конфиг. (RTFM :)

 

В итоге возвращаемся к проблеме неизвестных протоколов

Может так и надо? )))

 

 

Top 10 DPI Proto ordered by bytes:
Date first seen          Duration Proto DPI Proto                                   Flows(%)      Packets(%)        Bytes(%)      pps      bps   bpp
2017-12-15 14:57:25.183   150.008 any   https                                      31(  0.1)   77.0 M( 32.1)   76.9 G( 34.8)   513353    4.1 G   999
2017-12-15 14:57:25.182   150.009 any   Bittorrent                                 20(  0.0)   56.5 M( 23.6)   47.2 G( 21.3)   376654    2.5 G   834
2017-12-15 14:57:25.183   150.008 any   http                                       22(  0.0)   39.9 M( 16.7)   39.7 G( 18.0)   265958    2.1 G   994
2017-12-15 14:57:25.182   150.009 any   QUIC                                       22(  0.0)   31.1 M( 13.0)   35.0 G( 15.8)   207335    1.9 G  1126
2017-12-15 14:57:25.182   150.009 any   UDP Unknown                                18(  0.0)   12.2 M(  5.1)    5.2 G(  2.4)    81660  279.0 M   427
2017-12-15 14:57:25.182   150.009 any   MPEG                                       18(  0.0)    4.8 M(  2.0)    5.1 G(  2.3)    32120  271.9 M  1058
2017-12-15 14:57:25.182   150.009 any   H323                                       18(  0.0)    4.2 M(  1.8)    4.4 G(  2.0)    28085  234.8 M  1044
2017-12-15 14:57:25.182   150.009 any   TCP Unknown                                18(  0.0)    7.3 M(  3.1)    4.3 G(  2.0)    48873  230.8 M   590
2017-12-15 14:57:25.182   150.009 any   RTP                                        18(  0.0)   786075(  0.3)  415.6 M(  0.2)     5240   22.2 M   528
2017-12-15 14:57:25.183   150.008 any   stun-behavior                              18(  0.0)   588916(  0.2)  240.3 M(  0.1)     3925   12.8 M   408

 

Покажите кто свою стату....

Share this post


Link to post
Share on other sites

Никто не покажет свою стату по протоколам?

Share this post


Link to post
Share on other sites
43 минуты назад, man781 сказал:

Никто не покажет свою стату по протоколам?

https://forum.nag.ru/index.php?/topic/136659-chto-god-gryaduschiy-nam-gotovit-sroki-hraneniya-informacii-po-374-fz-yarovoy-budut-izvestny-na-flazhke/#comment-1452984

 

Share this post


Link to post
Share on other sites

пасиб!

 

У вас тоже Unknown протоколы.  Все - мне стало легче - я забиваю на этот кейс....)))

Share this post


Link to post
Share on other sites

2 вопроса:

1. Profile:live - суммирует трафик по направления в один график, как разделить in/out на графиках ?

2. Netflow Processing выдает 

Processing Result

Unknown stat: 'dpipr/bytes'!

Share this post


Link to post
Share on other sites
В ‎24‎.‎01‎.‎2018 в 17:14, Mechanic сказал:

как разделить in/out на графиках

посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen

 

elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого

Share this post


Link to post
Share on other sites
В 31.01.2018 в 22:12, DimaM сказал:

посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen

 

elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого

Вы имеете ввиду сравнить два шаблона ?

Share this post


Link to post
Share on other sites
В 2/1/2018 в 02:12, DimaM сказал:

посмотрите пример отчетов по протоколам и направлениям, который идут со скат версией nfsen

 

elasriflow любопытная вещь, надо будет посмотреть, а то splunk слишком дорого

ElastiFlow выглядит симпатично, все как любят большие босы, картинки, графики. Но, интересно насколько он гибкий. Можно ли будет запилить какие-то особые графики, по какому-то особому набору клиентов и типов трафика. Я планирую таки прикрутить pmacct+самописные лесопеды.

Share this post


Link to post
Share on other sites
Цитата

ElastiFlow выглядит симпатично

Развернули ElastiFlow на тестовом сервере  (2-х процессорный сервер Intel® Xeon® Processor E5405 с 8 Гб ). Базовая ОС Centos 7.x - без виртуализации. ElastiFlow выглядит симпатично, довольно гибкая, но! памяти есть ооооочень много т.к. Ява инсайд.  Elasticsearch лучше вообще развернуть как кластер. Смешанные чувства.

Share this post


Link to post
Share on other sites
19 часов назад, saaremaa сказал:

Развернули ElastiFlow на тестовом сервере  (2-х процессорный сервер Intel® Xeon® Processor E5405 с 8 Гб ). Базовая ОС Centos 7.x - без виртуализации. ElastiFlow выглядит симпатично, довольно гибкая, но! памяти есть ооооочень много т.к. Ява инсайд.  Elasticsearch лучше вообще развернуть как кластер. Смешанные чувства.

Спасибо за то что делитесь опытом :)

Share this post


Link to post
Share on other sites

Таки прикрутил к СКАТу pmacct, данные льются вроде все хорошо. Но есть проблема, в поле "CN HTTPS" в самый конец добавляются какие "хвосты", типа вот такого: "v10.vortex-win.data.microsoft.com.com" или такого: "mrilog.mail.rulytics.comq". Само кустомное поле объявлено вот так:

Цитата

name=field2001    field_type=43823:2001    len=vlen    semantics=str

Причем, если вместо стринга поставить raw, то в этом поле появляется HEX или если его конвертить в стринг руками, то вроде такой проблемы нет. Может у кого-то что-то подобное было?

Share this post


Link to post
Share on other sites

Связался с автором pmacct, он исправил этот косяк в последней версии (нужно просто слить с гитхаба). В приципе pmacct очень даже хорош, куча всяких плагинов. Правда в доках пришлось голову поломать+ собрать из исходников, т.к. с пакетами под центос все тухло. Но я разобрался, статистика льется, теперь осталось ее распарсить.

Share this post


Link to post
Share on other sites

А мы остановились на своем "велосипеде" - самописный демон на Go собирает Ipfix (пачка Микротик) + из  Radius берется привязка к абоненту если Ipfix запись относится к абоненту (нам по пользователю надо больше) все в ClickHouse , а дальше Grafana

 

Share this post


Link to post
Share on other sites

Старый сервер со статистикой помирает, хочу накатить на debian. А ссылки из Wiki сдохли. :-(

 

Никто сорцами патченных nfsen/nfdump не поделится? А то, как практика показывает, у скатовцев просить - только нервы портить.

 

Вопрос решен через ТП СКАТ. Очень быстро. :-)

Share this post


Link to post
Share on other sites

Подниму-ка я темку.

 

А никто не ведает, а есть-ли в природе более свежий код? А то уж больно тухл этот. Начиная с необходимости выискивать где-то в нафталине официально протухший PHP5.

Share this post


Link to post
Share on other sites
19 часов назад, snvoronkov сказал:

Подниму-ка я темку.

 

А никто не ведает, а есть-ли в природе более свежий код? А то уж больно тухл этот. Начиная с необходимости выискивать где-то в нафталине официально протухший PHP5.

Так статистика сейчас через модуль "QoE Store" сохраняется.

Цитата

Модуль предназначен для сбора и хранения данных Нефлоу и Клистрим. Данные используются для анализа QoE в DPIUI2.

 

Share this post


Link to post
Share on other sites
38 минут назад, Agent2006 сказал:

Так статистика сейчас через модуль "QoE Store" сохраняется.

Спасибо! Что-то я в эту сторону и не смотрел ни разу. (Разворачивать вряд-ли буду. Машинки с SSE4.2 нужны для других нужд.)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now