nfsen, статистика CKAT на Debian

[StSphinx]

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

[snvoronkov]

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

[StSphinx]

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

 

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

[snvoronkov]

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

 

Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src)

 

Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1)

 

Установите пакеты, необходимые для сборки и работы nfsen

 

CentOS/RedHat/Oracle:

yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php

Ubuntu:

apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl

apt-get install apache2 php5 libapache2-mod-php5

 

Скачайте исходные коды nfdump и nfsen и распакуйте архивы

 

wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz

wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz

tar xvzf nfdump-1.6.9.2.CKAT.tar.gz

tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz

 

Соберите и установите nfdump

 

cd nfdump-1.6.9.2.CKAT

./configure --enable-scat --enable-nfprofile --prefix=/usr/bin

make

make install

 

Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его

 

cd nfsen-1.3.6p1.2.CKAT

vi etc/nfsen.conf

./install.pl etc/nfsen.conf

 

Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen

 

1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем

 

Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась.

[StSphinx]

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

 

Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src)

 

Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1)

 

Установите пакеты, необходимые для сборки и работы nfsen

 

CentOS/RedHat/Oracle:

yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php

Ubuntu:

apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl

apt-get install apache2 php5 libapache2-mod-php5

 

Скачайте исходные коды nfdump и nfsen и распакуйте архивы

 

wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz

wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz

tar xvzf nfdump-1.6.9.2.CKAT.tar.gz

tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz

 

Соберите и установите nfdump

 

cd nfdump-1.6.9.2.CKAT

./configure --enable-scat --enable-nfprofile --prefix=/usr/bin

make

make install

 

Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его

 

cd nfsen-1.3.6p1.2.CKAT

vi etc/nfsen.conf

./install.pl etc/nfsen.conf

 

Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen

 

1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем

 

Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась.

 

Огромное спасибо тебе, добрый человек. Сам я что-то в их wiki теряюсь иногда)

[StSphinx]

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

 

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

[snvoronkov]

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Вот честно - не помню я! :-)

 

История Полуночного Командира подсказывает, что внес вот это:

/usr/local/nfsen/etc/ports.desc:
49218;QUIC;

 

А то неизвестный порт стремительно в лидеры выбился. :-)

 

Здравый смысл подсказывает, что ports.desc надо-бы сгенерировать из https://vasexperts.ru/wiki/doku.php?id=port_proto

Но лень пока.

Edited May 26, 2017 by snvoronkov

[StSphinx]

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Вот честно - не помню я! :-)

 

История Полуночного Командира подсказывает, что внес вот это:

/usr/local/nfsen/etc/ports.desc:
49218;QUIC;

 

А то неизвестный порт стремительно в лидеры выбился. :-)

 

Понял. Спасибо!

[Susanin]

Я так понимаю что этот функционал доступен только начиная с версии base ?

[snvoronkov]

Я так понимаю что этот функционал доступен только начиная с версии base ?

Да. Иногда бывает весьма полезно.

[Agent2006]

Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по  графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC?

[snvoronkov]

2 часа назад, Agent2006 сказал:

Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по  графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC?

Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го.

[Agent2006]

16 часов назад, snvoronkov сказал:

Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го.

Вчера после 22 часов на графике снова проявился QUIC. Будем думать, что это были какие-то происки гугла. ))) 

[man781]

Используем СКАТ-40 v.7.4  и nfsen сборку от vasexpert -  много UNKNOWN протоколов.

 

Попытался обновить nfdump/nfsen как в вики:

 

 

Для корректного отображения новых протоколов необходимо проводить обновление
yum update nfsen nfdump
После чего потребуется рестартовать коллекторы
service nfsen restart

Но, типа, обновлений нет:

 

[root@nfsen ~]# yum update nfsen nfdump
Загружены модули: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror1.hs-esslingen.de
 * extras: mirror.ratiokontakt.de
 * updates: centos.mirrors.as250.net
 * vasexperts: freedpi.ru
No packages marked for update

 

Парни, ткните, пожалуйста, в нужном направлении....

[DimaM]

что говорит yum info nfdump ?

[man781]

[root@nfsen ~]# yum info nfdump
Загружены модули: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror1.hs-esslingen.de
 * extras: mirror.ratiokontakt.de
 * updates: centos.mirrors.as250.net
 * vasexperts: freedpi.ru
Установленные пакеты
Название: nfdump
Архитектура: x86_64
Версия: 1.6.9.3.CKAT
Выпуск: 0
Объем: 4.9 M
Источник: installed
Из источника: vasexperts
Аннотация: A set of command-line tools to collect and process netflow data
Ссылка: http://nfdump.sourceforge.net
Лицензия: BSD
Описание: The nfdump tools collect and process netflow data on the command line
 

[man781]

Короче, начинаю восстанавливать логическую цепочку

 

Вначале была проблема, что в nfsen был низкий объем трафика в статистике- поэтому поставил в fasrdpi.conf

 

netflow_full_collector=a.b.c.d:9999

Это помогло - утилизация стала соответствовать реальной загрузке каналов

 

Но затем получилось, то, что описано в вики:

 

Цитата

"В полном netflow по умолчанию передается оригинальный номер порта, поэтому отчет по протоколам не работает. Чтобы активировать кодирование в номере порта информации о протоколе нужно активировать настройку netflow_full_port_swap=1"

 

В другой статье:

 

Цитата

В полной статистике сохранены оригинальные номера портов, а информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47. Если требуется проанализировать используемые протоколы, то можно установить настройку, по которой информация о протоколах будет передаваться в номере порта

 

Поэтому я выставил  netflow_full_port_swap=1

 

С большего начали протоколы DPI определяться.

 

Воткнул свежий файл ports.desc - все равно много Unknown протоколов

 

 

Итак:

какие есть варианты, чтобы мне решить три задачи

 

1)  Сохранить оригинальные порты (обязан по закону для спецслужб)  - но при этом не делать отдельный коллектор (получается дорого - трафика десятки гигабит, десятки тысяч абонов - террабайты  места в Хранилище + бэкап)

2) Таки заставить nfsen рисовать стату по DPI протоколам, забираю инфу исходя из этого "... информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47..."

3) Решить проблему с неизвестными протоколами в nfsen

[man781]

Ответа можно не ждать? :)

[snvoronkov]

1 час назад, man781 сказал:

Ответа можно не ждать? :)

Если от форумчан, то что-то мне омнительно, что еще кто-то настолько-же странного захотел. :-)

 

Пишите в СКАТовский СД.

[man781]

А что конкретно тут странного?

Если скат умеет генерить полный нетфлоу оригинальный, и в дополнительных полях слать инфу о DPI протоколах, то почему бы не заюзать этот функционал.

 

 

[man781]

Как я понял  -  нужно, что-то где-то допилить  - чтобы брало инфу о DPI протоколах из  46-47 байтов (опционально).

 

Было бы круто, если бы VASовцы допилили nfsen  своем репо.

Мы были бы рады - мы уже 2шт СКАТ-40 купили.

Я, конечно, особо не надеюсь и понимаю, что они как бы ничего никому не должны...

 

Ну, а вопрос об unknows protocol остается открытым - обновление патченого nfsen от vasexpert не было, видимо с 2013 года (судя по датам исходников )

[man781]

А вот на сайте  vasexpert что я нашел ))))  Что это за продукт?  Он платный? Или это тот же nfsen ?

 

Главная » Продукты » Модуль просмотра статистики и отчетов

МОДУЛЬ ПРОСМОТРА СТАТИСТИКИ И ОТЧЕТОВ

«Модуль просмотра статистики и отчетов» позволяет проводить анализ полученных данных с разбивкой по приложениям, протоколам, тарифным планам, регионам, типам абонентских устройств и по другим категориям. Это помогает повысить эффективность использования полосы пропускания и качество предоставляемых абонентам услуг.

• Поддержка сбора информации с кластера DPI-серверов.
• Поддержка онлайн-режима отображения информации.
• Построение графиков и отчетов по направлениям, протоколам.

[snvoronkov]

43 минуты назад, man781 сказал:

Или это тот же nfsen ?

Именно.

 

https://vasexperts.ru/wiki/doku.php?id=dpi_components  -> Модуль просмотра статистики и отчетов -> https://vasexperts.ru/wiki/doku.php?id=nfsen

[man781]

ну, раз они его рекламируют, то должны подпиливать под свой продукт и обновлять протоколы, а не отмораживаться, что это, мол, не их приложение - а продукт третьих лиц с открытыми исходниками - кому надо, типа сами подпиливайте...

[Agent2006]

В 13.12.2017 в 10:48, man781 сказал:

Воткнул свежий файл ports.desc - все равно много Unknown протоколов

Много - это сколько в процентах от всего объёма трафика?