Jump to content
Калькуляторы

nfsen, статистика CKAT на Debian

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Share this post


Link to post
Share on other sites

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

Share this post


Link to post
Share on other sites

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

 

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

Share this post


Link to post
Share on other sites

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

 

Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src)

 

Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1)

 

Установите пакеты, необходимые для сборки и работы nfsen

 

CentOS/RedHat/Oracle:

yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php

Ubuntu:

apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl

apt-get install apache2 php5 libapache2-mod-php5

 

Скачайте исходные коды nfdump и nfsen и распакуйте архивы

 

wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz

wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz

tar xvzf nfdump-1.6.9.2.CKAT.tar.gz

tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz

 

Соберите и установите nfdump

 

cd nfdump-1.6.9.2.CKAT

./configure --enable-scat --enable-nfprofile --prefix=/usr/bin

make

make install

 

Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его

 

cd nfsen-1.3.6p1.2.CKAT

vi etc/nfsen.conf

./install.pl etc/nfsen.conf

 

Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen

 

1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем

 

Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась.

Share this post


Link to post
Share on other sites

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

 

Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src)

 

Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1)

 

Установите пакеты, необходимые для сборки и работы nfsen

 

CentOS/RedHat/Oracle:

yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php

Ubuntu:

apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl

apt-get install apache2 php5 libapache2-mod-php5

 

Скачайте исходные коды nfdump и nfsen и распакуйте архивы

 

wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz

wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz

tar xvzf nfdump-1.6.9.2.CKAT.tar.gz

tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz

 

Соберите и установите nfdump

 

cd nfdump-1.6.9.2.CKAT

./configure --enable-scat --enable-nfprofile --prefix=/usr/bin

make

make install

 

Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его

 

cd nfsen-1.3.6p1.2.CKAT

vi etc/nfsen.conf

./install.pl etc/nfsen.conf

 

Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen

 

1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем

 

Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась.

 

Огромное спасибо тебе, добрый человек. Сам я что-то в их wiki теряюсь иногда)

Share this post


Link to post
Share on other sites

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

 

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Share this post


Link to post
Share on other sites

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Вот честно - не помню я! :-)

 

История Полуночного Командира подсказывает, что внес вот это:

/usr/local/nfsen/etc/ports.desc:
49218;QUIC;

 

А то неизвестный порт стремительно в лидеры выбился. :-)

 

Здравый смысл подсказывает, что ports.desc надо-бы сгенерировать из https://vasexperts.ru/wiki/doku.php?id=port_proto

Но лень пока.

Edited by snvoronkov

Share this post


Link to post
Share on other sites

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Вот честно - не помню я! :-)

 

История Полуночного Командира подсказывает, что внес вот это:

/usr/local/nfsen/etc/ports.desc:
49218;QUIC;

 

А то неизвестный порт стремительно в лидеры выбился. :-)

 

Понял. Спасибо!

Share this post


Link to post
Share on other sites

Я так понимаю что этот функционал доступен только начиная с версии base ?

Да. Иногда бывает весьма полезно.

Share this post


Link to post
Share on other sites

Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по  графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC?

Share this post


Link to post
Share on other sites

2 часа назад, Agent2006 сказал:

Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по  графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC?

Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го.

Share this post


Link to post
Share on other sites

16 часов назад, snvoronkov сказал:

Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го.

Вчера после 22 часов на графике снова проявился QUIC. Будем думать, что это были какие-то происки гугла. ))) 

Share this post


Link to post
Share on other sites

Используем СКАТ-40 v.7.4  и nfsen сборку от vasexpert -  много UNKNOWN протоколов.

 

Попытался обновить nfdump/nfsen как в вики:

 

 

Для корректного отображения новых протоколов необходимо проводить обновление
yum update nfsen nfdump
После чего потребуется рестартовать коллекторы
service nfsen restart

Но, типа, обновлений нет:

 

[root@nfsen ~]# yum update nfsen nfdump
Загружены модули: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror1.hs-esslingen.de
 * extras: mirror.ratiokontakt.de
 * updates: centos.mirrors.as250.net
 * vasexperts: freedpi.ru
No packages marked for update

 

Парни, ткните, пожалуйста, в нужном направлении....

Share this post


Link to post
Share on other sites

[root@nfsen ~]# yum info nfdump
Загружены модули: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror1.hs-esslingen.de
 * extras: mirror.ratiokontakt.de
 * updates: centos.mirrors.as250.net
 * vasexperts: freedpi.ru
Установленные пакеты
Название: nfdump
Архитектура: x86_64
Версия: 1.6.9.3.CKAT
Выпуск: 0
Объем: 4.9 M
Источник: installed
Из источника: vasexperts
Аннотация: A set of command-line tools to collect and process netflow data
Ссылка: http://nfdump.sourceforge.net
Лицензия: BSD
Описание: The nfdump tools collect and process netflow data on the command line
 

Share this post


Link to post
Share on other sites

Короче, начинаю восстанавливать логическую цепочку

 

Вначале была проблема, что в nfsen был низкий объем трафика в статистике- поэтому поставил в fasrdpi.conf

 

netflow_full_collector=a.b.c.d:9999

Это помогло - утилизация стала соответствовать реальной загрузке каналов

 

Но затем получилось, то, что описано в вики:

 

Цитата

"В полном netflow по умолчанию передается оригинальный номер порта, поэтому отчет по протоколам не работает. Чтобы активировать кодирование в номере порта информации о протоколе нужно активировать настройку netflow_full_port_swap=1"

 

В другой статье:

 

Цитата

В полной статистике сохранены оригинальные номера портов, а информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47. Если требуется проанализировать используемые протоколы, то можно установить настройку, по которой информация о протоколах будет передаваться в номере порта

 

Поэтому я выставил  netflow_full_port_swap=1

 

С большего начали протоколы DPI определяться.

 

Воткнул свежий файл ports.desc - все равно много Unknown протоколов

 

 

Итак:

какие есть варианты, чтобы мне решить три задачи

 

1)  Сохранить оригинальные порты (обязан по закону для спецслужб)  - но при этом не делать отдельный коллектор (получается дорого - трафика десятки гигабит, десятки тысяч абонов - террабайты  места в Хранилище + бэкап)

2) Таки заставить nfsen рисовать стату по DPI протоколам, забираю инфу исходя из этого "... информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47..."

3) Решить проблему с неизвестными протоколами в nfsen

Share this post


Link to post
Share on other sites

1 час назад, man781 сказал:

Ответа можно не ждать? :)

Если от форумчан, то что-то мне омнительно, что еще кто-то настолько-же странного захотел. :-)

 

Пишите в СКАТовский СД.

Share this post


Link to post
Share on other sites

А что конкретно тут странного?

Если скат умеет генерить полный нетфлоу оригинальный, и в дополнительных полях слать инфу о DPI протоколах, то почему бы не заюзать этот функционал.

 

 

Share this post


Link to post
Share on other sites

Как я понял  -  нужно, что-то где-то допилить  - чтобы брало инфу о DPI протоколах из  46-47 байтов (опционально).

 

Было бы круто, если бы VASовцы допилили nfsen  своем репо.

Мы были бы рады - мы уже 2шт СКАТ-40 купили.

Я, конечно, особо не надеюсь и понимаю, что они как бы ничего никому не должны...

 

Ну, а вопрос об unknows protocol остается открытым - обновление патченого nfsen от vasexpert не было, видимо с 2013 года (судя по датам исходников )

Share this post


Link to post
Share on other sites

А вот на сайте  vasexpert что я нашел ))))  Что это за продукт?  Он платный? Или это тот же nfsen ?

 

Главная » Продукты » Модуль просмотра статистики и отчетов

МОДУЛЬ ПРОСМОТРА СТАТИСТИКИ И ОТЧЕТОВ

«Модуль просмотра статистики и отчетов» позволяет проводить анализ полученных данных с разбивкой по приложениям, протоколам, тарифным планам, регионам, типам абонентских устройств и по другим категориям. Это помогает повысить эффективность использования полосы пропускания и качество предоставляемых абонентам услуг.

  • Поддержка сбора информации с кластера DPI-серверов.
  • Поддержка онлайн-режима отображения информации.
  • Построение графиков и отчетов по направлениям, протоколам.

Share this post


Link to post
Share on other sites

ну, раз они его рекламируют, то должны подпиливать под свой продукт и обновлять протоколы, а не отмораживаться, что это, мол, не их приложение - а продукт третьих лиц с открытыми исходниками - кому надо, типа сами подпиливайте...

Share this post


Link to post
Share on other sites

В 13.12.2017 в 10:48, man781 сказал:

Воткнул свежий файл ports.desc - все равно много Unknown протоколов

Много - это сколько в процентах от всего объёма трафика? 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.