Перейти к содержимому
Калькуляторы

nfsen, статистика CKAT на Debian

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

 

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

 

Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src)

 

Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1)

 

Установите пакеты, необходимые для сборки и работы nfsen

 

CentOS/RedHat/Oracle:

yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php

Ubuntu:

apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl

apt-get install apache2 php5 libapache2-mod-php5

 

Скачайте исходные коды nfdump и nfsen и распакуйте архивы

 

wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz

wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz

tar xvzf nfdump-1.6.9.2.CKAT.tar.gz

tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz

 

Соберите и установите nfdump

 

cd nfdump-1.6.9.2.CKAT

./configure --enable-scat --enable-nfprofile --prefix=/usr/bin

make

make install

 

Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его

 

cd nfsen-1.3.6p1.2.CKAT

vi etc/nfsen.conf

./install.pl etc/nfsen.conf

 

Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen

 

1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем

 

Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе?

 

Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src)

 

Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1)

 

Установите пакеты, необходимые для сборки и работы nfsen

 

CentOS/RedHat/Oracle:

yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php

Ubuntu:

apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl

apt-get install apache2 php5 libapache2-mod-php5

 

Скачайте исходные коды nfdump и nfsen и распакуйте архивы

 

wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz

wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz

tar xvzf nfdump-1.6.9.2.CKAT.tar.gz

tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz

 

Соберите и установите nfdump

 

cd nfdump-1.6.9.2.CKAT

./configure --enable-scat --enable-nfprofile --prefix=/usr/bin

make

make install

 

Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его

 

cd nfsen-1.3.6p1.2.CKAT

vi etc/nfsen.conf

./install.pl etc/nfsen.conf

 

Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen

 

1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем

 

Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась.

 

Огромное спасибо тебе, добрый человек. Сам я что-то в их wiki теряюсь иногда)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем привет!

Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом.

Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено.

 

Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-)

 

Только у меня оно на центоси стоит.

 

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Вот честно - не помню я! :-)

 

История Полуночного Командира подсказывает, что внес вот это:

/usr/local/nfsen/etc/ports.desc:
49218;QUIC;

 

А то неизвестный порт стремительно в лидеры выбился. :-)

 

Здравый смысл подсказывает, что ports.desc надо-бы сгенерировать из https://vasexperts.ru/wiki/doku.php?id=port_proto

Но лень пока.

Изменено пользователем snvoronkov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься?

Вот честно - не помню я! :-)

 

История Полуночного Командира подсказывает, что внес вот это:

/usr/local/nfsen/etc/ports.desc:
49218;QUIC;

 

А то неизвестный порт стремительно в лидеры выбился. :-)

 

Понял. Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я так понимаю что этот функционал доступен только начиная с версии base ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я так понимаю что этот функционал доступен только начиная с версии base ?

Да. Иногда бывает весьма полезно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по  графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, Agent2006 сказал:

Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по  графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC?

Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

16 часов назад, snvoronkov сказал:

Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го.

Вчера после 22 часов на графике снова проявился QUIC. Будем думать, что это были какие-то происки гугла. ))) 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Используем СКАТ-40 v.7.4  и nfsen сборку от vasexpert -  много UNKNOWN протоколов.

 

Попытался обновить nfdump/nfsen как в вики:

 

 

Для корректного отображения новых протоколов необходимо проводить обновление
yum update nfsen nfdump
После чего потребуется рестартовать коллекторы
service nfsen restart

Но, типа, обновлений нет:

 

[root@nfsen ~]# yum update nfsen nfdump
Загружены модули: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror1.hs-esslingen.de
 * extras: mirror.ratiokontakt.de
 * updates: centos.mirrors.as250.net
 * vasexperts: freedpi.ru
No packages marked for update

 

Парни, ткните, пожалуйста, в нужном направлении....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

[root@nfsen ~]# yum info nfdump
Загружены модули: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror1.hs-esslingen.de
 * extras: mirror.ratiokontakt.de
 * updates: centos.mirrors.as250.net
 * vasexperts: freedpi.ru
Установленные пакеты
Название: nfdump
Архитектура: x86_64
Версия: 1.6.9.3.CKAT
Выпуск: 0
Объем: 4.9 M
Источник: installed
Из источника: vasexperts
Аннотация: A set of command-line tools to collect and process netflow data
Ссылка: http://nfdump.sourceforge.net
Лицензия: BSD
Описание: The nfdump tools collect and process netflow data on the command line
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Короче, начинаю восстанавливать логическую цепочку

 

Вначале была проблема, что в nfsen был низкий объем трафика в статистике- поэтому поставил в fasrdpi.conf

 

netflow_full_collector=a.b.c.d:9999

Это помогло - утилизация стала соответствовать реальной загрузке каналов

 

Но затем получилось, то, что описано в вики:

 

Цитата

"В полном netflow по умолчанию передается оригинальный номер порта, поэтому отчет по протоколам не работает. Чтобы активировать кодирование в номере порта информации о протоколе нужно активировать настройку netflow_full_port_swap=1"

 

В другой статье:

 

Цитата

В полной статистике сохранены оригинальные номера портов, а информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47. Если требуется проанализировать используемые протоколы, то можно установить настройку, по которой информация о протоколах будет передаваться в номере порта

 

Поэтому я выставил  netflow_full_port_swap=1

 

С большего начали протоколы DPI определяться.

 

Воткнул свежий файл ports.desc - все равно много Unknown протоколов

 

 

Итак:

какие есть варианты, чтобы мне решить три задачи

 

1)  Сохранить оригинальные порты (обязан по закону для спецслужб)  - но при этом не делать отдельный коллектор (получается дорого - трафика десятки гигабит, десятки тысяч абонов - террабайты  места в Хранилище + бэкап)

2) Таки заставить nfsen рисовать стату по DPI протоколам, забираю инфу исходя из этого "... информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47..."

3) Решить проблему с неизвестными протоколами в nfsen

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ответа можно не ждать? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, man781 сказал:

Ответа можно не ждать? :)

Если от форумчан, то что-то мне омнительно, что еще кто-то настолько-же странного захотел. :-)

 

Пишите в СКАТовский СД.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А что конкретно тут странного?

Если скат умеет генерить полный нетфлоу оригинальный, и в дополнительных полях слать инфу о DPI протоколах, то почему бы не заюзать этот функционал.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как я понял  -  нужно, что-то где-то допилить  - чтобы брало инфу о DPI протоколах из  46-47 байтов (опционально).

 

Было бы круто, если бы VASовцы допилили nfsen  своем репо.

Мы были бы рады - мы уже 2шт СКАТ-40 купили.

Я, конечно, особо не надеюсь и понимаю, что они как бы ничего никому не должны...

 

Ну, а вопрос об unknows protocol остается открытым - обновление патченого nfsen от vasexpert не было, видимо с 2013 года (судя по датам исходников )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А вот на сайте  vasexpert что я нашел ))))  Что это за продукт?  Он платный? Или это тот же nfsen ?

 

Главная » Продукты » Модуль просмотра статистики и отчетов

МОДУЛЬ ПРОСМОТРА СТАТИСТИКИ И ОТЧЕТОВ

«Модуль просмотра статистики и отчетов» позволяет проводить анализ полученных данных с разбивкой по приложениям, протоколам, тарифным планам, регионам, типам абонентских устройств и по другим категориям. Это помогает повысить эффективность использования полосы пропускания и качество предоставляемых абонентам услуг.

  • Поддержка сбора информации с кластера DPI-серверов.
  • Поддержка онлайн-режима отображения информации.
  • Построение графиков и отчетов по направлениям, протоколам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну, раз они его рекламируют, то должны подпиливать под свой продукт и обновлять протоколы, а не отмораживаться, что это, мол, не их приложение - а продукт третьих лиц с открытыми исходниками - кому надо, типа сами подпиливайте...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 13.12.2017 в 10:48, man781 сказал:

Воткнул свежий файл ports.desc - все равно много Unknown протоколов

Много - это сколько в процентах от всего объёма трафика? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.