StSphinx Posted May 23, 2017 · Report post Всем привет! Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted May 23, 2017 · Report post Всем привет! Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом. Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено. Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-) Только у меня оно на центоси стоит. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
StSphinx Posted May 23, 2017 · Report post Всем привет! Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом. Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено. Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-) Только у меня оно на центоси стоит. Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted May 24, 2017 · Report post Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе? Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src) Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1) Установите пакеты, необходимые для сборки и работы nfsen CentOS/RedHat/Oracle: yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php Ubuntu: apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl apt-get install apache2 php5 libapache2-mod-php5 Скачайте исходные коды nfdump и nfsen и распакуйте архивы wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz tar xvzf nfdump-1.6.9.2.CKAT.tar.gz tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz Соберите и установите nfdump cd nfdump-1.6.9.2.CKAT ./configure --enable-scat --enable-nfprofile --prefix=/usr/bin make make install Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его cd nfsen-1.3.6p1.2.CKAT vi etc/nfsen.conf ./install.pl etc/nfsen.conf Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen 1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
StSphinx Posted May 24, 2017 · Report post Да вот нехочется ради только этого CentOS себе заводить. А исходники они не дают, не в курсе? Вкурсе, конечно (https://vasexperts.ru/wiki/doku.php?id=nfsen_src) Если у вас операционная система отлична от CentOS, либо установка по умолчанию не подходит, то можно скачать и самостоятельно установить nfdump и nfsen из исходного кода 1) Установите пакеты, необходимые для сборки и работы nfsen CentOS/RedHat/Oracle: yum install gcc-c++,rrdtool-devel,perl-rrdtool,flex,perl-Socket6,perl-MailTools,httpd,php Ubuntu: apt-get install build-essential flex librrd-dev byacc librrds-perl libmailtools-perl libsocket6-perl apt-get install apache2 php5 libapache2-mod-php5 Скачайте исходные коды nfdump и nfsen и распакуйте архивы wget http://vasexperts.ru/centos/6/x86_64/nfdump-1.6.9.2.CKAT.tar.gz wget http://vasexperts.ru/centos/6/x86_64/nfsen-1.3.6p1.2.CKAT.tar.gz tar xvzf nfdump-1.6.9.2.CKAT.tar.gz tar xvzf nfsen-1.3.6p1.2.CKAT.tar.gz Соберите и установите nfdump cd nfdump-1.6.9.2.CKAT ./configure --enable-scat --enable-nfprofile --prefix=/usr/bin make make install Отредактируйте настройки nfsen (или оставьте «по-умолчанию») и установите его cd nfsen-1.3.6p1.2.CKAT vi etc/nfsen.conf ./install.pl etc/nfsen.conf Подключите запуск nfsen в виде сервиса. Пример init-скрипта для CentOS: etc/nfsen 1) данный исходный код отличается от оригинального поддержкой в отчетах имен протоколов и автономных систем Я его, собственно, сначала на дохленькую машинку с дебом и ставил. Не справилась. Огромное спасибо тебе, добрый человек. Сам я что-то в их wiki теряюсь иногда) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
StSphinx Posted May 26, 2017 · Report post Всем привет! Кто-нибудь ставил Nfsen для сбора статистики по протоколам, на Debian? Обязательно ли нужно использовать сборку от VasExperts или просто необходимо из их пакета выдернуть какие-то скрипты? Поделитесь опытом. Там nfsen отпатченный немного. По-умолчанию СКАТ шлёт протокол в статистике. (В вики оно описано.) Плюс несколько скриптов для автогенерации добавлено. Пакет, правда много лет не обновляется и про новые протоколы, которые распознает и шлёт сам dpi ни ухом, ни рылом. Пришлось файл искать и руками править с год назад. А то у меня резервед в лидеры вырваться начал. :-) Только у меня оно на центоси стоит. Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted May 26, 2017 (edited) · Report post Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься? Вот честно - не помню я! :-) История Полуночного Командира подсказывает, что внес вот это: /usr/local/nfsen/etc/ports.desc: 49218;QUIC; А то неизвестный порт стремительно в лидеры выбился. :-) Здравый смысл подсказывает, что ports.desc надо-бы сгенерировать из https://vasexperts.ru/wiki/doku.php?id=port_proto Но лень пока. Edited May 26, 2017 by snvoronkov Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
StSphinx Posted May 26, 2017 · Report post Привет! А не подскажешь, что и где пришлось править под новые протоколы? Или может исправленными файликами поделишься? Вот честно - не помню я! :-) История Полуночного Командира подсказывает, что внес вот это: /usr/local/nfsen/etc/ports.desc: 49218;QUIC; А то неизвестный порт стремительно в лидеры выбился. :-) Понял. Спасибо! Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Susanin Posted May 30, 2017 · Report post Я так понимаю что этот функционал доступен только начиная с версии base ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted May 30, 2017 · Report post Я так понимаю что этот функционал доступен только начиная с версии base ? Да. Иногда бывает весьма полезно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Agent2006 Posted November 8, 2017 · Report post Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted November 8, 2017 · Report post 2 часа назад, Agent2006 сказал: Вопрос к тем, кто использует NFSEN в связке со СКАТ. Судя по графику загрузки канала в NFSEN с 4 ноября у нас раз эдак в 10 просел трафик по протоколу QUIC. Осталась самая малость. Это гугл чудит или СКАТ у нас перестал детектировать QUIC? Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Agent2006 Posted November 9, 2017 · Report post 16 часов назад, snvoronkov сказал: Вряд-ли у вас со СКАТом что-то. Посмотрел - ровно таже картина. Свой обновлял 2-го, а спал трафик с 4-го. Вчера после 22 часов на графике снова проявился QUIC. Будем думать, что это были какие-то происки гугла. ))) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 12, 2017 · Report post Используем СКАТ-40 v.7.4 и nfsen сборку от vasexpert - много UNKNOWN протоколов. Попытался обновить nfdump/nfsen как в вики: Для корректного отображения новых протоколов необходимо проводить обновление yum update nfsen nfdump После чего потребуется рестартовать коллекторы service nfsen restart Но, типа, обновлений нет: [root@nfsen ~]# yum update nfsen nfdump Загружены модули: fastestmirror Loading mirror speeds from cached hostfile * base: mirror1.hs-esslingen.de * extras: mirror.ratiokontakt.de * updates: centos.mirrors.as250.net * vasexperts: freedpi.ru No packages marked for update Парни, ткните, пожалуйста, в нужном направлении.... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
DimaM Posted December 12, 2017 · Report post что говорит yum info nfdump ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 12, 2017 · Report post [root@nfsen ~]# yum info nfdump Загружены модули: fastestmirror Loading mirror speeds from cached hostfile * base: mirror1.hs-esslingen.de * extras: mirror.ratiokontakt.de * updates: centos.mirrors.as250.net * vasexperts: freedpi.ru Установленные пакеты Название: nfdump Архитектура: x86_64 Версия: 1.6.9.3.CKAT Выпуск: 0 Объем: 4.9 M Источник: installed Из источника: vasexperts Аннотация: A set of command-line tools to collect and process netflow data Ссылка: http://nfdump.sourceforge.net Лицензия: BSD Описание: The nfdump tools collect and process netflow data on the command line Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 13, 2017 · Report post Короче, начинаю восстанавливать логическую цепочку Вначале была проблема, что в nfsen был низкий объем трафика в статистике- поэтому поставил в fasrdpi.conf netflow_full_collector=a.b.c.d:9999 Это помогло - утилизация стала соответствовать реальной загрузке каналов Но затем получилось, то, что описано в вики: Цитата "В полном netflow по умолчанию передается оригинальный номер порта, поэтому отчет по протоколам не работает. Чтобы активировать кодирование в номере порта информации о протоколе нужно активировать настройку netflow_full_port_swap=1" В другой статье: Цитата В полной статистике сохранены оригинальные номера портов, а информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47. Если требуется проанализировать используемые протоколы, то можно установить настройку, по которой информация о протоколах будет передаваться в номере порта Поэтому я выставил netflow_full_port_swap=1 С большего начали протоколы DPI определяться. Воткнул свежий файл ports.desc - все равно много Unknown протоколов Итак: какие есть варианты, чтобы мне решить три задачи 1) Сохранить оригинальные порты (обязан по закону для спецслужб) - но при этом не делать отдельный коллектор (получается дорого - трафика десятки гигабит, десятки тысяч абонов - террабайты места в Хранилище + бэкап) 2) Таки заставить nfsen рисовать стату по DPI протоколам, забираю инфу исходя из этого "... информация о детектированных протоколах передается в обычно неиспользуемых байтах 46-47..." 3) Решить проблему с неизвестными протоколами в nfsen Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 14, 2017 · Report post Ответа можно не ждать? :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 14, 2017 · Report post 1 час назад, man781 сказал: Ответа можно не ждать? :) Если от форумчан, то что-то мне омнительно, что еще кто-то настолько-же странного захотел. :-) Пишите в СКАТовский СД. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 14, 2017 · Report post А что конкретно тут странного? Если скат умеет генерить полный нетфлоу оригинальный, и в дополнительных полях слать инфу о DPI протоколах, то почему бы не заюзать этот функционал. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 14, 2017 · Report post Как я понял - нужно, что-то где-то допилить - чтобы брало инфу о DPI протоколах из 46-47 байтов (опционально). Было бы круто, если бы VASовцы допилили nfsen своем репо. Мы были бы рады - мы уже 2шт СКАТ-40 купили. Я, конечно, особо не надеюсь и понимаю, что они как бы ничего никому не должны... Ну, а вопрос об unknows protocol остается открытым - обновление патченого nfsen от vasexpert не было, видимо с 2013 года (судя по датам исходников ) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 14, 2017 · Report post А вот на сайте vasexpert что я нашел )))) Что это за продукт? Он платный? Или это тот же nfsen ? Главная » Продукты » Модуль просмотра статистики и отчетов МОДУЛЬ ПРОСМОТРА СТАТИСТИКИ И ОТЧЕТОВ «Модуль просмотра статистики и отчетов» позволяет проводить анализ полученных данных с разбивкой по приложениям, протоколам, тарифным планам, регионам, типам абонентских устройств и по другим категориям. Это помогает повысить эффективность использования полосы пропускания и качество предоставляемых абонентам услуг. Поддержка сбора информации с кластера DPI-серверов. Поддержка онлайн-режима отображения информации. Построение графиков и отчетов по направлениям, протоколам. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 14, 2017 · Report post 43 минуты назад, man781 сказал: Или это тот же nfsen ? Именно. https://vasexperts.ru/wiki/doku.php?id=dpi_components -> Модуль просмотра статистики и отчетов -> https://vasexperts.ru/wiki/doku.php?id=nfsen Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
man781 Posted December 14, 2017 · Report post ну, раз они его рекламируют, то должны подпиливать под свой продукт и обновлять протоколы, а не отмораживаться, что это, мол, не их приложение - а продукт третьих лиц с открытыми исходниками - кому надо, типа сами подпиливайте... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Agent2006 Posted December 14, 2017 · Report post В 13.12.2017 в 10:48, man781 сказал: Воткнул свежий файл ports.desc - все равно много Unknown протоколов Много - это сколько в процентах от всего объёма трафика? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...