Sonne Опубликовано 14 июня, 2018 День добрый! Стоит задача снимать статистику Netflow с BGP маршрутизаторов что бы измерять трафик проходящий между определенными AS. Реалтайм выборки не нужны. Желательно выводить полученные графики в какой нибудь Графане. Нужна возможность описывать AS ( или префиксы) в админке или хотя бы подтягивать по API из базы данных. Нужно или готовое или близкое к задаче, что можно было бы допилить. Подозвреваю что всякие DPI или анализаторы трафика должны уметь. Есть что на примете? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 14 июня, 2018 Платная версия fastnetmon такое умеет, у меня рисует по подсетям в графане, все почти автоматически настраивается, и можно потом настраивать под себя. Там много всякого навертеть по идее можно, но меня вполне устроил функционал по умолчанию. Один из графиков Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DGM Опубликовано 15 июня, 2018 Вам точно as-stats не подходит? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 18 июня, 2018 В 6/15/2018 в 17:42, DGM сказал: Вам точно as-stats не подходит? Посмотрел, думаю что не подходит Там перл, который конвертит в RRD по предварительным правилам. Соотвественно если окружение динамически меняется, то могут появится новые пары AS1 - AS2 и нежелательно потерять тот трафик, который не был заранее описан. Может быть я не прав и там есть возможность собирать все варианты трафика, но это означает что при 50 AS скажем, нужно построить матрицу 50x50 т.е. 2500 RRD файлов. А для 100 AS матрица уже 10.000 Скорее требуется каким то образом разложить трафик Netflow что бы потом делать нужные выборки. Вопрос - как? Навскидку Бинарный лог SQL Elastic Search Clickhouse Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 18 июня, 2018 (изменено) можно по nprobe сливать SQL у того же nprobe есть интеграция с ELK stack, которым уже можно воротить что душе вздумается, но ресурсов жрет охиреть, так что нужно семплить им же можно плагином по бжп подключится к бордеру и забирать данные по AS непосредственно оттуда либо бессмертный nfdump, но с ним чуть сложнее будет, мне кажется можно из него выгребать аггрегированные данные и складывать себе куда-то Изменено 18 июня, 2018 пользователем GrandPr1de Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DGM Опубликовано 18 июня, 2018 Я делал визуализацию трафика на elk v3, коллектором был logstash с плагином netflow. Ничего сложного, только ресурсов много нужно и времени для создания графиков и дашбордов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 20 июня, 2018 Logstash+Elastic+Grafana. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 20 июня, 2018 logstash боль же если его не юзать - elk очень даже норм Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 26 июня, 2018 Запустили ELK, но данных пишется прилично. Может кто знает готовые скрипты агрегации? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 26 июня, 2018 2 часа назад, Sonne сказал: Запустили ELK, но данных пишется прилично. Может кто знает готовые скрипты агрегации? я говорил (и не я один), что ему нужно оооочень много :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 26 июня, 2018 Ну так идея в том, что бы пропускать через обработчик данных и агрегировать например по AS / AS с интервалом в 5 минут. Новая таблица должна быть на порядки меньше. Вот об этом и спрашиваю. Я правда еще идею с clickhouse не похоронил. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 26 июня, 2018 Btw fastnetmon как раз в кликхаус и пишет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...