Sonne Опубликовано 14 июня, 2018 · Жалоба День добрый! Стоит задача снимать статистику Netflow с BGP маршрутизаторов что бы измерять трафик проходящий между определенными AS. Реалтайм выборки не нужны. Желательно выводить полученные графики в какой нибудь Графане. Нужна возможность описывать AS ( или префиксы) в админке или хотя бы подтягивать по API из базы данных. Нужно или готовое или близкое к задаче, что можно было бы допилить. Подозвреваю что всякие DPI или анализаторы трафика должны уметь. Есть что на примете? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 14 июня, 2018 · Жалоба Платная версия fastnetmon такое умеет, у меня рисует по подсетям в графане, все почти автоматически настраивается, и можно потом настраивать под себя. Там много всякого навертеть по идее можно, но меня вполне устроил функционал по умолчанию. Один из графиков Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DGM Опубликовано 15 июня, 2018 · Жалоба Вам точно as-stats не подходит? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 18 июня, 2018 · Жалоба В 6/15/2018 в 17:42, DGM сказал: Вам точно as-stats не подходит? Посмотрел, думаю что не подходит Там перл, который конвертит в RRD по предварительным правилам. Соотвественно если окружение динамически меняется, то могут появится новые пары AS1 - AS2 и нежелательно потерять тот трафик, который не был заранее описан. Может быть я не прав и там есть возможность собирать все варианты трафика, но это означает что при 50 AS скажем, нужно построить матрицу 50x50 т.е. 2500 RRD файлов. А для 100 AS матрица уже 10.000 Скорее требуется каким то образом разложить трафик Netflow что бы потом делать нужные выборки. Вопрос - как? Навскидку Бинарный лог SQL Elastic Search Clickhouse Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 18 июня, 2018 (изменено) · Жалоба можно по nprobe сливать SQL у того же nprobe есть интеграция с ELK stack, которым уже можно воротить что душе вздумается, но ресурсов жрет охиреть, так что нужно семплить им же можно плагином по бжп подключится к бордеру и забирать данные по AS непосредственно оттуда либо бессмертный nfdump, но с ним чуть сложнее будет, мне кажется можно из него выгребать аггрегированные данные и складывать себе куда-то Изменено 18 июня, 2018 пользователем GrandPr1de Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DGM Опубликовано 18 июня, 2018 · Жалоба Я делал визуализацию трафика на elk v3, коллектором был logstash с плагином netflow. Ничего сложного, только ресурсов много нужно и времени для создания графиков и дашбордов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 20 июня, 2018 · Жалоба Logstash+Elastic+Grafana. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 20 июня, 2018 · Жалоба logstash боль же если его не юзать - elk очень даже норм Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 26 июня, 2018 · Жалоба Запустили ELK, но данных пишется прилично. Может кто знает готовые скрипты агрегации? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 26 июня, 2018 · Жалоба 2 часа назад, Sonne сказал: Запустили ELK, но данных пишется прилично. Может кто знает готовые скрипты агрегации? я говорил (и не я один), что ему нужно оооочень много :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sonne Опубликовано 26 июня, 2018 · Жалоба Ну так идея в том, что бы пропускать через обработчик данных и агрегировать например по AS / AS с интервалом в 5 минут. Новая таблица должна быть на порядки меньше. Вот об этом и спрашиваю. Я правда еще идею с clickhouse не похоронил. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 26 июня, 2018 · Жалоба Btw fastnetmon как раз в кликхаус и пишет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...