[Sonne]

День добрый!

Стоит задача снимать статистику Netflow с BGP маршрутизаторов что бы измерять трафик проходящий между определенными AS. Реалтайм выборки не нужны. Желательно выводить полученные графики в какой нибудь Графане.  Нужна возможность описывать AS ( или префиксы) в админке или хотя бы подтягивать по API из базы данных.
 

Нужно или готовое или близкое к задаче, что можно было бы допилить.  Подозвреваю что всякие DPI или анализаторы трафика должны уметь.  Есть что на примете?

[nuclearcat]

Платная версия fastnetmon такое умеет, у  меня рисует по подсетям в графане, все почти автоматически настраивается, и можно потом настраивать под себя. Там много всякого навертеть по идее можно, но меня вполне устроил функционал по умолчанию.

Один из графиков

[DGM]

Вам точно as-stats не подходит?

[Sonne]

В 6/15/2018 в 17:42, DGM сказал:

Вам точно as-stats не подходит?

 

Посмотрел, думаю что не подходит

Там перл, который конвертит в RRD по предварительным правилам. Соотвественно если окружение динамически меняется, то могут появится новые пары AS1 - AS2 и нежелательно потерять тот трафик, который не был заранее описан.

Может быть я не прав и там есть возможность собирать все варианты трафика, но это означает что при 50 AS скажем, нужно построить матрицу 50x50 т.е. 2500 RRD файлов.  А для 100 AS матрица уже 10.000

 

Скорее требуется каким то образом разложить трафик Netflow что бы потом делать нужные выборки.
Вопрос - как? Навскидку 

• Бинарный лог
• SQL
• Elastic Search
• Clickhouse

 

[GrandPr1de]

можно по nprobe сливать SQL

у того же nprobe есть интеграция с ELK stack, которым уже можно воротить что душе вздумается, но ресурсов жрет охиреть, так что нужно семплить

им же можно плагином по бжп подключится к бордеру и забирать данные по AS непосредственно оттуда

 

либо бессмертный nfdump, но с ним чуть сложнее будет, мне кажется

можно из него выгребать аггрегированные данные и складывать себе куда-то

Изменено 18 июня пользователем GrandPr1de

[DGM]

Я делал визуализацию трафика на elk v3, коллектором был logstash с плагином netflow.  Ничего сложного, только ресурсов много нужно и времени для создания графиков и дашбордов.

[fox_m]

Logstash+Elastic+Grafana.

[GrandPr1de]

logstash боль же

если его не юзать - elk очень даже норм

[Sonne]

Запустили ELK, но данных пишется прилично.

Может кто знает готовые скрипты агрегации?

[GrandPr1de]

2 часа назад, Sonne сказал:

Запустили ELK, но данных пишется прилично.

Может кто знает готовые скрипты агрегации?

я говорил (и не я один), что ему нужно оооочень много :(

[Sonne]

Ну так идея в том, что бы пропускать через обработчик данных и агрегировать например по AS / AS с интервалом в 5 минут. Новая таблица должна быть на порядки меньше. Вот об этом и спрашиваю.

 

Я правда еще идею с clickhouse не похоронил.

[nuclearcat]

Btw fastnetmon как раз в кликхаус и пишет