Jump to content
Калькуляторы

Сбор логов и отображение в реальном времени

Привет!

Есть вот какой вопрос. Сейчас собираем логи через syslog-ng и складываем их в файлики на виртауалке, по каталогу на каждый хост. Все работает, все хорошо. Но хотелось бы иметь к этому хозяйству веб-интерфейс. Есть Loganalyzer, но он как-то не очень если надо грепнуть большой объем логов с разных железок или серверов.


Сразу отмечу, что ELK это не совсем то что надо, хотя мы и пробовали на нем сидеть. Он во-первых сильно тяжеловесный для наших задач - индексирование Elasticsearch, сама Kibana и т.д. жрет неслабо ресурсов. Индексирование логов на лету, сбор метрик по ним и и т.д. - это все лишнее. Кроме того там не сильно то и удобно смотреть данные с пачки разных хостов.

 

Поэтому вопрос такой. Посоветуйте нормальный Web GUI для отображения логов в реальном или близком к тому времени с поддержкой регулярок и фильтрации логов. Чтобы, к примеру, syslog-ng складывал логи в БД mysql, а гуй оттуда их вытаскивал и показывал в стиле tail -f | grep. Вот такая хотелка.

Share this post


Link to post
Share on other sites

Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо.

Share this post


Link to post
Share on other sites
7 часов назад, megahertz0 сказал:

syslog-ng складывал логи в БД mysql

ну так в чём проблема-то? у syslog-ng есть возможность складировать в mysql/postgresql/etc . веб-интерфейс - ну это уж смотря что вы искать собрались и т.д. 

 

саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin

Share this post


Link to post
Share on other sites
11 часов назад, saaremaa сказал:

Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо.

Так проблема не в хранении, а в удобном отображении...

9 часов назад, s.lobanov сказал:

саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin

Да можно и dbforge, просто не слишком удобно.

Share this post


Link to post
Share on other sites

У нас так: ELK+Grafana

2018-08-21_16-56-52.thumb.png.97ee52f8bece347877fe7596dce15b56.png

Edited by fox_m

Share this post


Link to post
Share on other sites

А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком?

Share this post


Link to post
Share on other sites
5 часов назад, megahertz0 сказал:

А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком?

Не, у нас на пару порядков меньше, соответственно ресурсов пока хватает.

Share this post


Link to post
Share on other sites

Посмотрите в сторону graylog, устанавливается легко, настраивается так же, очень гибкий. Принимает логи + настроены стримы с правилами, если нужное сообщение попало под правило, отсылается письмо на почту

image.thumb.png.59973e09f9c16d80c837976599aad90e.pngimage.thumb.png.7d63526f06a59827ad174f048e81525f.png

 

 

Date: 2018-09-01T12:18:09.727Z
Stream title: Loop detection
Stream description: Loop detection
##########
Last messages accounting for this alert: 
##########
Message: <134>Sep  1 15:18:02 172.16.107.73 INFO: Port 8 LBD port recovered. Loop detection restarted Source: 172.16.107.73
##########

 

Share this post


Link to post
Share on other sites

если просто отображение логов через веб-интерфейс (tail -f через веб) - log.io

 

Share this post


Link to post
Share on other sites

Splunk как вариант, правда коммерческий продукт

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now