Сбор логов и отображение в реальном времени

[megahertz0]

Привет!

Есть вот какой вопрос. Сейчас собираем логи через syslog-ng и складываем их в файлики на виртауалке, по каталогу на каждый хост. Все работает, все хорошо. Но хотелось бы иметь к этому хозяйству веб-интерфейс. Есть Loganalyzer, но он как-то не очень если надо грепнуть большой объем логов с разных железок или серверов.

Сразу отмечу, что ELK это не совсем то что надо, хотя мы и пробовали на нем сидеть. Он во-первых сильно тяжеловесный для наших задач - индексирование Elasticsearch, сама Kibana и т.д. жрет неслабо ресурсов. Индексирование логов на лету, сбор метрик по ним и и т.д. - это все лишнее. Кроме того там не сильно то и удобно смотреть данные с пачки разных хостов.

 

Поэтому вопрос такой. Посоветуйте нормальный Web GUI для отображения логов в реальном или близком к тому времени с поддержкой регулярок и фильтрации логов. Чтобы, к примеру, syslog-ng складывал логи в БД mysql, а гуй оттуда их вытаскивал и показывал в стиле tail -f | grep. Вот такая хотелка.

[saaremaa]

Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо.

[s.lobanov]

7 часов назад, megahertz0 сказал:

syslog-ng складывал логи в БД mysql

ну так в чём проблема-то? у syslog-ng есть возможность складировать в mysql/postgresql/etc . веб-интерфейс - ну это уж смотря что вы искать собрались и т.д. 

 

саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin

[megahertz0]

11 часов назад, saaremaa сказал:

Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо.

Так проблема не в хранении, а в удобном отображении...

9 часов назад, s.lobanov сказал:

саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin

Да можно и dbforge, просто не слишком удобно.

[fox_m]

У нас так: ELK+Grafana

Edited August 21, 2018 by fox_m

[megahertz0]

А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком?

[fox_m]

5 часов назад, megahertz0 сказал:

А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком?

Не, у нас на пару порядков меньше, соответственно ресурсов пока хватает.

[FATHER_FBI]

Посмотрите в сторону graylog, устанавливается легко, настраивается так же, очень гибкий. Принимает логи + настроены стримы с правилами, если нужное сообщение попало под правило, отсылается письмо на почту

 

 

Date: 2018-09-01T12:18:09.727Z
Stream title: Loop detection
Stream description: Loop detection
##########
Last messages accounting for this alert: 
##########
Message: <134>Sep  1 15:18:02 172.16.107.73 INFO: Port 8 LBD port recovered. Loop detection restarted Source: 172.16.107.73
##########

 

[rover-lt]

если просто отображение логов через веб-интерфейс (tail -f через веб) - log.io

 

[Andrey]

Splunk как вариант, правда коммерческий продукт