megahertz0 Posted August 20, 2018 Привет! Есть вот какой вопрос. Сейчас собираем логи через syslog-ng и складываем их в файлики на виртауалке, по каталогу на каждый хост. Все работает, все хорошо. Но хотелось бы иметь к этому хозяйству веб-интерфейс. Есть Loganalyzer, но он как-то не очень если надо грепнуть большой объем логов с разных железок или серверов. Сразу отмечу, что ELK это не совсем то что надо, хотя мы и пробовали на нем сидеть. Он во-первых сильно тяжеловесный для наших задач - индексирование Elasticsearch, сама Kibana и т.д. жрет неслабо ресурсов. Индексирование логов на лету, сбор метрик по ним и и т.д. - это все лишнее. Кроме того там не сильно то и удобно смотреть данные с пачки разных хостов. Поэтому вопрос такой. Посоветуйте нормальный Web GUI для отображения логов в реальном или близком к тому времени с поддержкой регулярок и фильтрации логов. Чтобы, к примеру, syslog-ng складывал логи в БД mysql, а гуй оттуда их вытаскивал и показывал в стиле tail -f | grep. Вот такая хотелка. Share this post Link to post Share on other sites More sharing options...
saaremaa Posted August 20, 2018 Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо. Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted August 20, 2018 7 часов назад, megahertz0 сказал: syslog-ng складывал логи в БД mysql ну так в чём проблема-то? у syslog-ng есть возможность складировать в mysql/postgresql/etc . веб-интерфейс - ну это уж смотря что вы искать собрались и т.д. саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin Share this post Link to post Share on other sites More sharing options...
megahertz0 Posted August 21, 2018 11 часов назад, saaremaa сказал: Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо. Так проблема не в хранении, а в удобном отображении... 9 часов назад, s.lobanov сказал: саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin Да можно и dbforge, просто не слишком удобно. Share this post Link to post Share on other sites More sharing options...
fox_m Posted August 21, 2018 (edited) У нас так: ELK+Grafana Edited August 21, 2018 by fox_m Share this post Link to post Share on other sites More sharing options...
megahertz0 Posted August 23, 2018 А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком? Share this post Link to post Share on other sites More sharing options...
fox_m Posted August 23, 2018 5 часов назад, megahertz0 сказал: А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком? Не, у нас на пару порядков меньше, соответственно ресурсов пока хватает. Share this post Link to post Share on other sites More sharing options...
FATHER_FBI Posted September 1, 2018 Посмотрите в сторону graylog, устанавливается легко, настраивается так же, очень гибкий. Принимает логи + настроены стримы с правилами, если нужное сообщение попало под правило, отсылается письмо на почту Date: 2018-09-01T12:18:09.727Z Stream title: Loop detection Stream description: Loop detection ########## Last messages accounting for this alert: ########## Message: <134>Sep 1 15:18:02 172.16.107.73 INFO: Port 8 LBD port recovered. Loop detection restarted Source: 172.16.107.73 ########## Share this post Link to post Share on other sites More sharing options...
rover-lt Posted September 2, 2018 если просто отображение логов через веб-интерфейс (tail -f через веб) - log.io Share this post Link to post Share on other sites More sharing options...
Andrey Posted September 3, 2018 Splunk как вариант, правда коммерческий продукт Share this post Link to post Share on other sites More sharing options...
