megahertz0 Posted August 20, 2018 · Report post Привет! Есть вот какой вопрос. Сейчас собираем логи через syslog-ng и складываем их в файлики на виртауалке, по каталогу на каждый хост. Все работает, все хорошо. Но хотелось бы иметь к этому хозяйству веб-интерфейс. Есть Loganalyzer, но он как-то не очень если надо грепнуть большой объем логов с разных железок или серверов. Сразу отмечу, что ELK это не совсем то что надо, хотя мы и пробовали на нем сидеть. Он во-первых сильно тяжеловесный для наших задач - индексирование Elasticsearch, сама Kibana и т.д. жрет неслабо ресурсов. Индексирование логов на лету, сбор метрик по ним и и т.д. - это все лишнее. Кроме того там не сильно то и удобно смотреть данные с пачки разных хостов. Поэтому вопрос такой. Посоветуйте нормальный Web GUI для отображения логов в реальном или близком к тому времени с поддержкой регулярок и фильтрации логов. Чтобы, к примеру, syslog-ng складывал логи в БД mysql, а гуй оттуда их вытаскивал и показывал в стиле tail -f | grep. Вот такая хотелка. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
saaremaa Posted August 20, 2018 · Report post Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted August 20, 2018 · Report post 7 часов назад, megahertz0 сказал: syslog-ng складывал логи в БД mysql ну так в чём проблема-то? у syslog-ng есть возможность складировать в mysql/postgresql/etc . веб-интерфейс - ну это уж смотря что вы искать собрались и т.д. саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
megahertz0 Posted August 21, 2018 · Report post 11 часов назад, saaremaa сказал: Буквально сегодня думал как это все складывать в Clickhouse. У нас сейчас там храниться Netflow (своя разработка) - получилось неплохо. Так проблема не в хранении, а в удобном отображении... 9 часов назад, s.lobanov сказал: саппорту можно дать пару sql-запросов и искать прямо из web-sql-админки типа phpmyadmin Да можно и dbforge, просто не слишком удобно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
fox_m Posted August 21, 2018 (edited) · Report post У нас так: ELK+Grafana Edited August 21, 2018 by fox_m Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
megahertz0 Posted August 23, 2018 · Report post А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
fox_m Posted August 23, 2018 · Report post 5 часов назад, megahertz0 сказал: А сколько записей пишете? У нас в час прилетает где-то 50-60к записей. И как обстоят дела с поеданием ресурсов эластиком? Не, у нас на пару порядков меньше, соответственно ресурсов пока хватает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
FATHER_FBI Posted September 1, 2018 · Report post Посмотрите в сторону graylog, устанавливается легко, настраивается так же, очень гибкий. Принимает логи + настроены стримы с правилами, если нужное сообщение попало под правило, отсылается письмо на почту Date: 2018-09-01T12:18:09.727Z Stream title: Loop detection Stream description: Loop detection ########## Last messages accounting for this alert: ########## Message: <134>Sep 1 15:18:02 172.16.107.73 INFO: Port 8 LBD port recovered. Loop detection restarted Source: 172.16.107.73 ########## Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rover-lt Posted September 2, 2018 · Report post если просто отображение логов через веб-интерфейс (tail -f через веб) - log.io Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Andrey Posted September 3, 2018 · Report post Splunk как вариант, правда коммерческий продукт Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
