Перейти к содержимому
Калькуляторы

Сбор мультристрочных логов

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

Вроде, как ELK сейчас модно, но всерьез с ними не работал.

Splunk - коммерческая штука, но 500М логов в день было в бесплатной версии, точно умел.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

 

Да, есть. На серверах с php собираете логи с помощью syslog-ng, затем по tcp пересылаете все логи на центральный сервер(а) тоже с syslog-ng. multistring он умеет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем спасибо.

Остановился на kibana+logstash+elastic (уже было на одном сервере, поэтому направил логи в него)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас