Перейти к содержимому
Калькуляторы

Сбор мультристрочных логов

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

Вроде, как ELK сейчас модно, но всерьез с ними не работал.

Splunk - коммерческая штука, но 500М логов в день было в бесплатной версии, точно умел.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

 

Да, есть. На серверах с php собираете логи с помощью syslog-ng, затем по tcp пересылаете все логи на центральный сервер(а) тоже с syslog-ng. multistring он умеет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем спасибо.

Остановился на kibana+logstash+elastic (уже было на одном сервере, поэтому направил логи в него)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.