Сбор мультристрочных логов

[skeletor]

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

[SergeiK]

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

Вроде, как ELK сейчас модно, но всерьез с ними не работал.

Splunk - коммерческая штука, но 500М логов в день было в бесплатной версии, точно умел.

[agr]

http://www.fluentd.org/

[s.lobanov]

Есть несколько web-серверов с php. Задача - собирать логи со всех серверов в один. Есть нюанс: встречаются мультистрочные логи, и, поэтому просто так слать по TCP/UDP - нельзя, так как можно напороться на не ту последовательность строк на приёмнике.

Смотрел в сторону rsyslog, он умеет multistring, но нужно использовать endmsg.regex, а его нельзя просто так написать, так как логи - это просто ошибки php и там может быть, что угодно.

Может кто-то знает нормальное решение для работы с multistring логами?

Спасибо.

 

Да, есть. На серверах с php собираете логи с помощью syslog-ng, затем по tcp пересылаете все логи на центральный сервер(а) тоже с syslog-ng. multistring он умеет

[skeletor]

Всем спасибо.

Остановился на kibana+logstash+elastic (уже было на одном сервере, поэтому направил логи в него)