Система мониторинга

[alibek]

Имеется самописная система мониторинга (многопоточный скрипт на perl, который берет данные и и схему подключения из UserSide и генерирует html, и выборочно рисует графики по данным RRD).

Надоело его улучшать и доводить до ума. Хочу готовое и из коробки.

Не посоветуете, что смотреть?

Ранее вроде бы Заббикс считался более-менее удобным для использования и кастомизации?

[StSphinx]

1 час назад, alibek сказал:

Имеется самописная система мониторинга (многопоточный скрипт на perl, который берет данные и и схему подключения из UserSide и генерирует html, и выборочно рисует графики по данным RRD).

Надоело его улучшать и доводить до ума. Хочу готовое и из коробки.

Не посоветуете, что смотреть?

Ранее вроде бы Заббикс считался более-менее удобным для использования и кастомизации?

Он и сейчас неплох. Но схемы рисовать точно не им. А вот мониторинг - да. Если руки приложить. Как минимум шаблоны из-коробки, для популярного на вашей сети оборудования, придется править. Дефолтные значения, зачастую не гуманны и ведут к быстрому "засиранию" базы.

Можно так же мониторить с помощью Zabbix, а графики рисовать в Grafana, что дает дополнительную гибкость в визуализации.

[alibek]

А кроме Заббикса есть что-то интересное? Вроде бы Яндекс что-то на базе Заббикса делал.

[lugoblin]

6 hours ago, alibek said:

А кроме Заббикса есть что-то интересное?

Munin. Смотрит на текущее использование ресурсов и рисует графики искаропки. Сам неплохо ориентируется, у кого что мониторить.

Nagios/Icinga. Следит за текущими параметрами и их нахождении в ожидаемом коридоре. Графики так себе, хорошо справляется с алертами. Весьма гибок в настройке, но изначально разобраться сложновато (мне так в своё время показалось).

Smokeping. Не столько про мониторинг хостов, сколько про историю отклика сервисов. Время прохождения эха aka пинг, джиттер, потеря пакетов, время отклика сервиса и т.д.

 

Собственно, для меня эти трое комплиментарны между собой и составляют базовое решение.

 

[alibek]

Munin я смотрел ранее, понравилось, что куча шаблонов уже есть и новые добавляются легко. Не понравилось, что не очень хорошо масштабируется на больших объемах.

А Smokeping у меня был в виде шаблона Cacti. Даже не знал, что он есть в виде отдельной утилиты.

[lugoblin]

4 hours ago, alibek said:

Не понравилось, что не очень хорошо масштабируется на больших объемах.

Да его приходится курощать на предмет обработки собранных данных и генерации графиков и страничек HTML, а то иногда он уходит в себя.

В моём случае это оказалось не слишком критично, поскольку вместо одного большого проекта с тысячами серверов, у меня куча малых с однотипной инфраструктурой. Это мне позволяет масштабировать мониторинг горизонтально. Тупо отдельный инстанс на каждый проект, по единому шаблону.

[Sacrament]

https://prometheus.io/ - сейчас модно)

[alibek]

Посмотрю, спасибо.

Но опыт подсказывает, что к "модно, стильно, молодежно" нужно добавлять "недолго". А затем менять на "старомодно".

[Sacrament]

Ну если надолго и надежно - заббикс всем хорош. Только советую сразу партицирование для базы с нуля сделать, а то потом на большой базе на него переезжать может быть больно.

[VolanD666]

Мне кажется тут дело вкуса, систем реально много. Лично я не понимаю  интерфейс Заббикса, настолько он нелогичен для меня. Посмотрите в сторону NetXMS, там возможности большие (правда шаблонов поменьше), но интерфейс более логичный. Плюс можно разрабам прям написать в телегу, они подсказывают.

[dr Tr0jan]

4 hours ago, Sacrament said:

Только советую сразу партицирование для базы с нуля сделать, а то потом на большой базе на него переезжать может быть больно.

И TimescaleDB сверху присыпать, красота будет!

[alibek]

БД это больная тема.

Сейчас в самодельной системе используется RRD и меня очень устраивает то, что БД всегда имеет фиксированный проблем и нет никаких проблем с производительностью, фрагментацией и прочим.

А большая реляционная база, особенно если это MySQL или PostgreSQL, будет требовать постоянного обслуживания и внимания.

Но удобных и развивающихся систем с RRD я не знаю.

Да и с RRD оказалось, что окно в 5 лет не так уж и много.

[st_re]

cacti вроде пилят... и работает.

 

но пока смотрим в сторону telegraf -> influx -> graphana

на вот на коммутатор поставить телеграф, понятно, не прокатит, надо всёравно собиралку гдето сбоку пускать.

 

[roysbike]

В 28.04.2021 в 13:03, alibek сказал:

Имеется самописная система мониторинга (многопоточный скрипт на perl, который берет данные и и схему подключения из UserSide и генерирует html, и выборочно рисует графики по данным RRD).

Надоело его улучшать и доводить до ума. Хочу готовое и из коробки.

Не посоветуете, что смотреть?

Ранее вроде бы Заббикс считался более-менее удобным для использования и кастомизации?

1)zabbix (с TSDB) + Grafana 

2) Influxdb 2.0 (https://www.influxdata.com/blog/influxdb-2-0-open-source-is-generally-available/)

Edited April 29, 2021 by roysbike

[alibek]

Influx это что-то довольно масштабное.

Пока что больше всего нравится предложенный Zabbix с TSDB и Grafana в качестве визуализатора (а то уж больно в Заббиксе графики убогие, в Какти и то лучше).

 

17 часов назад, st_re сказал:

cacti вроде пилят...

Сейчас он и используется (скрипт получает данные в rrd, cacti эти данные отображает).

Но конструктор графиков/шаблонов там довольно неудобный и глючный.

[st_re]

ну забикс надо таки готовить.. на больших количествах метрик вся эта развлекуха с  партициоированием (это больше для удаления старых, чтобы не удалять старые записи и потом героически вакумить, просто дропается очередная таблица с очередным периодом), диски очень желательно  ССД (причём не столько для записи, сколь для чтения, писать оно успевало довольно много даже на сата с мдрейдом, но вот показать все порты коммутатора с суточным трафиком с САС с нормальным контроллером и батарейкой всеравно... зайдите через 15 минут , поваторный показ отдаётся из кеша и быстро, но первый.. :)) отсутствие времени на seek на ssd сильно ускоряет.

[wed]

Я собрал так: импорт из UserSide  в mysql, через api. 

https://github.com/xcme/briseis Сборщик данных по snmp в графит. 

https://linux96.ru/index.php/30-graphite-based-monitoring принимает на вход/выход данные графита, хранит в БД clickhouse.

Grafana - отображает из того же графита все данные. 

Опрос всех свичей раз в минуту. По скорости/размерам - все устраивает. Кнопки прикрутил на UserSide  на порты, для перехода сразу на график загрузки порта. 

Из недостатков - нет алярмов, нет веба. Удобно только в ограниченном варианте -  для мониторинга коммутаторов. . Из достоинств - настроил один раз и забыл. Единственное когда надо возвращаться - когда новая модель коммутатора появится, чтобы добавить в briseis. 

Заббикс на таких объёмах гораздо хуже себя чувствует. Сlickhouse работает на древних не сильно быстрых хардах. 

 

[rover-lt]

On 4/28/2021 at 1:03 PM, alibek said:

...

Надоело его улучшать и доводить до ума. Хочу готовое и из коробки.

...

 

Это бесконечный процесс. От софта/вендора не зависит. 
Опенсорс адепты описывают кучи возможностей

коммерческие вендоры сулят охулионные сокращения издержек

все кричат о технологичности. 

по факту объем работ по приведению в божеский вид одинаков. 

[pppoetest]

14 часов назад, rover-lt сказал:

Это бесконечный процесс. От софта/вендора не зависит. 

...

по факту объем работ по приведению в божеский вид одинаков. 

Так и есть.

[neperpbl3]

Zabbix - универсальный и популярный. Своего рода комбайн - в него все включено (аварии, графики). По качеству прорисовки графиков zabbix уступает Cacti.

 

Cacti - заточена под графики с оповещением при изменении порогов. На мой взгляд лучший выбор по построению графиков. 6 тыс. графиков в cacti занимает на диске всего не более 10 Гбайт. К примеру у zabbix графики занимают гораздо больше места на диске и у zabbix для дневного периода графики сглажены, а у Cacti четкие и детальные.

 

Nagios - легкая и функциональная система мониторинга состояний (ок, авария легкая, авария критичная, неизвестно). Система очень простая и легковесная. Простой формат TXT конфигураций. Не использует базу данных. Можно завести тысячи хостов и сервисов и это почти не грузит ОС.  Занимает мало места. Много разнообразных готовых плагинов. Можно быстро создавать свои плагины. Удобное табло Nagstamon. Работает как автомат Калашников. Есть вывод статистики в виде диаграммы. Однако, в Nagios нет графиков. Существует сторонний плагин PNP4, но это в своем роде колхоз. Лучше для графиков дополнительно использовать профессиональные системы Cacti или Grafana.

 

Самописная - под задачи. 
 

Я использую связку Nagios + Cacti. Но многие успешно используют одну систему Zabbix.

 

Edited April 7, 2023 by neperpbl3

[wed]

Посмотрите в сторону форка заббикса - glaber. Это заббикс у которого БД - clickhouse. 

Работает на порядок быстрее нативного заббикса.

Я с своей полусамописной сборки  (snmp poller+clickhouse+grafana) ушел в сторону glaber. 

[sirmax]

В 09.04.2023 в 07:50, wed сказал:

Посмотрите в сторону форка заббикса - glaber. Это заббикс у которого БД - clickhouse. 

Работает на порядок быстрее нативного заббикса.

Я с своей полусамописной сборки  (snmp poller+clickhouse+grafana) ушел в сторону glaber. 

Я тоже

плюсую

 

за джва года графики нормально смотрятся 🙂 не то что за мес

[taf_321]

В 09.04.2023 в 12:50, wed сказал:

Посмотрите в сторону форка заббикса - glaber. Это заббикс у которого БД - clickhouse. 

 

У вас сколько метрик и сколько они на диске в итоге места занимают? Сейчас используется заббикс + timscaledb, но интересно что еще можно сделать.

[wed]

Мы с timscaledb переезжали. По месту выигрыша почти не было. Но в скорости работы очень даже. timscaledb генерил график около минуты, а clickhouse секунду. 

Выигрыш по месту только за счет задержки сжатия данных timscaledb. 

Именно в сжатом виде clickhouse и timscaledb не очень сильно отличались по месту. 

 

Вы попробуйте просто. 

Бекап, поставить вместо заббикса глабер, настроить кликхаус, перелить БД истории и трендов (это долго, я около дня ждал) и все.  Скриптами перелива в ЛК поделюсь. 

Остальная БД родная. api родное. 

 

 

[Sacrament]

Цитата

 

Вы попробуйте просто. 

Бекап, поставить вместо заббикса глабер, настроить кликхаус, перелить БД истории и трендов (это долго, я около дня ждал) и все.  Скриптами перелива в ЛК поделюсь. 

Остальная БД родная. api родное. 

 

Поделитесь со мной тоже скриптами пожалуйста. Хочется попробовать перейти на clickhouse