alibek Опубликовано 28 апреля, 2021 · Жалоба Имеется самописная система мониторинга (многопоточный скрипт на perl, который берет данные и и схему подключения из UserSide и генерирует html, и выборочно рисует графики по данным RRD). Надоело его улучшать и доводить до ума. Хочу готовое и из коробки. Не посоветуете, что смотреть? Ранее вроде бы Заббикс считался более-менее удобным для использования и кастомизации? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
StSphinx Опубликовано 28 апреля, 2021 · Жалоба 1 час назад, alibek сказал: Имеется самописная система мониторинга (многопоточный скрипт на perl, который берет данные и и схему подключения из UserSide и генерирует html, и выборочно рисует графики по данным RRD). Надоело его улучшать и доводить до ума. Хочу готовое и из коробки. Не посоветуете, что смотреть? Ранее вроде бы Заббикс считался более-менее удобным для использования и кастомизации? Он и сейчас неплох. Но схемы рисовать точно не им. А вот мониторинг - да. Если руки приложить. Как минимум шаблоны из-коробки, для популярного на вашей сети оборудования, придется править. Дефолтные значения, зачастую не гуманны и ведут к быстрому "засиранию" базы. Можно так же мониторить с помощью Zabbix, а графики рисовать в Grafana, что дает дополнительную гибкость в визуализации. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 28 апреля, 2021 · Жалоба А кроме Заббикса есть что-то интересное? Вроде бы Яндекс что-то на базе Заббикса делал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lugoblin Опубликовано 28 апреля, 2021 · Жалоба 6 hours ago, alibek said: А кроме Заббикса есть что-то интересное? Munin. Смотрит на текущее использование ресурсов и рисует графики искаропки. Сам неплохо ориентируется, у кого что мониторить. Nagios/Icinga. Следит за текущими параметрами и их нахождении в ожидаемом коридоре. Графики так себе, хорошо справляется с алертами. Весьма гибок в настройке, но изначально разобраться сложновато (мне так в своё время показалось). Smokeping. Не столько про мониторинг хостов, сколько про историю отклика сервисов. Время прохождения эха aka пинг, джиттер, потеря пакетов, время отклика сервиса и т.д. Собственно, для меня эти трое комплиментарны между собой и составляют базовое решение. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 28 апреля, 2021 · Жалоба Munin я смотрел ранее, понравилось, что куча шаблонов уже есть и новые добавляются легко. Не понравилось, что не очень хорошо масштабируется на больших объемах. А Smokeping у меня был в виде шаблона Cacti. Даже не знал, что он есть в виде отдельной утилиты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lugoblin Опубликовано 29 апреля, 2021 · Жалоба 4 hours ago, alibek said: Не понравилось, что не очень хорошо масштабируется на больших объемах. Да его приходится курощать на предмет обработки собранных данных и генерации графиков и страничек HTML, а то иногда он уходит в себя. В моём случае это оказалось не слишком критично, поскольку вместо одного большого проекта с тысячами серверов, у меня куча малых с однотипной инфраструктурой. Это мне позволяет масштабировать мониторинг горизонтально. Тупо отдельный инстанс на каждый проект, по единому шаблону. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sacrament Опубликовано 29 апреля, 2021 · Жалоба https://prometheus.io/ - сейчас модно) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 29 апреля, 2021 · Жалоба Посмотрю, спасибо. Но опыт подсказывает, что к "модно, стильно, молодежно" нужно добавлять "недолго". А затем менять на "старомодно". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sacrament Опубликовано 29 апреля, 2021 · Жалоба Ну если надолго и надежно - заббикс всем хорош. Только советую сразу партицирование для базы с нуля сделать, а то потом на большой базе на него переезжать может быть больно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
VolanD666 Опубликовано 29 апреля, 2021 · Жалоба Мне кажется тут дело вкуса, систем реально много. Лично я не понимаю интерфейс Заббикса, настолько он нелогичен для меня. Посмотрите в сторону NetXMS, там возможности большие (правда шаблонов поменьше), но интерфейс более логичный. Плюс можно разрабам прям написать в телегу, они подсказывают. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dr Tr0jan Опубликовано 29 апреля, 2021 · Жалоба 4 hours ago, Sacrament said: Только советую сразу партицирование для базы с нуля сделать, а то потом на большой базе на него переезжать может быть больно. И TimescaleDB сверху присыпать, красота будет! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 29 апреля, 2021 · Жалоба БД это больная тема. Сейчас в самодельной системе используется RRD и меня очень устраивает то, что БД всегда имеет фиксированный проблем и нет никаких проблем с производительностью, фрагментацией и прочим. А большая реляционная база, особенно если это MySQL или PostgreSQL, будет требовать постоянного обслуживания и внимания. Но удобных и развивающихся систем с RRD я не знаю. Да и с RRD оказалось, что окно в 5 лет не так уж и много. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 29 апреля, 2021 · Жалоба cacti вроде пилят... и работает. но пока смотрим в сторону telegraf -> influx -> graphana на вот на коммутатор поставить телеграф, понятно, не прокатит, надо всёравно собиралку гдето сбоку пускать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 29 апреля, 2021 (изменено) · Жалоба В 28.04.2021 в 13:03, alibek сказал: Имеется самописная система мониторинга (многопоточный скрипт на perl, который берет данные и и схему подключения из UserSide и генерирует html, и выборочно рисует графики по данным RRD). Надоело его улучшать и доводить до ума. Хочу готовое и из коробки. Не посоветуете, что смотреть? Ранее вроде бы Заббикс считался более-менее удобным для использования и кастомизации? 1)zabbix (с TSDB) + Grafana 2) Influxdb 2.0 (https://www.influxdata.com/blog/influxdb-2-0-open-source-is-generally-available/) Изменено 29 апреля, 2021 пользователем roysbike Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 30 апреля, 2021 · Жалоба Influx это что-то довольно масштабное. Пока что больше всего нравится предложенный Zabbix с TSDB и Grafana в качестве визуализатора (а то уж больно в Заббиксе графики убогие, в Какти и то лучше). 17 часов назад, st_re сказал: cacti вроде пилят... Сейчас он и используется (скрипт получает данные в rrd, cacti эти данные отображает). Но конструктор графиков/шаблонов там довольно неудобный и глючный. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 30 апреля, 2021 · Жалоба ну забикс надо таки готовить.. на больших количествах метрик вся эта развлекуха с партициоированием (это больше для удаления старых, чтобы не удалять старые записи и потом героически вакумить, просто дропается очередная таблица с очередным периодом), диски очень желательно ССД (причём не столько для записи, сколь для чтения, писать оно успевало довольно много даже на сата с мдрейдом, но вот показать все порты коммутатора с суточным трафиком с САС с нормальным контроллером и батарейкой всеравно... зайдите через 15 минут , поваторный показ отдаётся из кеша и быстро, но первый.. :)) отсутствие времени на seek на ssd сильно ускоряет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
wed Опубликовано 30 апреля, 2021 · Жалоба Я собрал так: импорт из UserSide в mysql, через api. https://github.com/xcme/briseis Сборщик данных по snmp в графит. https://linux96.ru/index.php/30-graphite-based-monitoring принимает на вход/выход данные графита, хранит в БД clickhouse. Grafana - отображает из того же графита все данные. Опрос всех свичей раз в минуту. По скорости/размерам - все устраивает. Кнопки прикрутил на UserSide на порты, для перехода сразу на график загрузки порта. Из недостатков - нет алярмов, нет веба. Удобно только в ограниченном варианте - для мониторинга коммутаторов. . Из достоинств - настроил один раз и забыл. Единственное когда надо возвращаться - когда новая модель коммутатора появится, чтобы добавить в briseis. Заббикс на таких объёмах гораздо хуже себя чувствует. Сlickhouse работает на древних не сильно быстрых хардах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rover-lt Опубликовано 5 мая, 2021 · Жалоба On 4/28/2021 at 1:03 PM, alibek said: ... Надоело его улучшать и доводить до ума. Хочу готовое и из коробки. ... Это бесконечный процесс. От софта/вендора не зависит. Опенсорс адепты описывают кучи возможностей коммерческие вендоры сулят охулионные сокращения издержек все кричат о технологичности. по факту объем работ по приведению в божеский вид одинаков. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 6 мая, 2021 · Жалоба 14 часов назад, rover-lt сказал: Это бесконечный процесс. От софта/вендора не зависит. ... по факту объем работ по приведению в божеский вид одинаков. Так и есть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
neperpbl3 Опубликовано 7 апреля, 2023 (изменено) · Жалоба Zabbix - универсальный и популярный. Своего рода комбайн - в него все включено (аварии, графики). По качеству прорисовки графиков zabbix уступает Cacti. Cacti - заточена под графики с оповещением при изменении порогов. На мой взгляд лучший выбор по построению графиков. 6 тыс. графиков в cacti занимает на диске всего не более 10 Гбайт. К примеру у zabbix графики занимают гораздо больше места на диске и у zabbix для дневного периода графики сглажены, а у Cacti четкие и детальные. Nagios - легкая и функциональная система мониторинга состояний (ок, авария легкая, авария критичная, неизвестно). Система очень простая и легковесная. Простой формат TXT конфигураций. Не использует базу данных. Можно завести тысячи хостов и сервисов и это почти не грузит ОС. Занимает мало места. Много разнообразных готовых плагинов. Можно быстро создавать свои плагины. Удобное табло Nagstamon. Работает как автомат Калашников. Есть вывод статистики в виде диаграммы. Однако, в Nagios нет графиков. Существует сторонний плагин PNP4, но это в своем роде колхоз. Лучше для графиков дополнительно использовать профессиональные системы Cacti или Grafana. Самописная - под задачи. Я использую связку Nagios + Cacti. Но многие успешно используют одну систему Zabbix. Изменено 7 апреля, 2023 пользователем neperpbl3 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
wed Опубликовано 9 апреля, 2023 · Жалоба Посмотрите в сторону форка заббикса - glaber. Это заббикс у которого БД - clickhouse. Работает на порядок быстрее нативного заббикса. Я с своей полусамописной сборки (snmp poller+clickhouse+grafana) ушел в сторону glaber. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 21 апреля, 2023 · Жалоба В 09.04.2023 в 07:50, wed сказал: Посмотрите в сторону форка заббикса - glaber. Это заббикс у которого БД - clickhouse. Работает на порядок быстрее нативного заббикса. Я с своей полусамописной сборки (snmp poller+clickhouse+grafana) ушел в сторону glaber. Я тоже плюсую за джва года графики нормально смотрятся 🙂 не то что за мес Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 24 апреля, 2023 · Жалоба В 09.04.2023 в 12:50, wed сказал: Посмотрите в сторону форка заббикса - glaber. Это заббикс у которого БД - clickhouse. У вас сколько метрик и сколько они на диске в итоге места занимают? Сейчас используется заббикс + timscaledb, но интересно что еще можно сделать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
wed Опубликовано 24 апреля, 2023 · Жалоба Мы с timscaledb переезжали. По месту выигрыша почти не было. Но в скорости работы очень даже. timscaledb генерил график около минуты, а clickhouse секунду. Выигрыш по месту только за счет задержки сжатия данных timscaledb. Именно в сжатом виде clickhouse и timscaledb не очень сильно отличались по месту. Вы попробуйте просто. Бекап, поставить вместо заббикса глабер, настроить кликхаус, перелить БД истории и трендов (это долго, я около дня ждал) и все. Скриптами перелива в ЛК поделюсь. Остальная БД родная. api родное. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sacrament Опубликовано 25 апреля, 2023 · Жалоба Цитата Вы попробуйте просто. Бекап, поставить вместо заббикса глабер, настроить кликхаус, перелить БД истории и трендов (это долго, я около дня ждал) и все. Скриптами перелива в ЛК поделюсь. Остальная БД родная. api родное. Поделитесь со мной тоже скриптами пожалуйста. Хочется попробовать перейти на clickhouse Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...