1. Ваша система мониторинга

[FATHER_FBI]

так как хостов в нашей задаче очень много

 

А сколько хостов и сколько метрик в сумме снимаете, если не секрет?

 

У меня все сложно :).

Но, например, на одном виртуальном сервере (4VCPU, 12G RAM) два независимых заббикса 2.0. и БД под них.

На одном заббиксе 6,5K+ узлов и 460К параметров, 300+ значений в секунду и на другом почти 25К хостов и 420К параметров, 200 значений в секунду.

Значений в секунду не много, потому что многие параметры опрашиваются не часто, да и параметров не сильно много, но много внешних скриптов.

 

6500 узлов?? 25000 узлов??? И все это вместилось на 4 vCPU и 12 vRAM?? Что-то мало верится.

[SergeiK]

так как хостов в нашей задаче очень много

А сколько хостов и сколько метрик в сумме снимаете, если не секрет?

У меня все сложно :).

Но, например, на одном виртуальном сервере (4VCPU, 12G RAM) два независимых заббикса 2.0. и БД под них.

На одном заббиксе 6,5K+ узлов и 460К параметров, 300+ значений в секунду и на другом почти 25К хостов и 420К параметров, 200 значений в секунду.

Значений в секунду не много, потому что многие параметры опрашиваются не часто, да и параметров не сильно много, но много внешних скриптов.

6500 узлов?? 25000 узлов??? И все это вместилось на 4 vCPU и 12 vRAM?? Что-то мало верится.

Я не заставляю вас мне верить. :).

В другом треде про заббикс писал про ключевые моменты, которые сильно помогают с производительностью системы.

[FATHER_FBI]

так как хостов в нашей задаче очень много

А сколько хостов и сколько метрик в сумме снимаете, если не секрет?

У меня все сложно :).

Но, например, на одном виртуальном сервере (4VCPU, 12G RAM) два независимых заббикса 2.0. и БД под них.

На одном заббиксе 6,5K+ узлов и 460К параметров, 300+ значений в секунду и на другом почти 25К хостов и 420К параметров, 200 значений в секунду.

Значений в секунду не много, потому что многие параметры опрашиваются не часто, да и параметров не сильно много, но много внешних скриптов.

6500 узлов?? 25000 узлов??? И все это вместилось на 4 vCPU и 12 vRAM?? Что-то мало верится.

Я не заставляю вас мне верить. :).

В другом треде про заббикс писал про ключевые моменты, которые сильно помогают с производительностью системы.

Поделитесь ссылкой, а то у меня забиск состоит из 800 устройств, 146к элементов данных, все это жрет 3vCPU, 12vRAM и до 5000 IOPS на диске

[Negator]

Значение в секунду сколько?

[xcme]

Поделитесь ссылкой, а то у меня забиск состоит из 800 устройств, 146к элементов данных, все это жрет 3vCPU, 12vRAM и до 5000 IOPS на диске

А все ли, что вы отправляете в заббикс, должно находиться именно там? Я Rx/Tx/Rx CRC скидываю в Graphite с кешем в памяти, а это около 270к метрик. Заббиксу уже легче.

К тому же в нем только ядро, агрегация и сервера, а доступ мониторится отдельно. Если вообще все туда скидывать, конечно будут проблемы, но зачем?

[FATHER_FBI]

Значение в секунду сколько?

новые значения в секунду	200.4

[Negator]

ну это совсем не много.

У меня около 300 новых значений в секунду. Все крутится на каком то стареньком ксеоне с 4 гб памяти. И на этом сервере еще много всего.

Советую оптимизировать базу и настроить партицирование.

[FATHER_FBI]

ну это совсем не много.

У меня около 300 новых значений в секунду. Все крутится на каком то стареньком ксеоне с 4 гб памяти. И на этом сервере еще много всего.

Советую оптимизировать базу и настроить партицирование.

 

Где можно почитать за оптимизацию базы?

[Negator]

https://www.google.ru/search?q=google&oq=goo&aqs=chrome.0.0j69i60l3j69i57j0.3634j0j4&sourceid=chrome&es_sm=93&ie=UTF-8#newwindow=1&q=zabbix+%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F+%D0%B1%D0%B0%D0%B7%D1%8B

[FATHER_FBI]

https://www.google.ru/search?q=google&oq=goo&aqs=chrome.0.0j69i60l3j69i57j0.3634j0j4&sourceid=chrome&es_sm=93&ie=UTF-8#newwindow=1&q=zabbix+%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F+%D0%B1%D0%B0%D0%B7%D1%8B

 

Вот почему когда человек просил линк на конкретную статью, его посылают в гугл?

[SergeiK]

Поделитесь ссылкой, а то у меня забиск состоит из 800 устройств, 146к элементов данных, все это жрет 3vCPU, 12vRAM и до 5000 IOPS на диске

 

А все ли, что вы отправляете в заббикс, должно находиться именно там? Я Rx/Tx/Rx CRC скидываю в Graphite с кешем в памяти, а это около 270к метрик. Заббиксу уже легче.

К тому же в нем только ядро, агрегация и сервера, а доступ мониторится отдельно. Если вообще все туда скидывать, конечно будут проблемы, но зачем?

 

Коллеги уже подсказали, но ссылка вот.

Ну и тюнить MySQL, конечно, но, сейчас практически достаточно дать innobd память.

[SergeiK]

https://www.google.ru/search?q=google&oq=goo&aqs=chrome.0.0j69i60l3j69i57j0.3634j0j4&sourceid=chrome&es_sm=93&ie=UTF-8#newwindow=1&q=zabbix+%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F+%D0%B1%D0%B0%D0%B7%D1%8B

 

Вот почему когда человек просил линк на конкретную статью, его посылают в гугл?

 

Вот линк для заббикс 1.8, но суть не изменилась.

У меня немного короче, events-ы не партировал, на нее несколько foreign keys, не стал курочить, да и объемы там не столь велики, если триггеров не очень много или срабатывают они не слишком часто.

Саму процедуру потом тоже переписал, она может быть написана на чем угодно.

 

Вот описание установки достаточно производительной системы

 

Или вот решение совсем простое!

Не столь производительное, как partitioning, зато никаких процедур и смены индексов.

Изменено 31 мая, 2015 пользователем SergeiK

[FATHER_FBI]

Я забыл про один важный момент рассказать. База у меня тюниная вместе с забиксом, хаускипер настроен на 2 дня так что по сути размер базы маленький, примерно 4гига.

[SergeiK]

Я забыл про один важный момент рассказать. База у меня тюниная вместе с забиксом, хаускипер настроен на 2 дня так что по сути размер базы маленький, примерно 4гига.

Дело не в столько объеме БД, сколько в алгоритме удаления старых данных в Заббиксе.

Заббиксовый хаускипер - зло, которое надо выключать, по меньшей мере для истории и трендов, если у вас больше 10000 (примерно) items.

Отключите его на день и посмотрите, насколько упадет утилизация системы.

[FATHER_FBI]

Проанализировал работу БД, забрал пару гигабайт у забикса и отдал его под нужны БД. Вот в итоге какой результат

CPU

 

Буду наблюдать дальше

 

P.S. Какое количество пуллеров вы прописываете в конфиге?

Изменено 31 мая, 2015 пользователем FATHER_FBI

[Dude2012]

Где 10-Strike LANState? эта www.10-strike.com/rus/lanstate/

Поудобнее Dude будет. Карту, может, и кривовато рисует иногда, зато мониторинг на 146% работает :) Юзаю еще с тех времен, как FPinger обновляться перестал. За 10 лет LANstate многими удобными ништяками оброс. Добавьте в список тоже

[FATHER_FBI]

Где 10-Strike LANState? эта www.10-strike.com/rus/lanstate/

Поудобнее Dude будет. Карту, может, и кривовато рисует иногда, зато мониторинг на 146% работает :) Юзаю еще с тех времен, как FPinger обновляться перестал. За 10 лет LANstate многими удобными ништяками оброс. Добавьте в список тоже

Не думаю что она сможет отмониторить хотя бы пару сотен свичей. И в данной тебе обсуждаются серверные решения а не десктопные.

[Dude2012]

FATHER_FBI

Этой софтиной в одной из областей МТС мониторит 15 000 своих свичей и другого телекома - вольтажи, децибеллы, температуру и загрузку каналов :) Пара сотен это вообще ни о чём. Для сервера, если карта не нужна, то "Мониторинг Сети" есть от них же (описание). Сам не пробовал, но пишут, что движок вроде тот же, ток в службу завёрнут.

[EShirokiy]

Товарищи, простите за холиварный вопрос, но что функциональнее Cacti или Zabbix. Где нибудь можно посмотреть на работу Cacti в демо-режиме?

[Dimka88]

но что функциональнее Cacti или Zabbix

Zabbix будет по-функциональнее, там столько для меня ненужной хрени. Кактус тоже в принципе устраивает, сеть с 1-1.5к управляемых коммутаторов жуют оба. У нас так эти 2 зверя и остались жить, хотя переходили на zabbix.

 

Где нибудь можно посмотреть на работу Cacti в демо-режиме?

Тут нечто похожее demo.odmon.com

Изменено 17 августа, 2015 пользователем Dimka88

[SergeiK]

Товарищи, простите за холиварный вопрос, но что функциональнее Cacti или Zabbix. Где нибудь можно посмотреть на работу Cacti в демо-режиме?

А что вы хотите получить от системы?

[npokypop]

Коллеги, поделитесь опытом.

Нужен мониторинг сети WLAN (оборудование Mikrotik). Сеть в несколько сотен абонентов, и десяток БС. Мониторинг уровней сигнала, пинг, потери.

Дальнейшее развитие уйдет в GPON, оборудование предполагается использовать BDCOM. Абонентов до 1к. Мониторинг уровней сигнала, пинг, потери.

 

Кто какую систему мониторинга использует в таких задачах ?

[EShirokiy]

Zabbix будет по-функциональнее, там столько для меня ненужной хрени. Кактус тоже в принципе устраивает, сеть с 1-1.5к управляемых коммутаторов жуют оба. У нас так эти 2 зверя и остались жить, хотя переходили на zabbix.

Сейчас заббикс стоит, в принципе нормальная система, но местами какая то топорная.

 

А что вы хотите получить от системы?

Графики (нагрузки каналов), различные параметры по SNMP, пинговалка, глобал сислог. Сейчас используется заббикс, пинговалка + сбор и парсер логов.

Кто нибудь знает, как вывести на в панели/триггерах/событиях IP устройств?

[Dimka88]

Графики (нагрузки каналов), различные параметры по SNMP, пинговалка, глобал сислог

У cacti все это есть, и функционирует на достойном уровне.

[SergeiK]

Zabbix будет по-функциональнее, там столько для меня ненужной хрени. Кактус тоже в принципе устраивает, сеть с 1-1.5к управляемых коммутаторов жуют оба. У нас так эти 2 зверя и остались жить, хотя переходили на zabbix.

Сейчас заббикс стоит, в принципе нормальная система, но местами какая то топорная.

 

А что вы хотите получить от системы?

Графики (нагрузки каналов), различные параметры по SNMP, пинговалка, глобал сислог. Сейчас используется заббикс, пинговалка + сбор и парсер логов.

Кто нибудь знает, как вывести на в панели/триггерах/событиях IP устройств?

Если по конкретным устройствам - лучше всего нарисовать карту, состояние устройства и, если триггер один, будут показываться на карте.

Если нарисовать линки, можно привязать конкретные триггеры к линку.

Потом уже эту карту можно выводить на экране.

А вот есть нужны события по пачке хостов - лучше взять таблицу триггеров по группе.

 

С какти не доводилось работать, сравнивать не могу.

 

Пинговалкой забикс работает отлично. Логи собирать тоже умеет, хранит в базе, умеет поднимать триггеры по событиям, в том числе и сложные.

У заббикса сильные инструменты обнаружения, как отдельных хостов, так и разных сущностей хоста.

У него есть API, что позволяет интегрировать мониторинг с другими системами работы с инфраструктурой.

 

Но вся история и числовые тренды в БД, в одной таблице, что создает отдельные проблемы при значительном количестве хостов.

Проблемы имеют решение, но уже не "из коробки", хотя ничего исключительного.