1. Ваша система мониторинга

[DAF]

Подконтрольные железки (все 3 десятка - Mikrotik) в одной подсети (через VLAN, или PPTP), telnet/winbox разрешены только с этих IP. Назначенный "главным" RB2011 периодически их пингует и если что SMS-ку шлет. The Dude надо попробовать, все руки не доходят SNMP настроить.

 

Кто имел с этим дело - прошу совета как настроить (может нюансы какие есть?). Несколько раз на WiKi офф.сайта пытался изучать - и каждый раз за чего-нибудь другое, более ИМХО важное в этот момент цеплялся :(

Изменено 5 января, 2015 пользователем DAF

[EShirokiy]

Приветствую, какую примерно машину надо собрать под заббикс? Будет мониторится порядка 200 хостов - ICMP и порядка 50 показаний по SNMP с каждого каждый час.

[taf_321]

По вашим данным выходит примерно 6 запросов в секунду (это если ICMP раз в минуту делать). Такую нагрузку даже атом прожует. С запасом можно что-то из i3, памяти гига 2 (лучше 4), и диск от 80 гигов и выше.

[SergeiK]

Приветствую, какую примерно машину надо собрать под заббикс? Будет мониторится порядка 200 хостов - ICMP и порядка 50 показаний по SNMP с каждого каждый час.

У заббикса (реально - у БД) в дефолте довольно ресурсоемкий housekeeper - процесс, который очищает старые данные из БД.

БД не любит фрагментарное удаление, и это создает высокую нагрузку. В вашем случае даже это не критично, но при дальнейшем росте системы может быть заметно.

Методы борьбы с этим есть.

 

В остальном требуемые ресурсы минимальны.

У меня, к примеру, под заббикс, виртуалка 4 ядра (а куда меньше-то?!) и 12Г ОЗУ. Жует около 500 параметров в секунду, вместе с кучей внешних скритов (что создает заметную дополнительную нагрузку), но хаускипинг отключен и старые данные удалаются другими методами. На виртуалке работают заббиксы (два экземпляра) и БД для них и фронтенды и некоторые дополнительные сервисы до кучи. Память большей частью для БД.

[OKyHb]

Два zabbix-server'а на одной виртуалке? Что за хитрый сценарий использования?

[SergeiK]

Два zabbix-server'а на одной виртуалке? Что за хитрый сценарий использования?

:). Так сложилось исторически.

 

Заббик не очень хорошо работает с тысячами хостов, в плане отображения и работы с ними в интерфейсе.

Например, его фронтенд и апи тащят все из БД в память, там потом что-то думают, и шлют изменения в БД обратно. Если у вас 1К+ хостов (а то и 10К+)- изменить параметр в шаблоне для них - непростая задача, и нужно дать довольно много памяти, иначе отбой. Есть и другие проблемы масштаба, но не буду сейчас углубляться.

 

Сейчас в разных каталогах собранны разные заббиксы, со своей иерархией каталогов, каждый со своей конфигурацией, и с отдельной БД. По факту - так легче и для управления и с БД.

На другом сервере, для других задач, таких серверов четыре :).

 

Да, по хорошему, надо бы каждый сервер в свою виртуалку. Но здесь другие вопросы и сложности, не технические :).

[EShirokiy]

Без SSD, я так понимаю, не обойтись?

[SergeiK]

Без SSD, я так понимаю, не обойтись?

Как я понимаю, в моей виртуалке EMC как хранилка, но детали мне недоступны. Тем не менее, насколько знаю, SSD нет.

 

Забикс 2.2 и 2.4 сейчас не обновляют lastvalue в таблице параметров, это сильно ускоряет работу базы, там до многих тыщ значений в секунду лопатится без SSD.

Но очень сильно затрудняет получение последних значений по параметрам большим списком, хоть через API, хоть из БД, и есть косяки с параметрами, для которых не нужно хранение истории значений, а нужно только текущее значение и тригер на его изменение.

 

Поэтому по некоторым проектам сидим на 2.0 и думаю, что с этим делать дальше :).

Тестовый патч уже писали, для 2.2, но дальше пока не прыгаем. Вот, может 3.0 что-то хорошее принесет.

[shader]

товарищи!

Подскажите новичку!

Какая из open source систем мониторинга умеет искать конечный ethernet-порт абонента по его известному Ip-адресу в сети? (резолвит Ip в mac и по нему ищет среди всех управляемых коммутаторов, зарегистрированных в системе мониторинга)

[taf_321]

Это не к мониторингу надо обращаться, а скорее, к чему-то NOC-подобному.

[Negator]

Мы такое давно в биллинге сделали. Также можно такое скриптом реализовать. Посему ответом будет- любая которая поддерживает внешние скрипты. Заббикс например, или нагиос. Только как тут уже подметили это не задача мониторинга.

[shader]

Мы такое давно в биллинге сделали. Также можно такое скриптом реализовать. Посему ответом будет- любая которая поддерживает внешние скрипты. Заббикс например, или нагиос. Только как тут уже подметили это не задача мониторинга.

Спасибо. Буду копать в сторону скриптов. Биллинг нам не нужен, мы не провайдер.

[Negator]

Спасибо. Буду копать в сторону скриптов.

Что за оборудование то?

Вообще ничего сложного не вижу, есть 2 варианта.

1. Смотрим в ARP таблицу на BRAS-е (ну или на терминирующей железке) - получаем MAC.

2. Ищем данный МАС на на всех свичах, подтвержаем что он там один. SNMP в помощь.

3. Вместо пункта 2 можно настроить MAC-Nоtification на длинках(ну или аналоги) и сливать мак адреса в базу. Дальше искать по базе.

[shader]

Везде hp/3com.

В центре 3com 5500g-ei

[Megas]

2. Ищем данный МАС на на всех свичах, подтвержаем что он там один. SNMP в помощь.

3. Вместо пункта 2 можно настроить MAC-Nоtification на длинках(ну или аналоги) и сливать мак адреса в базу. Дальше искать по базе.

 

вот тут и я так подумал пока не столкнулся с Juniper, на hp все занимает 20строчек кода на питоне, а вот джуны отдельная логика чтобы получить имя и vlan конечного порта.

[aak]

Netflow+Snort,нам хватает.

[Cramac]

Всем привет. Хочу поинтересоватся, кто массово использует заббикс. Как Вы боритесь с растущей базой? Или у Вас мало оборудования мониторится?

 

У меня сейчас такое:

Количество узлов сети (активированных/деактивированных/шаблонов) 161 115 / 1 / 45

Количество элементов данных (активированных/деактивированных/неподдерживаемых) 24311 24217 / 30 / 64

Количество триггеров (активированных/деактивированных [проблема/ок]) 210 158 / 52 [2 / 156]

Количество пользователей (в сети) 2 1

Требуемое быстродействие сервера, новые значения в секунду 408.35

 

данных старше месяца нет (хотя хочется видеть динамику годовую), при этом база уже на 65 гигов.

 

До этого была какти, как то так не наблюдалось чтоб графики столько занимали место.

[alibek]

при этом база уже на 65 гигов.

Разве это много?

 

До этого была какти, как то так не наблюдалось чтоб графики столько занимали место.

В Cacti используется RRD. Естественно размер БД тут не зависит о продолжительности использования.

[SergeiK]

Всем привет. Хочу поинтересоватся, кто массово использует заббикс. Как Вы боритесь с растущей базой? Или у Вас мало оборудования мониторится?

 

У меня сейчас такое:

Количество узлов сети (активированных/деактивированных/шаблонов) 161 115 / 1 / 45

Количество элементов данных (активированных/деактивированных/неподдерживаемых) 24311 24217 / 30 / 64

Количество триггеров (активированных/деактивированных [проблема/ок]) 210 158 / 52 [2 / 156]

Количество пользователей (в сети) 2 1

Требуемое быстродействие сервера, новые значения в секунду 408.35

 

данных старше месяца нет (хотя хочется видеть динамику годовую), при этом база уже на 65 гигов.

 

До этого была какти, как то так не наблюдалось чтоб графики столько занимали место.

Какти использует rrd, который выполняет последовательную агрегацию данных, за счет чего имеет примерно фиксированный размер базы.

 

В заббиксе есть история, которая хранит все, как есть и тренды, которые делают часовую агрегацию (min, avg, max). Если вам достаточно часовых трендов - ставьте историю короткую, в 2-3 дня.

housekeeper в забиксе удалает устаревшие данные из базы на регулярной основе, чем и сохраняет место.

 

Однако, есть несколько подводных камней!

1. По умолчанию, Housekeeper удаляет записей не более чем указано в конфигурации. Смотрите логи, сколько удаляется, и если всегда установленный предел, то удаляется не все.

2. Фрагментарное удаление из базы - всегда крайне затратная операция, требующая ресурсы дисковой подсистемы.

 

При больших объемах данных часто возникает проблема с тем, что данные удаляются медленнее, чем добавляются, а система задыхается.

Механизм борьбы описан детально в сети, partitioning. Но теряется гибкость в хранении исторических данных.

[EShirokiy]

Приветствую, уважаемые юзеры Zabbix'a, возник вопрос. Можно ли в комплексный экран сделать вывод определенных значений полученных по SNMP. Например, номер порта, его дескрипшен, длина кабеля и количество ошибок на порту. Что бы было удобнее и нагляднее. Под задачи хорошо подходит ресурс "Простой текст", но вывод слишком не суразный, много лишнего. Или придется ручками в коде копаться?

[SergeiK]

Приветствую, уважаемые юзеры Zabbix'a, возник вопрос. Можно ли в комплексный экран сделать вывод определенных значений полученных по SNMP. Например, номер порта, его дескрипшен, длина кабеля и количество ошибок на порту. Что бы было удобнее и нагляднее. Под задачи хорошо подходит ресурс "Простой текст", но вывод слишком не суразный, много лишнего. Или придется ручками в коде копаться?

На карту можно положить значение параметра, хоть к иконке, хоть к линку.

Карту уже показывать в экране.

[EShirokiy]

SergeiK, вот так костыли, спасибо, попробую)

[SergeiK]

SergeiK, вот так костыли, спасибо, попробую)

Я не уверен, что это костыль, ибо размещать и подписывать объекты на карте сильно удобнее, чем на комплексном экране.

На иконке или линке в подписи вы можете использовать макрос в формате {host:key.func(param)}, сам линк раскаршивать в зависимости от состяние триггеров и там же отображать статус хоста.

 

Но мы, в реальности, сделали вообще иначе, так как хостов в нашей задаче очень много, и родной интерфейс заббикса с этим не справляется хорошо, и не удобен. Забираем значения из БД заббикс 2.0 SQL-запросами и отображаем нужные данные в собственном интерфейсе.

В Заббикс 2.2 и 2.4 отказались от хранения последних значений, что, с одной стороны сократило число update-ов БД и повысило производительность, с другой стороны получить последние значения по значительной группе параметров стало очень сложно (большая нагрузка на БД).

 

Сам заббикс хранит последние значения, дополнительно к БД, у себя в памяти, и, наверно, API позволит выдернуть эти значения быстрее, но я пока не пробовал.

На новом заббиксе, для другой задачи, но по сходной схеме, обходилимся триггерами, важные параметры по хосту привязаны к полям инвентори, откуда обновленные значения и забираем.

[xcme]

так как хостов в нашей задаче очень много

А сколько хостов и сколько метрик в сумме снимаете, если не секрет?

[SergeiK]

так как хостов в нашей задаче очень много

А сколько хостов и сколько метрик в сумме снимаете, если не секрет?

У меня все сложно :).

Но, например, на одном виртуальном сервере (4VCPU, 12G RAM) два независимых заббикса 2.0. и БД под них.

На одном заббиксе 6,5K+ узлов и 460К параметров, 300+ значений в секунду и на другом почти 25К хостов и 420К параметров, 200 значений в секунду.

Значений в секунду не много, потому что многие параметры опрашиваются не часто, да и параметров не сильно много, но много внешних скриптов.