1. Ваша система мониторинга

[nanaiki]

Существуют ли плагины для cacti, которые карту сети могут рисовать самостоятельно на основе анализа FDB коммутаторов? network weathermap отличное решение, но самому рисовать как-то надоедает

Изменено 17 мая, 2013 пользователем nanaiki

[pppoetest]

Генерить конфиг сети своим скриптом не?

[nanaiki]

не хочется велосипед изобретать

[tawer]

возможно, появились какие либо решения like cacti для мониторинга и графического отображения (состояние, трафик) портов коммутаторов, роутеров с возможностью привязки к карте местности?

Изменено 16 сентября, 2013 пользователем tawer

[Saab95]

не хочется велосипед изобретать

 

Используйте The Dude - нормально работает.

[pppoetest]

Оно под винду - в топку.

[Sonne]

Ответьте на ламерский вопрос по Cacti. Можно что бы авторизация запоминала меня через куки, чтобы не вбивать каждый раз пароль? В настроках пробежался и не нашел.

 

Может быть написать патч? :)

[Painter]

IP Switch WhatsUP Professional 2006 - мониторинг доступности и алармы для коммутаторов и серверов. На новую версию не переходим, потому что не нашли там полезного функционала, чтобы за него заплатить.

Munin 1.4 - сбор статистики с серверов и рисование графиков (40 серверов). Поидее пора переходить на 2.0. Нагрузка на процессор меньше, потому что графики рисуются по требованию, а не по крону все сразу.

Cacti - сбор статистики с сетевого оборудования и серверов, рисование графиков (Time:39.9101 Method:spine Processes:6 Threads:10 Hosts:699 HostsPerProcess:117 DataSources:71698 RRDsProcessed:19065). Поллинг раз в минуту. (Таблица poller_output в памяти, rrd пишется на SSD). Есть планы посмотреть что такое Zabbix, но пока что какти всем устраивает.

Smokeping и PingPlotter для пингования адресов. Никак не удается склонить народ к чему-то одному.

Monit - мониторинг процессов на серверах и другие различные проверки (примонтирована ли директория, использование памяти процессом, успешные коннекты к днс и http серверу и т.п. довольно много всего можно проверить или написать свой скрипт проверки).

logcheck - проверка логов с серверов и сетевого оборудования и отправка изменений на почту.

tacacs - чтобы найти негодяя который написал "switch port trunk allowed vlan 123" на транковом порту.

Ну и самописные кривые костыльные скрипты встречаются, куда же без них.

[GateKeeper]

Забих с LLD внешним скриптом

Кривой там LLD (по крайней мере в SNMP-части). Подробности тут. Патч, правда, не совместим с ванильным заббиксом, если уже есть данные (требуется пройтись по всем таблицам и выставить flags=16 where flags=0). А костыли писать под каждый SNMP table - тогда уж нажиос ставить или вообще сырой rrd + bash.

[alibek]

Визуализация — Cacti. Также Cacti собирает статистику по SNMP с некоторых интерфейсов.

Но основная информация собирается самодельными скриптами (которые сохраняются в RRD-файлы и используются Cacti).

[Saab95]

Оно под винду - в топку.

 

Может у кого-то работает плохо, а у других без проблем, при этом опрашивает кучу устройств, более 10000.

 

[sexst]

Что имеется в виду под опрашивает? Каков интервал опроса? Какое требует железо?

[Saab95]

Что имеется в виду под опрашивает? Каков интервал опроса? Какое требует железо?

 

Опрашивает - значит проверяет доступность пингом, микротики опрашиваются с получением всех данных и загрузки интерфейсов, интервал - 30 секунд. Железо сервак с виндой и i3 - 3000мгц, 4 гига памяти.

[sexst]

А чаще может?

А трапы умеет?

[Saab95]

А чаще может?

А трапы умеет?

 

Может хоть раз в секунду, только при таком количестве устройств это будет очень напряжно для железа.

 

В случае поломки/отключения оборудования вылезает всплывающее окошко, может отправить на почту, отправить лог на удаленный сервер, выполнить какое-то действие, и вообще все что угодно, если связать его со своим разработанным софтом.

[pppoetest]

интервал - 30 секунд.

10k девайсин каждые полминуты? Звиздун.

[SergeiK]

интервал - 30 секунд.

10k девайсин каждые полминуты? Звиздун.

Да ну почему? Менее 400 значений за секунду получается. У меня и больше получалось, правда на другой системе.

 

Вопрос здесь в хранении истории, это займет приличный объем данных и их надо как-то хранить/удалять старые и прочее. А если истории значений нет - вообще без вопросов.

 

Народ пишет, мониторинг на заббиксе загонял под 10к значений в секунду с пиковыми 15к. Ну, правда, не на одной машине а на 18-ти, но БД единая.

[pppoetest]

Ну, правда, не на одной машине а на 18-ти

С этого и надо было начинать.

 

У меня и больше получалось, правда на другой системе.

Сколько потоков?

[SergeiK]

Ну, правда, не на одной машине а на 18-ти

С этого и надо было начинать.

Все равно впечатлающие данные для одной системы мониторинга. И, судя по описанию, число проксей можно было бы и сократить вдвое.

А вот БД уже не тянет там.

У меня и больше получалось, правда на другой системе.

Сколько потоков?

Сейчас у меня на одной машине (виртуалка, 4 ядра, 12Г памяти) висит два мониторинга паралелльно. На нем же сервер БД и 2 базы.

На одном 6300 хостов, 400к параметров и 380 значений в секунду, на другом 21к хостов, но менее 300к параметров и примерно 130 значений/сек.

Однако, это не только простое "попингуйство", а еще и snmp и внешние скрипты, которые тоже лезут в БД по своим делам. Число процессов около 550 на сервере в среднем.

Сервер в целом загружен плотно, но живет.

 

Если очень интересно, могу положить несколько скриншотов.

[pppoetest]

Сие чудо самописное или что-то взяли за основу?

[SergeiK]

Сие чудо самописное или что-то взяли за основу?

Zabbix 2.0.х + MySQL 5.1 + самописные скрипты для всяких сложных опросов.

 

Есть еще, там уже два сервера, Заббикс 2.2 + MySQL 5.6, но там нагрузка пока меньше, мигрируем неспешно.

[pppoetest]

Ясно, спасибо

[adnull]

У меня распределенный nagios через mod_gearman, Статистику на интерфейсах снимает collectd и отправляет на удаленный collectd сервер, там рисует cacti. Сервер статистики и мониторинга находится снаружи сети, так что если сеть упала совсем, видно что было до этого.

[sexst]

Да ну почему? Менее 400 значений за секунду получается. У меня и больше получалось, правда на другой системе.

Вопрос здесь в хранении истории, это займет приличный объем данных и их надо как-то хранить/удалять старые и прочее. А если истории значений нет - вообще без вопросов.

Народ пишет, мониторинг на заббиксе загонял под 10к значений в секунду с пиковыми 15к. Ну, правда, не на одной машине а на 18-ти, но БД единая.

Дыг смотря что снимать. Если под десяток счетчиков с порта стандартного L2 свитча то вполне себе 10000*24*10 ~ 2 с копейками миллиона значений. А это уже под 50к параметров в секунду. Это, конечно тоже более чем реально и на одной машине, но нужно затачивать основательно. И точно не на дуде.

А 10к это вообще немного.

[SergeiK]

Дыг смотря что снимать. Если под десяток счетчиков с порта стандартного L2 свитча то вполне себе 10000*24*10 ~ 2 с копейками миллиона значений. А это уже под 50к параметров в секунду. Это, конечно тоже более чем реально и на одной машине, но нужно затачивать основательно. И точно не на дуде.

А 10к это вообще немного.

Речь была про пинги только, в данном контексте.

 

Ну, и я бы спросил, а зачем вам 10 счетчиков с каждого порта раз в минуту!

И проблема не столько в том, чтоб снять, сколько, а где это потом хранить.

Дата/время + id параметра + значение - байта 32 надо на запись, если данные int64. Если строки, то больше.

2,4M значений раз в минут дадут 2,4 * 32 * (60*24) = 110 млрд байт в сутки = 102Гбайта в день = 3 Тбайта за месяц (только данных, без индексов, реально втрое больше).

Ну и 2,4*24*60*30=103 млрд записей в БД.

Разумно справится с этим далеко не всякая БД.

 

В целом, в таких системах очень важно найти правильный баланс, что и как часто снимать, и что, и сколько хранить, и где и как поднимать события и оповещения.