Перейти к содержимому
Калькуляторы

Посоветуйте оперсорсное ПО для системы видеонабдюдения

Всем привет! Есть у нас самописная система видеонаблюдения: ~1600 IP камер отдающих по rtsp потоки на 10 медиа-серверов (freebsd с ufs. 4 ядра 24 гб озу на каждом медиасервере, тянут до 300 камер.), на  которых  это некоторое время хранится и одновременно транслируется через на веб-сайте + мониторинг на zabbix и бд mysql в которой прописаны инфа о камерах и медиасерверах их состояние и т.д. Все внутри VMware кластера. Но как-то все разрозненно и трудно масштабируется. Есть ли опенсорсное цельное решение? ZoneMinder потянет более 100 камер на сервере? Или есть другие варианты? Freebsd была выбрана разработчиком, т.к. по его словам линуксы не справлялись с нагрузкой на файловую систему (не использовать ли zfs?)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Боюсь, что ваш разработчик выдал желаемое за действительное.

 

FreeBSD настолько потеряла инсталяционную базу и, следовательно, поток коммитов в неё, что оставаться с ней в 2019-м можно только при наличии очень серьезных причин и как правило эти причины кадровые: у вас есть один админ, терять его не хочется, нанимать новых не хочется, а старый упирается и хочет фрю.

 

Практически гарантированно доводы про «не справляются с нагрузкой на ФС» не актуальны. У всех справляются, а у него не справляются, ага.

 

А вот с Vmware проблемы могут быть. Зачем вы всё это засунули внутрь vmware кластера?  Сколько таких «стриминговых серверов» у вас на одной железке?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А может проще не опенсорс и самопис использовать а какое-либо тиражное решение?

В эксплуатации может оказаться сильно дешевле.

И да... 300 камер на медиасервер с хранением на нем же... по мне так хоть линукс хоть фрибсд.

Поток-то какой пишется в сумме? И что за дисковая подсистема?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А можно немного не в тему? Зачем использовать самопис на такую здоровую систему, а потом жаловаться о трудностях масштабирования?

Ничем, как желанием сэкономить, объяснить не могу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

9 часов назад, maxlapshin сказал:

FreeBSD настолько потеряла инсталяционную базу и, следовательно, поток коммитов в неё, что оставаться с ней в 2019-м можно только при наличии очень серьезных причин

Netflix как причина подойдет? :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Только что, KonBez сказал:

Ничем, как желанием сэкономить, объяснить не могу.

Как я уже намекал, если подсчитать расходы и риски, то возможно экономии-то и нет. Хотя желание есть :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Система досталась в наследство, поэтому работаем с тем, что имеем. Видимо желание сьэкономить как раз и было основной причиной :) Но с другой стороны, зачем платить больше. Со стороны FreeBSD (там запас по производительности есть) дисковой подсистемы, нагрузки и VMware нареканий нет. Неудобно добавлять новые медиасервера и желательно все это обновлять.

С ZoneMinder кто-нибудь работал?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Только что, Magi сказал:

Со стороны FreeBSD (там запас по производительности есть) дисковой подсистемы, нагрузки и VMware нареканий нет.

Жутко любопытно, какой поток на запись идет с 300 камер, сколько времени хранится, и как устроена дисковая подсистема что даже запас по производительности есть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Один из медиасерверов

# ps ax | grep ffmpeg | wc -l
     296

#top

last pid: 84098;  load averages: 10.99, 10.86, 10.26                                                                                                                                     up 6+20:00:05  09:56:01
447 processes: 17 running, 430 sleeping
CPU: 40.2% user,  0.0% nice, 19.4% system,  3.1% interrupt, 37.2% idle
Mem: 8185M Active, 11G Inact, 1930M Laundry, 2855M Wired, 1596M Buf, 462M Free
Swap: 48G Total, 302M Used, 48G Free

 

 df -h
Filesystem    Size    Used   Avail Capacity  Mounted on
/dev/da0p2    992M    270M    643M    30%    /
devfs         1,0K    1,0K      0B   100%    /dev
/dev/da0p4     15G    1,4G     13G    10%    /var
/dev/da0p5    992M    9,7M    902M     1%    /tmp
/dev/da0p6     29G    3,6G     23G    14%    /usr
/dev/da1p1     42T     32T    6,9T    82%    /data
/dev/md0      7,7G    6,2G    922M    87%    /md

 

С одной камеры 2Mbit/c,  хранится ~7 дней.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-то засомневался я в производительности Вами заявленной системы:

На сейчас рассматривает (и немного тестируем) под себя сервер:
SuperMicro 9x на базе двух Xeon e5-2609v2 + 32ОЗУ
небольшой SSD винт под систему и райд контроллер (6Gbs/s) в который воткнуто 4 винта (4 Тб, 10к)

У меня не получилось добиться производительности больше чем 120-130 камер суммарно в FullHD на данный сервер (и то при условии что на каждый из HDD пишется 25-30 камер без всякого резервирования RAID 0).

А Вы указываете 1600 камер на 10 серверов...   как???

Изменено пользователем AAS

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, AAS сказал:

У меня не получилось добиться производительности больше чем 120-130 камер суммарно в FullHD

Возможно конфигурация железа неудачна и где-то есть узкое место.

У нас сервер под Windows (Macroscop) принимает 250 камер, причем не только пишет, но и кодирует (для мобильных и веб-клиентов) и обслуживает толстых клиентов.

Нагрузка по CPU где-то на уровне 20-30%, то есть и 500 камер должен обработать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Винты все обычные, SSD нигде не используется. Одна из подключенных камер 1920х1080, отдает в H.264.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Под такие масштабы никакой "бесплатный" софт из коробки работать нормально не будет. Либо коммерческое решение (но не так - купил коробку и побежал, а с полноценным проектом внедрения, тестами и т.п.), либо свой самородок в штате, который будет собирать слово "счастье" и допиливать паровоз напильником. Посмотрите https://www.ispyconnect.com , но и там вы без умельца не факт что обойдетесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

25 минут назад, jffulcrum сказал:

либо свой самородок в штате, который будет собирать слово "счастье" и допиливать паровоз напильником.

А потом этот самородок перейдет на новый уровень самосознания своей уникальности, и экономия увеличится еще и на сумму его зарплаты.

Только будет ли это счастьем?

 

2 часа назад, alibek сказал:

У нас сервер под Windows (Macroscop) принимает 250 камер, причем не только пишет, но и кодирует (для мобильных и веб-клиентов) и обслуживает толстых клиентов.

Нагрузка по CPU где-то на уровне 20-30%, то есть и 500 камер должен обработать.

Да цпу пофигу, как вы (пусть как у Magi 2 мегабита на камеру * 250 камер) = 500 мегабит на жесткие диски успеваете распихать? 

А у Magi камер вообще 300 камер, это уже 600 мегабит и никаких SSD

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

500 Мбит/с это не много. С этим даже хорошие десктопы справляются. У меня домашний десктоп 8-летней давности 200-300 Мбит/с писать может.

У меня iSCSI, но вообще хорошие серверные диски должны без проблем 700 Мбит/с пропускать через себя, даже без RAID.

SSD, кстати, для камер не лучший выбор, у них отклик маленький, а пропускная способность в поточной записи не больше, чем у HDD.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

20 минут назад, alibek сказал:

500 Мбит/с это не много. С этим даже хорошие десктопы справляются.

Это пока идет чисто запись, а если еще кто-то начнет читать, то дискам приходится головками туда-сюда елозить и все может оказаться медленно и печально.

В любом случае для видеонаблюдения надо тщательно думать про систему хранения, а то чаще всего просто про объем думают, а про скорость забывают

 

20 минут назад, alibek сказал:

но вообще хорошие серверные диски должны без проблем 700 Мбит/с пропускать через себя, даже без RAID.

Честно говоря обычо жаба давит хорошие серверные диски на видеонаблюдение тратить.

Разве что СХД поставили которая ест только свои фирменные диски....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Посмотрите

С апреля сего года полностью открыты исходники
Я тестирую на 27 камерах на таком барахле как Intel(R) Celeron(R) CPU G1830 @ 2.80GHz с 4ГБ оперативы, ресурсы CPU жрет до 60%, память менее 40%. Думаю с нормальной железякой будет справляться на ура, и допиливать-перепиливать можно сколь угодно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

On 9/23/2019 at 10:08 AM, AAS said:

Что-то засомневался я в производительности Вами заявленной системы:

На сейчас рассматривает (и немного тестируем) под себя сервер:
SuperMicro 9x на базе двух Xeon e5-2609v2 + 32ОЗУ
небольшой SSD винт под систему и райд контроллер (6Gbs/s) в который воткнуто 4 винта (4 Тб, 10к)

У меня не получилось добиться производительности больше чем 120-130 камер суммарно в FullHD на данный сервер (и то при условии что на каждый из HDD пишется 25-30 камер без всякого резервирования RAID 0).

А Вы указываете 1600 камер на 10 серверов...   как???

 

 

У человека 2 мегабита с камеры. Нет никаких проблем залить около 500 камер на один сервер по гигабитному шнурку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 минуты назад, maxlapshin сказал:

Нет никаких проблем залить около 500 камер на один сервер по гигабитному шнурку

Ну не скажите - это 500 потоков записи  одновременных, не так очевидно как их по дискам распихать и при этом не умертвить харды.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Just now, sdy_moscow said:

Ну не скажите - это 500 потоков записи  одновременных, не так очевидно как их по дискам распихать и при этом не умертвить харды.

ну ок, проблема в том, чтобы подобрать софт, который это может раскидать.

 

У нас в флюссонике собственная реализация системы распределения нагрузки по хардам (application level raid), можно с этим до какого-то момента справляться на уровне ОС.

 

Но это не запредельная задача. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.