Magi Опубликовано 22 сентября, 2019 · Жалоба Всем привет! Есть у нас самописная система видеонаблюдения: ~1600 IP камер отдающих по rtsp потоки на 10 медиа-серверов (freebsd с ufs. 4 ядра 24 гб озу на каждом медиасервере, тянут до 300 камер.), на которых это некоторое время хранится и одновременно транслируется через на веб-сайте + мониторинг на zabbix и бд mysql в которой прописаны инфа о камерах и медиасерверах их состояние и т.д. Все внутри VMware кластера. Но как-то все разрозненно и трудно масштабируется. Есть ли опенсорсное цельное решение? ZoneMinder потянет более 100 камер на сервере? Или есть другие варианты? Freebsd была выбрана разработчиком, т.к. по его словам линуксы не справлялись с нагрузкой на файловую систему (не использовать ли zfs?) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
maxlapshin Опубликовано 22 сентября, 2019 · Жалоба Боюсь, что ваш разработчик выдал желаемое за действительное. FreeBSD настолько потеряла инсталяционную базу и, следовательно, поток коммитов в неё, что оставаться с ней в 2019-м можно только при наличии очень серьезных причин и как правило эти причины кадровые: у вас есть один админ, терять его не хочется, нанимать новых не хочется, а старый упирается и хочет фрю. Практически гарантированно доводы про «не справляются с нагрузкой на ФС» не актуальны. У всех справляются, а у него не справляются, ага. А вот с Vmware проблемы могут быть. Зачем вы всё это засунули внутрь vmware кластера? Сколько таких «стриминговых серверов» у вас на одной железке? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 23 сентября, 2019 · Жалоба А может проще не опенсорс и самопис использовать а какое-либо тиражное решение? В эксплуатации может оказаться сильно дешевле. И да... 300 камер на медиасервер с хранением на нем же... по мне так хоть линукс хоть фрибсд. Поток-то какой пишется в сумме? И что за дисковая подсистема? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
KonBez Опубликовано 23 сентября, 2019 · Жалоба А можно немного не в тему? Зачем использовать самопис на такую здоровую систему, а потом жаловаться о трудностях масштабирования? Ничем, как желанием сэкономить, объяснить не могу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 23 сентября, 2019 · Жалоба 9 часов назад, maxlapshin сказал: FreeBSD настолько потеряла инсталяционную базу и, следовательно, поток коммитов в неё, что оставаться с ней в 2019-м можно только при наличии очень серьезных причин Netflix как причина подойдет? :-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 23 сентября, 2019 · Жалоба Только что, KonBez сказал: Ничем, как желанием сэкономить, объяснить не могу. Как я уже намекал, если подсчитать расходы и риски, то возможно экономии-то и нет. Хотя желание есть :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Magi Опубликовано 23 сентября, 2019 · Жалоба Система досталась в наследство, поэтому работаем с тем, что имеем. Видимо желание сьэкономить как раз и было основной причиной :) Но с другой стороны, зачем платить больше. Со стороны FreeBSD (там запас по производительности есть) дисковой подсистемы, нагрузки и VMware нареканий нет. Неудобно добавлять новые медиасервера и желательно все это обновлять. С ZoneMinder кто-нибудь работал? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 23 сентября, 2019 · Жалоба Только что, Magi сказал: Со стороны FreeBSD (там запас по производительности есть) дисковой подсистемы, нагрузки и VMware нареканий нет. Жутко любопытно, какой поток на запись идет с 300 камер, сколько времени хранится, и как устроена дисковая подсистема что даже запас по производительности есть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Magi Опубликовано 23 сентября, 2019 · Жалоба Один из медиасерверов # ps ax | grep ffmpeg | wc -l 296 #top last pid: 84098; load averages: 10.99, 10.86, 10.26 up 6+20:00:05 09:56:01 447 processes: 17 running, 430 sleeping CPU: 40.2% user, 0.0% nice, 19.4% system, 3.1% interrupt, 37.2% idle Mem: 8185M Active, 11G Inact, 1930M Laundry, 2855M Wired, 1596M Buf, 462M Free Swap: 48G Total, 302M Used, 48G Free df -h Filesystem Size Used Avail Capacity Mounted on /dev/da0p2 992M 270M 643M 30% / devfs 1,0K 1,0K 0B 100% /dev /dev/da0p4 15G 1,4G 13G 10% /var /dev/da0p5 992M 9,7M 902M 1% /tmp /dev/da0p6 29G 3,6G 23G 14% /usr /dev/da1p1 42T 32T 6,9T 82% /data /dev/md0 7,7G 6,2G 922M 87% /md С одной камеры 2Mbit/c, хранится ~7 дней. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AAS Опубликовано 23 сентября, 2019 (изменено) · Жалоба Что-то засомневался я в производительности Вами заявленной системы: На сейчас рассматривает (и немного тестируем) под себя сервер: SuperMicro 9x на базе двух Xeon e5-2609v2 + 32ОЗУ небольшой SSD винт под систему и райд контроллер (6Gbs/s) в который воткнуто 4 винта (4 Тб, 10к) У меня не получилось добиться производительности больше чем 120-130 камер суммарно в FullHD на данный сервер (и то при условии что на каждый из HDD пишется 25-30 камер без всякого резервирования RAID 0). А Вы указываете 1600 камер на 10 серверов... как??? Изменено 23 сентября, 2019 пользователем AAS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 23 сентября, 2019 · Жалоба 5 минут назад, AAS сказал: У меня не получилось добиться производительности больше чем 120-130 камер суммарно в FullHD Возможно конфигурация железа неудачна и где-то есть узкое место. У нас сервер под Windows (Macroscop) принимает 250 камер, причем не только пишет, но и кодирует (для мобильных и веб-клиентов) и обслуживает толстых клиентов. Нагрузка по CPU где-то на уровне 20-30%, то есть и 500 камер должен обработать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Magi Опубликовано 23 сентября, 2019 · Жалоба Винты все обычные, SSD нигде не используется. Одна из подключенных камер 1920х1080, отдает в H.264. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 23 сентября, 2019 · Жалоба Под такие масштабы никакой "бесплатный" софт из коробки работать нормально не будет. Либо коммерческое решение (но не так - купил коробку и побежал, а с полноценным проектом внедрения, тестами и т.п.), либо свой самородок в штате, который будет собирать слово "счастье" и допиливать паровоз напильником. Посмотрите https://www.ispyconnect.com , но и там вы без умельца не факт что обойдетесь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 23 сентября, 2019 · Жалоба 25 минут назад, jffulcrum сказал: либо свой самородок в штате, который будет собирать слово "счастье" и допиливать паровоз напильником. А потом этот самородок перейдет на новый уровень самосознания своей уникальности, и экономия увеличится еще и на сумму его зарплаты. Только будет ли это счастьем? 2 часа назад, alibek сказал: У нас сервер под Windows (Macroscop) принимает 250 камер, причем не только пишет, но и кодирует (для мобильных и веб-клиентов) и обслуживает толстых клиентов. Нагрузка по CPU где-то на уровне 20-30%, то есть и 500 камер должен обработать. Да цпу пофигу, как вы (пусть как у Magi 2 мегабита на камеру * 250 камер) = 500 мегабит на жесткие диски успеваете распихать? А у Magi камер вообще 300 камер, это уже 600 мегабит и никаких SSD Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 23 сентября, 2019 · Жалоба 500 Мбит/с это не много. С этим даже хорошие десктопы справляются. У меня домашний десктоп 8-летней давности 200-300 Мбит/с писать может. У меня iSCSI, но вообще хорошие серверные диски должны без проблем 700 Мбит/с пропускать через себя, даже без RAID. SSD, кстати, для камер не лучший выбор, у них отклик маленький, а пропускная способность в поточной записи не больше, чем у HDD. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 23 сентября, 2019 · Жалоба 20 минут назад, alibek сказал: 500 Мбит/с это не много. С этим даже хорошие десктопы справляются. Это пока идет чисто запись, а если еще кто-то начнет читать, то дискам приходится головками туда-сюда елозить и все может оказаться медленно и печально. В любом случае для видеонаблюдения надо тщательно думать про систему хранения, а то чаще всего просто про объем думают, а про скорость забывают 20 минут назад, alibek сказал: но вообще хорошие серверные диски должны без проблем 700 Мбит/с пропускать через себя, даже без RAID. Честно говоря обычо жаба давит хорошие серверные диски на видеонаблюдение тратить. Разве что СХД поставили которая ест только свои фирменные диски.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arty99 Опубликовано 7 ноября, 2019 · Жалоба Посмотрите bluecherrydvr.com С апреля сего года полностью открыты исходники Я тестирую на 27 камерах на таком барахле как Intel(R) Celeron(R) CPU G1830 @ 2.80GHz с 4ГБ оперативы, ресурсы CPU жрет до 60%, память менее 40%. Думаю с нормальной железякой будет справляться на ура, и допиливать-перепиливать можно сколь угодно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
maxlapshin Опубликовано 7 ноября, 2019 · Жалоба On 9/23/2019 at 10:08 AM, AAS said: Что-то засомневался я в производительности Вами заявленной системы: На сейчас рассматривает (и немного тестируем) под себя сервер: SuperMicro 9x на базе двух Xeon e5-2609v2 + 32ОЗУ небольшой SSD винт под систему и райд контроллер (6Gbs/s) в который воткнуто 4 винта (4 Тб, 10к) У меня не получилось добиться производительности больше чем 120-130 камер суммарно в FullHD на данный сервер (и то при условии что на каждый из HDD пишется 25-30 камер без всякого резервирования RAID 0). А Вы указываете 1600 камер на 10 серверов... как??? У человека 2 мегабита с камеры. Нет никаких проблем залить около 500 камер на один сервер по гигабитному шнурку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 7 ноября, 2019 · Жалоба 3 минуты назад, maxlapshin сказал: Нет никаких проблем залить около 500 камер на один сервер по гигабитному шнурку Ну не скажите - это 500 потоков записи одновременных, не так очевидно как их по дискам распихать и при этом не умертвить харды. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
maxlapshin Опубликовано 7 ноября, 2019 · Жалоба Just now, sdy_moscow said: Ну не скажите - это 500 потоков записи одновременных, не так очевидно как их по дискам распихать и при этом не умертвить харды. ну ок, проблема в том, чтобы подобрать софт, который это может раскидать. У нас в флюссонике собственная реализация системы распределения нагрузки по хардам (application level raid), можно с этим до какого-то момента справляться на уровне ОС. Но это не запредельная задача. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...