Open source СХД под видеоконтент

[fox_m]

Всем привет!

 

Ищем альтернативу для СХД Dell (не хочется быть привязанным к вендору). Под хранение видео-контента. Сейчас это примерно 500 Тб. В идеале распределенное. По параметрам MinIO подходит, но они фактически зарыли бесплатный проект. Есть какие-то альтернативы?

[jffulcrum]

OpenMaxIO, если именно S3 API хотите. Но S3 для видео, на мой взгляд, сомнительно. На 500Tb бесплатными поделками вроде Garage или Openmediavault вы врядли отделаетесь, если нужна отказоустойчивость, то придётся кушать Ceph или SeaweedFS

[naves]

Хотелось бы уточнить важный нюанс. S3 или FS?
Файлы кладутся как есть целиком, или в них идет запись в процессе работы? Потому что обычный не модифицированный S3 очень плохо работает с перезаписью внутри файла.

По факту кроме ceph, ничего толком и нет. 

Minio попроще будет, и в принципе, старые версии работали, и ничего не мешает им и дальше работать. Но, минио, не умеет в листинги - они очень медленные и сканируют все диски. И минио нельзя не глядя отдавать клиентам, могут убить производительность в пол. Еще в minio нет нормального recovery после замены дисков, по факту там healing Шредингера. Пока все файлы из бакетов не перечитаете, толком не узнаете, живы ли они вообще.

 

ceph не позволяет себе такого состояния шредингера, он сразу из всех щелей орет warning-ами, с которыми неизвестно что делать.

ceph требует три копии данных, если ставить две, то это считается отложенным выстрелом себе в ногу, по аналогии как RAID 5. А EC-режимы в ceph не то чтобы экзотика, но опыт у всех противоречивый, вроде работает, но могут быть нюансы.

Это если совсем кратко...

Edited Monday at 03:26 PM by naves

[jffulcrum]

Для Ceph в каждую ноду надо выделенный NVME с хорошим DWPD под метаданные класть, и с тоской смотреть на убывающие счётчики ресурса... Можно, конечно, поднять пиратский флаг, тогда к услугам VSAN от ВмТварей или даже Nutanix.

[naves]

2 hours ago, jffulcrum said:

Для Ceph в каждую ноду надо выделенный NVME с хорошим DWPD под метаданные класть

Да не обязательно, можно и так обойтись. Индексный пул S3 только вынести на SSD.

Но и чисто HDD сетап тоже нормально работает. Караван будет идти со скоростью самого медленного HDD-верблюда.

 

Есть еще GlusterFS, но с ней, кажется работало еще меньше людей чем с ceph.