ЧТо ceph, что glusterfs, да и все похожие проекты есть смысл, если вам нужен большой кластер, на много много много дисков, при чем строить надо не так, что к одному серваку подцепим полку из 30 дисков и ***ись, а один-два диска - один сервер, что бы при выпадении сервера, кластер не ребалансил его 30 дисков по 2-3 тера. Вообще в тестах под нагрузкой добились того, что ceph кластер не собрался, ибо когда выпал сервак, на котором было дисков суммарным объемом в 40 терабайт (данных было 70% где-то), при ребелансе большого объема данных начали сыпаться диски в других серверах, ибо диски уже имели наработку. Короче проблемы все те же, что и в рейд массивах, только не локально, а размазано по серверам)
Там у каждого решения столько своих подводных камней, что жопой жуй. Вон ceph блюстор пилят, они замахнулись на то, что хранить данные в диске они будут сами, минуя фс системы. Тыц
glusterfs libgfapi + qemu/kvm очень неплохо работает, с десяток нод в виртуалками, их диски собраны в пул, с репликой, сеть 10Г между нодами. Пока сплитбрейн не ловили, хотя люди грешат на гластер именно по этой проблеме.
