Linux и "RAID по сети"

[sol]

Хочу странного. СХД по дешману.

 

Есть три сервера с много-много дисков каждый.

Есть четвёртый сервер, который должен работать с большими массивами данных.

Между серверами есть быстрая сеть.

 

Хочется объединить диски с трёх серверов в единое пространство хранения. Как бы "экспортировать" диски как блочные устройства с трёх серверов на четвёртый и собрать на нём, по вкусу, Soft RAID из всей пачки дисков с трёх серверов или, скажем, некий LVM из трёх экспортированных RAID.

Вопрос расширения всей конструкции дискуссионный. Я пока не знаю, надо будет это расширять или как на заводе отлили, так и будет всю жизнь работать.

 

Точка изменения данных одна - это четвёртый сервер. Только он будет читать и писать данные. Три богатых дисками серверы - рабы, сами ничего не делают. Только предоставляют диски или собранные из них "на месте" LVM тома, или RAID массивы четвёртому серверу.

 

Про кластерные FS слышал, но не видел.

С Ceph даже работал, но тут он шибко избыточен. Нет должного масштаба.

 

Возможно, я вообще фантазирую не в ту сторону. Если так - укажите верное направление.

 

Назначение хранилища - хранение "медленных" данных. Что-то типа видео, но не совсем. Скорее большаааая файлопомойка. Толерантность к потере данных имеется. Если всё одним чохом грохнется, то меня заругают, но сепукку делать не заставят. Просто опять натащат из разных концов 100500 теров на свежеотформатированную файлопомойку.

Но всё-же некую защиту от отказа одного диска иметь обязательно надо. А то будут часто ругать, а мне не нравится.

 

[rz3dwy]

Vmware vSAN?

[sol]

8 минут назад, rz3dwy сказал:

Vmware vSAN?

Почти совсем "не то".

 

Оно и коммерческое, и закрытое, и огромное, и конвергентное. А мне не надо ничего виртуализовать. Мне надо только хранить и медленно обновлять.

[myth]

почему бы не сократить задачу до NFS и рейды собирать на 3 серверах?

[sol]

4 минуты назад, myth сказал:

почему бы не сократить задачу до NFS и рейды собирать на 3 серверах?

А как из этого получить один том хранения, а не три?

[ShumBor]

отдать блочные по iscsi и собрать в lvm

Точнее у нас raid5 тома экспортирутся по iscsi и собираются в один большой lvm том состоящий из куска локального и десятки удаленных кусков 

Как раз под видео 

Edited June 8, 2023 by ShumBor

[jffulcrum]

Open Source Software-Defined Storage - LINBIT

 

Но оно тоже из разряда хипер-искаверкентности 

[TriKS]

ceph

[jffulcrum]

1 час назад, TriKS сказал:

ceph

 

[sol]

11 часов назад, ShumBor сказал:

отдать блочные по iscsi и собрать в lvm

Точнее у нас raid5 тома экспортирутся по iscsi и собираются в один большой lvm том состоящий из куска локального и десятки удаленных кусков 

Как раз под видео 

Что-то такое я и видел себе. Но тут некий оверхид намечается. Хотелось бы "для гломуру" на уровне FS порешать. Хотя иных аргументов кроме "не совсем красиво" у меня нет.

 

Подскажите, это нормально работает? Работает из коробки или надо что-то нудно тюнить?

 

11 часов назад, TriKS сказал:

ceph

Я же говорю: Это нормальное решение для большого кластера. На три сервера ceph очень громоздко выходит. Не его масштаб...

 

11 часов назад, jffulcrum сказал:

Open Source Software-Defined Storage - LINBIT

Там внизу страницы денег попросили. Я боюс. Я не хочу.

 

[jffulcrum]

19 минут назад, sol сказал:

Там внизу страницы денег попросили. Я боюс. Я не хочу.

У вас чо, Enterprise чтобы Immediate support нужен был, или 

 

19 минут назад, sol сказал:

На три сервера

 

[rm_]

Quote

"экспортировать" диски как блочные устройства с трёх серверов на четвёртый

В порядке убывания сложности/навороченности:

1) iSCSI

2) NBD

3) AoE (ATA over Ethernet)

Результат у всех один и тот же, ровно тот что вы хотели: удалённые диски с трёх серверов доступны на четвёртом сервере как блочные устройства.

Дальше делаете из них программный RAID средствами mdadm или LVM.

 

Если вы таки передумали решать на уровне блочных устройств, можете расшарить на трёх серверах каталоги по CIFS (Samba) или NFS, их примонтировать на четвёртом, и объединить в одну логическую сущность с помощью mergerfs.

[jffulcrum]

4 минуты назад, rm_ сказал:

2) NBD

3) AoE (ATA over Ethernet)

Это ж уже трупы...

[rm_]

Quote

Это ж уже трупы...

А там ls или mkdir не трупы случайно? А то держите в курсе.

 

Работают.

 

AoE правда уже не пользуюсь, но NBD - отличная не-overengineered версия iSCSI.

[sol]

Так, хорошо. С экспортом блочных устройств разобрались. Всем большое спасибо, я получил пищу для размышлений и опытов.

 

Какие варианты есть с распределёнными FS?

Я просто выпал из сетевой жизни лет на пять... И незаметно для себя съехал с первоначального ТЗ с блочными устройствами на распределённые FS.

 

[jffulcrum]

AoE - там когда последние коммиты были? NBD помню еще по FreeBDSM, даже как-то пользовался, но за пределы этого дивного демонического мирка тащить такое можно разве что из принципа.

[taf_321]

Не буду оригиналом - CEPH.

 

Масштаб как раз от трех нод это его масштаб.

[ShumBor]

В 08.06.2023 в 22:36, sol сказал:

Что-то такое я и видел себе. Но тут некий оверхид намечается. Хотелось бы "для гломуру" на уровне FS порешать. Хотя иных аргументов кроме "не совсем красиво" у меня нет.

 

Подскажите, это нормально работает? Работает из коробки или надо что-то нудно тюнить?

 

Ну у нас оверхед был побольше, т.к. iscsi хранилось на винде, а там отдается из файла а не блочник.

Но камер 500-600 тянуло, дальше не наблюдал, это у соседнего отдела схема.

Из тюнинга - карточки i710 поставили заместо наботрных с медной 10кой (те затыкались немого на 5-6G, но я не ковырял их, у них свой админ под это дело есть), да mtu 9к + буфера карточки в 4к.

Я у себя дома хранилки под видео вообще по sshfs собираю (гиг выжимаю на обмене), но мне так удобнее да и исторически так было - лень переделывать.

Edited June 9, 2023 by ShumBor

[pppoetest]

7 часов назад, sol сказал:

И незаметно для себя съехал с первоначального ТЗ с блочными устройствами на распределённые FS.

glusterfs?

[Ivan_83]

Кажется GEOM во FreeBSD может по сети блочные девайсы отдавать.

[jffulcrum]

10 часов назад, Ivan_83 сказал:

Кажется GEOM во FreeBSD может по сети блочные девайсы отдавать.

Да, ggated, но это по-сути редирект в userspace, мееедленно...