sol Posted June 8, 2023 Хочу странного. СХД по дешману. Есть три сервера с много-много дисков каждый. Есть четвёртый сервер, который должен работать с большими массивами данных. Между серверами есть быстрая сеть. Хочется объединить диски с трёх серверов в единое пространство хранения. Как бы "экспортировать" диски как блочные устройства с трёх серверов на четвёртый и собрать на нём, по вкусу, Soft RAID из всей пачки дисков с трёх серверов или, скажем, некий LVM из трёх экспортированных RAID. Вопрос расширения всей конструкции дискуссионный. Я пока не знаю, надо будет это расширять или как на заводе отлили, так и будет всю жизнь работать. Точка изменения данных одна - это четвёртый сервер. Только он будет читать и писать данные. Три богатых дисками серверы - рабы, сами ничего не делают. Только предоставляют диски или собранные из них "на месте" LVM тома, или RAID массивы четвёртому серверу. Про кластерные FS слышал, но не видел. С Ceph даже работал, но тут он шибко избыточен. Нет должного масштаба. Возможно, я вообще фантазирую не в ту сторону. Если так - укажите верное направление. Назначение хранилища - хранение "медленных" данных. Что-то типа видео, но не совсем. Скорее большаааая файлопомойка. Толерантность к потере данных имеется. Если всё одним чохом грохнется, то меня заругают, но сепукку делать не заставят. Просто опять натащат из разных концов 100500 теров на свежеотформатированную файлопомойку. Но всё-же некую защиту от отказа одного диска иметь обязательно надо. А то будут часто ругать, а мне не нравится. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rz3dwy Posted June 8, 2023 Vmware vSAN? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sol Posted June 8, 2023 8 минут назад, rz3dwy сказал: Vmware vSAN? Почти совсем "не то". Оно и коммерческое, и закрытое, и огромное, и конвергентное. А мне не надо ничего виртуализовать. Мне надо только хранить и медленно обновлять. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
myth Posted June 8, 2023 почему бы не сократить задачу до NFS и рейды собирать на 3 серверах? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sol Posted June 8, 2023 4 минуты назад, myth сказал: почему бы не сократить задачу до NFS и рейды собирать на 3 серверах? А как из этого получить один том хранения, а не три? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
ShumBor Posted June 8, 2023 (edited) отдать блочные по iscsi и собрать в lvm Точнее у нас raid5 тома экспортирутся по iscsi и собираются в один большой lvm том состоящий из куска локального и десятки удаленных кусков Как раз под видео Edited June 8, 2023 by ShumBor Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted June 8, 2023 Open Source Software-Defined Storage - LINBIT Но оно тоже из разряда хипер-искаверкентности Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted June 8, 2023 ceph Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted June 8, 2023 1 час назад, TriKS сказал: ceph Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sol Posted June 8, 2023 11 часов назад, ShumBor сказал: отдать блочные по iscsi и собрать в lvm Точнее у нас raid5 тома экспортирутся по iscsi и собираются в один большой lvm том состоящий из куска локального и десятки удаленных кусков Как раз под видео Что-то такое я и видел себе. Но тут некий оверхид намечается. Хотелось бы "для гломуру" на уровне FS порешать. Хотя иных аргументов кроме "не совсем красиво" у меня нет. Подскажите, это нормально работает? Работает из коробки или надо что-то нудно тюнить? 11 часов назад, TriKS сказал: ceph Я же говорю: Это нормальное решение для большого кластера. На три сервера ceph очень громоздко выходит. Не его масштаб... 11 часов назад, jffulcrum сказал: Open Source Software-Defined Storage - LINBIT Там внизу страницы денег попросили. Я боюс. Я не хочу. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted June 8, 2023 19 минут назад, sol сказал: Там внизу страницы денег попросили. Я боюс. Я не хочу. У вас чо, Enterprise чтобы Immediate support нужен был, или 19 минут назад, sol сказал: На три сервера Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rm_ Posted June 8, 2023 Quote "экспортировать" диски как блочные устройства с трёх серверов на четвёртый В порядке убывания сложности/навороченности: 1) iSCSI 2) NBD 3) AoE (ATA over Ethernet) Результат у всех один и тот же, ровно тот что вы хотели: удалённые диски с трёх серверов доступны на четвёртом сервере как блочные устройства. Дальше делаете из них программный RAID средствами mdadm или LVM. Если вы таки передумали решать на уровне блочных устройств, можете расшарить на трёх серверах каталоги по CIFS (Samba) или NFS, их примонтировать на четвёртом, и объединить в одну логическую сущность с помощью mergerfs. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted June 8, 2023 4 минуты назад, rm_ сказал: 2) NBD 3) AoE (ATA over Ethernet) Это ж уже трупы... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rm_ Posted June 8, 2023 Quote Это ж уже трупы... А там ls или mkdir не трупы случайно? А то держите в курсе. Работают. AoE правда уже не пользуюсь, но NBD - отличная не-overengineered версия iSCSI. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sol Posted June 8, 2023 Так, хорошо. С экспортом блочных устройств разобрались. Всем большое спасибо, я получил пищу для размышлений и опытов. Какие варианты есть с распределёнными FS? Я просто выпал из сетевой жизни лет на пять... И незаметно для себя съехал с первоначального ТЗ с блочными устройствами на распределённые FS. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted June 8, 2023 AoE - там когда последние коммиты были? NBD помню еще по FreeBDSM, даже как-то пользовался, но за пределы этого дивного демонического мирка тащить такое можно разве что из принципа. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
taf_321 Posted June 9, 2023 Не буду оригиналом - CEPH. Масштаб как раз от трех нод это его масштаб. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
ShumBor Posted June 9, 2023 (edited) В 08.06.2023 в 22:36, sol сказал: Что-то такое я и видел себе. Но тут некий оверхид намечается. Хотелось бы "для гломуру" на уровне FS порешать. Хотя иных аргументов кроме "не совсем красиво" у меня нет. Подскажите, это нормально работает? Работает из коробки или надо что-то нудно тюнить? Ну у нас оверхед был побольше, т.к. iscsi хранилось на винде, а там отдается из файла а не блочник. Но камер 500-600 тянуло, дальше не наблюдал, это у соседнего отдела схема. Из тюнинга - карточки i710 поставили заместо наботрных с медной 10кой (те затыкались немого на 5-6G, но я не ковырял их, у них свой админ под это дело есть), да mtu 9к + буфера карточки в 4к. Я у себя дома хранилки под видео вообще по sshfs собираю (гиг выжимаю на обмене), но мне так удобнее да и исторически так было - лень переделывать. Edited June 9, 2023 by ShumBor Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
pppoetest Posted June 9, 2023 7 часов назад, sol сказал: И незаметно для себя съехал с первоначального ТЗ с блочными устройствами на распределённые FS. glusterfs? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted June 9, 2023 Кажется GEOM во FreeBSD может по сети блочные девайсы отдавать. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted June 10, 2023 10 часов назад, Ivan_83 сказал: Кажется GEOM во FreeBSD может по сети блочные девайсы отдавать. Да, ggated, но это по-сути редирект в userspace, мееедленно... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
