sol Опубликовано 8 июня, 2023 · Жалоба Хочу странного. СХД по дешману. Есть три сервера с много-много дисков каждый. Есть четвёртый сервер, который должен работать с большими массивами данных. Между серверами есть быстрая сеть. Хочется объединить диски с трёх серверов в единое пространство хранения. Как бы "экспортировать" диски как блочные устройства с трёх серверов на четвёртый и собрать на нём, по вкусу, Soft RAID из всей пачки дисков с трёх серверов или, скажем, некий LVM из трёх экспортированных RAID. Вопрос расширения всей конструкции дискуссионный. Я пока не знаю, надо будет это расширять или как на заводе отлили, так и будет всю жизнь работать. Точка изменения данных одна - это четвёртый сервер. Только он будет читать и писать данные. Три богатых дисками серверы - рабы, сами ничего не делают. Только предоставляют диски или собранные из них "на месте" LVM тома, или RAID массивы четвёртому серверу. Про кластерные FS слышал, но не видел. С Ceph даже работал, но тут он шибко избыточен. Нет должного масштаба. Возможно, я вообще фантазирую не в ту сторону. Если так - укажите верное направление. Назначение хранилища - хранение "медленных" данных. Что-то типа видео, но не совсем. Скорее большаааая файлопомойка. Толерантность к потере данных имеется. Если всё одним чохом грохнется, то меня заругают, но сепукку делать не заставят. Просто опять натащат из разных концов 100500 теров на свежеотформатированную файлопомойку. Но всё-же некую защиту от отказа одного диска иметь обязательно надо. А то будут часто ругать, а мне не нравится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rz3dwy Опубликовано 8 июня, 2023 · Жалоба Vmware vSAN? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sol Опубликовано 8 июня, 2023 · Жалоба 8 минут назад, rz3dwy сказал: Vmware vSAN? Почти совсем "не то". Оно и коммерческое, и закрытое, и огромное, и конвергентное. А мне не надо ничего виртуализовать. Мне надо только хранить и медленно обновлять. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 8 июня, 2023 · Жалоба почему бы не сократить задачу до NFS и рейды собирать на 3 серверах? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sol Опубликовано 8 июня, 2023 · Жалоба 4 минуты назад, myth сказал: почему бы не сократить задачу до NFS и рейды собирать на 3 серверах? А как из этого получить один том хранения, а не три? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ShumBor Опубликовано 8 июня, 2023 (изменено) · Жалоба отдать блочные по iscsi и собрать в lvm Точнее у нас raid5 тома экспортирутся по iscsi и собираются в один большой lvm том состоящий из куска локального и десятки удаленных кусков Как раз под видео Изменено 8 июня, 2023 пользователем ShumBor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 8 июня, 2023 · Жалоба Open Source Software-Defined Storage - LINBIT Но оно тоже из разряда хипер-искаверкентности Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
TriKS Опубликовано 8 июня, 2023 · Жалоба ceph Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 8 июня, 2023 · Жалоба 1 час назад, TriKS сказал: ceph Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sol Опубликовано 8 июня, 2023 · Жалоба 11 часов назад, ShumBor сказал: отдать блочные по iscsi и собрать в lvm Точнее у нас raid5 тома экспортирутся по iscsi и собираются в один большой lvm том состоящий из куска локального и десятки удаленных кусков Как раз под видео Что-то такое я и видел себе. Но тут некий оверхид намечается. Хотелось бы "для гломуру" на уровне FS порешать. Хотя иных аргументов кроме "не совсем красиво" у меня нет. Подскажите, это нормально работает? Работает из коробки или надо что-то нудно тюнить? 11 часов назад, TriKS сказал: ceph Я же говорю: Это нормальное решение для большого кластера. На три сервера ceph очень громоздко выходит. Не его масштаб... 11 часов назад, jffulcrum сказал: Open Source Software-Defined Storage - LINBIT Там внизу страницы денег попросили. Я боюс. Я не хочу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 8 июня, 2023 · Жалоба 19 минут назад, sol сказал: Там внизу страницы денег попросили. Я боюс. Я не хочу. У вас чо, Enterprise чтобы Immediate support нужен был, или 19 минут назад, sol сказал: На три сервера Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 8 июня, 2023 · Жалоба Quote "экспортировать" диски как блочные устройства с трёх серверов на четвёртый В порядке убывания сложности/навороченности: 1) iSCSI 2) NBD 3) AoE (ATA over Ethernet) Результат у всех один и тот же, ровно тот что вы хотели: удалённые диски с трёх серверов доступны на четвёртом сервере как блочные устройства. Дальше делаете из них программный RAID средствами mdadm или LVM. Если вы таки передумали решать на уровне блочных устройств, можете расшарить на трёх серверах каталоги по CIFS (Samba) или NFS, их примонтировать на четвёртом, и объединить в одну логическую сущность с помощью mergerfs. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 8 июня, 2023 · Жалоба 4 минуты назад, rm_ сказал: 2) NBD 3) AoE (ATA over Ethernet) Это ж уже трупы... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 8 июня, 2023 · Жалоба Quote Это ж уже трупы... А там ls или mkdir не трупы случайно? А то держите в курсе. Работают. AoE правда уже не пользуюсь, но NBD - отличная не-overengineered версия iSCSI. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sol Опубликовано 8 июня, 2023 · Жалоба Так, хорошо. С экспортом блочных устройств разобрались. Всем большое спасибо, я получил пищу для размышлений и опытов. Какие варианты есть с распределёнными FS? Я просто выпал из сетевой жизни лет на пять... И незаметно для себя съехал с первоначального ТЗ с блочными устройствами на распределённые FS. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 8 июня, 2023 · Жалоба AoE - там когда последние коммиты были? NBD помню еще по FreeBDSM, даже как-то пользовался, но за пределы этого дивного демонического мирка тащить такое можно разве что из принципа. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 9 июня, 2023 · Жалоба Не буду оригиналом - CEPH. Масштаб как раз от трех нод это его масштаб. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ShumBor Опубликовано 9 июня, 2023 (изменено) · Жалоба В 08.06.2023 в 22:36, sol сказал: Что-то такое я и видел себе. Но тут некий оверхид намечается. Хотелось бы "для гломуру" на уровне FS порешать. Хотя иных аргументов кроме "не совсем красиво" у меня нет. Подскажите, это нормально работает? Работает из коробки или надо что-то нудно тюнить? Ну у нас оверхед был побольше, т.к. iscsi хранилось на винде, а там отдается из файла а не блочник. Но камер 500-600 тянуло, дальше не наблюдал, это у соседнего отдела схема. Из тюнинга - карточки i710 поставили заместо наботрных с медной 10кой (те затыкались немого на 5-6G, но я не ковырял их, у них свой админ под это дело есть), да mtu 9к + буфера карточки в 4к. Я у себя дома хранилки под видео вообще по sshfs собираю (гиг выжимаю на обмене), но мне так удобнее да и исторически так было - лень переделывать. Изменено 9 июня, 2023 пользователем ShumBor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 9 июня, 2023 · Жалоба 7 часов назад, sol сказал: И незаметно для себя съехал с первоначального ТЗ с блочными устройствами на распределённые FS. glusterfs? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 9 июня, 2023 · Жалоба Кажется GEOM во FreeBSD может по сети блочные девайсы отдавать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 10 июня, 2023 · Жалоба 10 часов назад, Ivan_83 сказал: Кажется GEOM во FreeBSD может по сети блочные девайсы отдавать. Да, ggated, но это по-сути редирект в userspace, мееедленно... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
