Jump to content
Калькуляторы

Посоветуйте тип RAID

Есть СХД, в которой созданы несколько томов по 80 ТБ.

Интерфейсы iSCSI 1/10G.

С СХД будет работать 2-4 сервера, основная задача — запись видеоархива с камер.

Видеоархив представляет собой множество файлов размером по 15 МБ, раскиданных по куче подкаталогов с уровнем вложенности 4. То есть базовый каталог, в нем четыре уровня подкаталогов и внутри нижнего размещается до 300 файлов размером по 15 МБ.

Доступны RAID10, RAID3, RAID5, RAID6.

Я склоняюсь к RAID3, но меня пугают падением производительности при нескольких клиентах и маленьких файлах. Маленьких файлов у меня нет (если не считать за такие подкаталоги). Клиентов у меня четыре, но применимо ли это при подключении по iSCSI?

RAID10 всех хорош, кроме места, жалко половину пространства терять. RAID5 и RAID6 смущают снижением скорости на запись.

Share this post


Link to post
Share on other sites

Что-то вы не туда склоняетесь. Склоняйтесь в сторону массивов с горячей заменой, чтобы без боязни вынимать горячие пирожки и складывать в архив. Главная проблема видеоархивов - куда всё это складывать. Держать терабайты в онлайн - это дорого. У нас местный монстр на 200 камер - долго чесался, но прикупил что-то аппаратное с горячей заменой hdd.

Share this post


Link to post
Share on other sites

СХД уже куплена. И с такой плотностью там не корзина, а дисковые полки, так что горячей замены (чтобы том оставался в онлайне) не получится.

san1.jpg

Share this post


Link to post
Share on other sites

Оооо, вы придумали себе изощренное издевательство. А в основе реальная СХД или фряшечка на ZFS?

Share this post


Link to post
Share on other sites

Если вам нужна хоть какая-то вероятност, что данные потом можно будет из СХД забрать, то вам только RAID10. Стопка RAID1 объединенная в RAID0.

Share this post


Link to post
Share on other sites
На RAID10 будет теряться половина объема.

А в остальных вариантах будет теряться производительность и/или отказоустойчивость при очередном вылете диска.

Практика ошибок (почти все ошибки - чужие): сомневаешься - делай RAID10, или не сомневайся и делай RAID10.

Share this post


Link to post
Share on other sites

Какой-то особой отказоустойчивости я от RAID10 не ожидаю.

Да, если вылетит один диск, массив останется в работе.

Но однотипные диски в одинаковых условиях и сыпаться начнут одновременно.

И если выйдет из строя зеркальная пара, то восстановить данные из RAID0 будет ничуть не легче, чем на любом другом RAID.

Share this post


Link to post
Share on other sites

+1 на таком объеме только RAID10.

 

У вас по сути вариантов нет:

RAID3 - это, видимо, промежуточный результат по пути к 5, 6. Проблемы при множественной записи ( ваш случай ), ну и вообще побитовый страйп - это дичь.

RAID5 - можно потерять только один диск + не быстр на запись.

RAID6 - можно потерять только два диска + не быстр на запись.

RAID10 - можно потерять хоть половину дисков из разных зеркал, наивысшая производительность из доступных рейдов, а именно сумма iops половины дисков.

Share this post


Link to post
Share on other sites

Какой-то особой отказоустойчивости я от RAID10 не ожидаю.

Да, если вылетит один диск, массив останется в работе.

Но однотипные диски в одинаковых условиях и сыпаться начнут одновременно.

И если выйдет из строя зеркальная пара, то восстановить данные из RAID0 будет ничуть не легче, чем на любом другом RAID.

 

RAID10 самый отказоустойчивый вариант из всех на большом количестве дисков.

 

Вы не забывайте, что запись на диски идет в страйпе. То есть вся полка равномерно нагружена, соответственно вероятность того, что выйдут два диска одновременно из одной пары ниже чем вероятность выхода двух дисков вообще ( RAID5, RAID6 ).

 

Ну и еще важный момент. В случае кошмара и ужаса, когда вышли диски в зеркале в RAID10 вы потенциально можете рейд разобрать до RAID0 и попробовать его поднять с потерями. Тогда как в остальных случаях вы получите просто кашу из данных.

 

RAID10 не панацея и проблемы у него есть, но пока ничего лучше не придумали, увы.

Edited by Dark_Angel

Share this post


Link to post
Share on other sites

Да, если вылетит один диск, массив останется в работе.

Но однотипные диски в одинаковых условиях и сыпаться начнут одновременно.

Есть нюанс. Полное восстановление RAID10 происходит при синхронизации одной пары дисков за весьма скромное время при очень незначильноей деградации производительности массива в целом. На RAID5/6 это будет нетривиальное приключение, когда на чтение шерстятся все диски в массиве. Производительность катится в дупу, и имеем неплохой шанс при такой дисковой активности получить "КВА" от еще одного диска. Вот тут-то танцы с бубном и начнутся. Нееее, нафиг, нафиг это счастье.

Share this post


Link to post
Share on other sites

Только RAID-10. Лучше него только RAID-Z2/Z3 из ZFS (с соответствующей ОС), но там нужны серьезные навыки по готовке. У меня в продакшене много сотен машин с RAID-10 аппаратном - работают как часы. А вот RAID5/RAID6 показали себя с самой мерзкой стороны - сыпались постоянно.

Share this post


Link to post
Share on other sites

А на сколько часов хранения хватит 80Тб ? А потом что делать ? Удалять старые файлы ?

Share this post


Link to post
Share on other sites

Ну у меня не один том по 80 ТБ, а несколько.

Мне достаточно хранить видеоархив за 2 недели, более старые записи будут удаляться.

Правда если использовать RAID10, то будет уже 40 ТБ и две недели могут уже не поместиться.

 

Но пожалуй и в самом деле, оптимальным будет RAID10, хоть и жалко место.

На СХД есть еще возможность собрать диски в динамический дисковый пул, с возможностью изменять количество дисков в пуле. Но внутри это будет RAID-6.

У RAID10 есть еще то преимущество, что зеркальные пары можно разобрать по разным слотам, и тогда можно будет осуществлять горячую замену дисков. Все остальные варианты горячей замены не допускают, при вынимании слота том будет отключаться.

Share this post


Link to post
Share on other sites

Я для своего видеонаблюдения raid 0 сделал. Исходил из того, что много скорости не бывает, а дискового объёма наоборот обычно мало. Просматривать архив нечасто нужно, примерно раз в месяц возникает такая ситуация и то для двухдневной давности. Ну и хотсвап для меня не нужен. За 10 минут замены ничего не случится :-)

Edited by BETEPAH

Share this post


Link to post
Share on other sites

Мне кажется ТС не правильно подошел к вопросу. Для выбора массива нужно для начала определиться что он должен и сможет на себя принимать, важна ли отказоустойчивость и критична ли потеря данных в случае отказа массива. Если у дисков размер блока 4KB и файловая система СХД позволяет работать с такими блоками, можно использовать RAID3/6. А тут нужно делать упор на будущее, потому что для систем видеонаблюдения есть свой класс дисков. А если пренебречь всеми мелочами, оно будет работать через жопу, если только СХД не ентерпрайз класса а сервера пишут с аналоговых камер.

Share this post


Link to post
Share on other sites

1. При проэктировании массива особенно raid 10 существуют ограничения на количество дисков участников, в 10ом raid не все так просто как кажется на самом деле, рекомендовано не более 16ти дисков (был недавно на LSI конференции), по остальным массивам тоже все сложно.

В самых крупных системах юзают raid60, как наиболее интересное решение.

Share this post


Link to post
Share on other sites

А если JBOD, то наверное месяц поместится, может вам всётаки не так критичен выход и строя одного диска с потерей данных одного диска и ~двух дневными данными?

Зато он дёргаться будет по сути раз в месяц, что безусловно продлит срок его службы двухкратно.

Share this post


Link to post
Share on other sites

Я для своего видеонаблюдения raid 0 сделал. Исходил из того, что много скорости не бывает, а дискового объёма наоборот обычно мало. Просматривать архив нечасто нужно, примерно раз в месяц возникает такая ситуация и то для двухдневной давности. Ну и хотсвап для меня не нужен. За 10 минут замены ничего не случится :-)

Ну, как-бы, при RAID0 на время замены сдохшего шпинделя как бы уже можно положить, не находите?

 

1. При проэктировании массива особенно raid 10 существуют ограничения на количество дисков участников, в 10ом raid не все так просто как кажется на самом деле, рекомендовано не более 16ти дисков (был недавно на LSI конференции), по остальным массивам тоже все сложно.

В самых крупных системах юзают raid60, как наиболее интересное решение.

А чем обоснованно ограничение для 10 в 16 дисков? Не в плане "у вендора %NAME% массив 10 можно создать не более чем из 16 устройство" а в чем принципиальное ограничение? 16 дисков хорошо коррелирует с количеством портов у контроллеров указанного вами производителя. Но что мешает, к примеру, замутить 10 из большего числа дисков средствами mdadm?

 

Про RAID60. Вот есть RAID-5, это такой "надежный" массив для жадных. RAID-6 и производные по-сути то же самое, Что и 5 но для жадин, так и не научившихся на своих эксперментах с 5.

Share this post


Link to post
Share on other sites

А у вас диски в рейде как ломаются? Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга. При этом все данные без проблем переписывались.

Share this post


Link to post
Share on other sites

Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга.

Мне такой подход не подходит.

Сбойные диски просто меняются по гарантии.

Share this post


Link to post
Share on other sites

А у вас диски в рейде как ломаются? Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга. При этом все данные без проблем переписывались.

 

У нас тоже вынутые из массивов сбойные диски после некоторого напильника получают вторую жизнь на очень второстепенных местах - всякие постакушки, диски офисных компов и подобное. Ставить куда-то, где молотятся ценные данные дураков нет.

Share this post


Link to post
Share on other sites

А у вас диски в рейде как ломаются? Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга. При этом все данные без проблем переписывались.

Опять теоретик, видать не было у вас данных, стоимость которых в десятки раз больше упавшего (пусть потом и ремапленного) винта.

Share this post


Link to post
Share on other sites

Опять теоретик, видать не было у вас данных, стоимость которых в десятки раз больше упавшего (пусть потом и ремапленного) винта.

 

Временные файлы никогда на рейд массивах не хранили? Соответственно стоимости они никакой не имеют, потери могут быть только в простое на время восстановления массива и распаковки на них данных.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this