[alibek]

Есть СХД, в которой созданы несколько томов по 80 ТБ.

Интерфейсы iSCSI 1/10G.

С СХД будет работать 2-4 сервера, основная задача — запись видеоархива с камер.

Видеоархив представляет собой множество файлов размером по 15 МБ, раскиданных по куче подкаталогов с уровнем вложенности 4. То есть базовый каталог, в нем четыре уровня подкаталогов и внутри нижнего размещается до 300 файлов размером по 15 МБ.

Доступны RAID10, RAID3, RAID5, RAID6.

Я склоняюсь к RAID3, но меня пугают падением производительности при нескольких клиентах и маленьких файлах. Маленьких файлов у меня нет (если не считать за такие подкаталоги). Клиентов у меня четыре, но применимо ли это при подключении по iSCSI?

RAID10 всех хорош, кроме места, жалко половину пространства терять. RAID5 и RAID6 смущают снижением скорости на запись.

[YuryD]

Что-то вы не туда склоняетесь. Склоняйтесь в сторону массивов с горячей заменой, чтобы без боязни вынимать горячие пирожки и складывать в архив. Главная проблема видеоархивов - куда всё это складывать. Держать терабайты в онлайн - это дорого. У нас местный монстр на 200 камер - долго чесался, но прикупил что-то аппаратное с горячей заменой hdd.

[alibek]

СХД уже куплена. И с такой плотностью там не корзина, а дисковые полки, так что горячей замены (чтобы том оставался в онлайне) не получится.

[DVM-Avgoor]

Оооо, вы придумали себе изощренное издевательство. А в основе реальная СХД или фряшечка на ZFS?

[alibek]

Реальная.

[taf_321]

Если вам нужна хоть какая-то вероятност, что данные потом можно будет из СХД забрать, то вам только RAID10. Стопка RAID1 объединенная в RAID0.

[alibek]

На RAID10 будет теряться половина объема.

Жалко.

[Sergeylo]

На RAID10 будет теряться половина объема.

А в остальных вариантах будет теряться производительность и/или отказоустойчивость при очередном вылете диска.

Практика ошибок (почти все ошибки - чужие): сомневаешься - делай RAID10, или не сомневайся и делай RAID10.

[alibek]

Какой-то особой отказоустойчивости я от RAID10 не ожидаю.

Да, если вылетит один диск, массив останется в работе.

Но однотипные диски в одинаковых условиях и сыпаться начнут одновременно.

И если выйдет из строя зеркальная пара, то восстановить данные из RAID0 будет ничуть не легче, чем на любом другом RAID.

[Dark_Angel]

+1 на таком объеме только RAID10.

 

У вас по сути вариантов нет:

RAID3 - это, видимо, промежуточный результат по пути к 5, 6. Проблемы при множественной записи ( ваш случай ), ну и вообще побитовый страйп - это дичь.

RAID5 - можно потерять только один диск + не быстр на запись.

RAID6 - можно потерять только два диска + не быстр на запись.

RAID10 - можно потерять хоть половину дисков из разных зеркал, наивысшая производительность из доступных рейдов, а именно сумма iops половины дисков.

[Dark_Angel]

Какой-то особой отказоустойчивости я от RAID10 не ожидаю.

Да, если вылетит один диск, массив останется в работе.

Но однотипные диски в одинаковых условиях и сыпаться начнут одновременно.

И если выйдет из строя зеркальная пара, то восстановить данные из RAID0 будет ничуть не легче, чем на любом другом RAID.

 

RAID10 самый отказоустойчивый вариант из всех на большом количестве дисков.

 

Вы не забывайте, что запись на диски идет в страйпе. То есть вся полка равномерно нагружена, соответственно вероятность того, что выйдут два диска одновременно из одной пары ниже чем вероятность выхода двух дисков вообще ( RAID5, RAID6 ).

 

Ну и еще важный момент. В случае кошмара и ужаса, когда вышли диски в зеркале в RAID10 вы потенциально можете рейд разобрать до RAID0 и попробовать его поднять с потерями. Тогда как в остальных случаях вы получите просто кашу из данных.

 

RAID10 не панацея и проблемы у него есть, но пока ничего лучше не придумали, увы.

Edited December 26, 2014 by Dark_Angel

[taf_321]

Да, если вылетит один диск, массив останется в работе.

Но однотипные диски в одинаковых условиях и сыпаться начнут одновременно.

Есть нюанс. Полное восстановление RAID10 происходит при синхронизации одной пары дисков за весьма скромное время при очень незначильноей деградации производительности массива в целом. На RAID5/6 это будет нетривиальное приключение, когда на чтение шерстятся все диски в массиве. Производительность катится в дупу, и имеем неплохой шанс при такой дисковой активности получить "КВА" от еще одного диска. Вот тут-то танцы с бубном и начнутся. Нееее, нафиг, нафиг это счастье.

[pavel.odintsov]

Только RAID-10. Лучше него только RAID-Z2/Z3 из ZFS (с соответствующей ОС), но там нужны серьезные навыки по готовке. У меня в продакшене много сотен машин с RAID-10 аппаратном - работают как часы. А вот RAID5/RAID6 показали себя с самой мерзкой стороны - сыпались постоянно.

[YuryD]

А на сколько часов хранения хватит 80Тб ? А потом что делать ? Удалять старые файлы ?

[alibek]

Ну у меня не один том по 80 ТБ, а несколько.

Мне достаточно хранить видеоархив за 2 недели, более старые записи будут удаляться.

Правда если использовать RAID10, то будет уже 40 ТБ и две недели могут уже не поместиться.

 

Но пожалуй и в самом деле, оптимальным будет RAID10, хоть и жалко место.

На СХД есть еще возможность собрать диски в динамический дисковый пул, с возможностью изменять количество дисков в пуле. Но внутри это будет RAID-6.

У RAID10 есть еще то преимущество, что зеркальные пары можно разобрать по разным слотам, и тогда можно будет осуществлять горячую замену дисков. Все остальные варианты горячей замены не допускают, при вынимании слота том будет отключаться.

[BETEPAH]

Я для своего видеонаблюдения raid 0 сделал. Исходил из того, что много скорости не бывает, а дискового объёма наоборот обычно мало. Просматривать архив нечасто нужно, примерно раз в месяц возникает такая ситуация и то для двухдневной давности. Ну и хотсвап для меня не нужен. За 10 минут замены ничего не случится :-)

Edited December 26, 2014 by BETEPAH

[FATHER_FBI]

Мне кажется ТС не правильно подошел к вопросу. Для выбора массива нужно для начала определиться что он должен и сможет на себя принимать, важна ли отказоустойчивость и критична ли потеря данных в случае отказа массива. Если у дисков размер блока 4KB и файловая система СХД позволяет работать с такими блоками, можно использовать RAID3/6. А тут нужно делать упор на будущее, потому что для систем видеонаблюдения есть свой класс дисков. А если пренебречь всеми мелочами, оно будет работать через жопу, если только СХД не ентерпрайз класса а сервера пишут с аналоговых камер.

[Megas]

1. При проэктировании массива особенно raid 10 существуют ограничения на количество дисков участников, в 10ом raid не все так просто как кажется на самом деле, рекомендовано не более 16ти дисков (был недавно на LSI конференции), по остальным массивам тоже все сложно.

В самых крупных системах юзают raid60, как наиболее интересное решение.

[Zaqwr]

А если JBOD, то наверное месяц поместится, может вам всётаки не так критичен выход и строя одного диска с потерей данных одного диска и ~двух дневными данными?

Зато он дёргаться будет по сути раз в месяц, что безусловно продлит срок его службы двухкратно.

[taf_321]

Я для своего видеонаблюдения raid 0 сделал. Исходил из того, что много скорости не бывает, а дискового объёма наоборот обычно мало. Просматривать архив нечасто нужно, примерно раз в месяц возникает такая ситуация и то для двухдневной давности. Ну и хотсвап для меня не нужен. За 10 минут замены ничего не случится :-)

Ну, как-бы, при RAID0 на время замены сдохшего шпинделя как бы уже можно положить, не находите?

 

1. При проэктировании массива особенно raid 10 существуют ограничения на количество дисков участников, в 10ом raid не все так просто как кажется на самом деле, рекомендовано не более 16ти дисков (был недавно на LSI конференции), по остальным массивам тоже все сложно.

В самых крупных системах юзают raid60, как наиболее интересное решение.

А чем обоснованно ограничение для 10 в 16 дисков? Не в плане "у вендора %NAME% массив 10 можно создать не более чем из 16 устройство" а в чем принципиальное ограничение? 16 дисков хорошо коррелирует с количеством портов у контроллеров указанного вами производителя. Но что мешает, к примеру, замутить 10 из большего числа дисков средствами mdadm?

 

Про RAID60. Вот есть RAID-5, это такой "надежный" массив для жадных. RAID-6 и производные по-сути то же самое, Что и 5 но для жадин, так и не научившихся на своих эксперментах с 5.

[Saab95]

А у вас диски в рейде как ломаются? Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга. При этом все данные без проблем переписывались.

[alibek]

Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга.

Мне такой подход не подходит.

Сбойные диски просто меняются по гарантии.

[taf_321]

А у вас диски в рейде как ломаются? Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга. При этом все данные без проблем переписывались.

 

У нас тоже вынутые из массивов сбойные диски после некоторого напильника получают вторую жизнь на очень второстепенных местах - всякие постакушки, диски офисных компов и подобное. Ставить куда-то, где молотятся ценные данные дураков нет.

[pppoetest]

А у вас диски в рейде как ломаются? Сколько не было дисков в отказах, так потом они всегда оказывались работоспособными, когда их из массива вытаскивали, достаточно было пройтись программой для ремаппинга. При этом все данные без проблем переписывались.

Опять теоретик, видать не было у вас данных, стоимость которых в десятки раз больше упавшего (пусть потом и ремапленного) винта.

[Saab95]

Опять теоретик, видать не было у вас данных, стоимость которых в десятки раз больше упавшего (пусть потом и ремапленного) винта.

 

Временные файлы никогда на рейд массивах не хранили? Соответственно стоимости они никакой не имеют, потери могут быть только в простое на время восстановления массива и распаковки на них данных.