[fox_m]

Коллеги, подскажите, какой RAID выбрать под новый сервер. RAID программный (mdadm), встроенного нету.

 

Есть сервер с 4 дисками по 1Тб, на который планируется поставить Ubuntu 22.04 Нагрузка на сервер планируется не сильно большая (MySQL, Asterisk в основном) и сильно много дискового пространства также не надо. Главное - надежность. Я вижу такие варианты:

 

1. RAID5 из 4-х дисков (без hotspare)

2. RAID1 из 4-х дисков (по идее самый надежный)

3. RAID1 из 2-x дисков под ОС, а второй RAID1 из 2-x дисков чисто под данные

 

 

 

 

 

[Saab95]

29 минут назад, fox_m сказал:

3. RAID1 из 2-x дисков под ОС, а второй RAID1 из 2-x дисков чисто под данные

На этом варианте и нужно остановится.

[fox_m]

Спасибо!

[bike]

А может 10ку?

[nixx]

тезис: "главное - надежность" и софтрейд (особенно на mdadm, а не какой-нибудь raidz2 на zfs) - это такое... не очень симметричное сочетание, имхо.

возьмите, вон, Inspur 2208MR (aka LSI 9271-8i) на али сейчас 1200 рублей без батарейки (и 3к с батарейкой).

[naves]

Если ядро никто не будет в панику валить регулярно, то софтрейда за глаза хватит. Городить специальную покупку железного рейда ради 4 терабайтных дисков тоже бред смысла нет. За 12 часов rebuild спокойно завершится.

А если диски изначально говно с бедблоками, или если бэдблоки, внезапно, появятся в секторах с метаданными, то и железный рейд может зависнуть.

Еще можно вариант 4. использовать raid10

Сделать два раздела (на самом деле четыре, bios grub, efi, для md0, для md1) на каждом диске.

Cистема вместе с /boot ставится на /md0, который raid1, или 10. Тк диски меньше 4тб, то grub спокойно найдет каталог /boot внутри md0

Ну а данные на md1, который 10 рейд из 4 разделов.

Не сказано SSD или HDD у вас.

Если HDD, то может стоит посмотреть на такой вариант. + к производительности.

Но некоторые, с непривычки могут посчитать экзотикой всю эту схему разметки.

 

Строго говоря bios boot не нужен для efi-загрузки, обратно не нужен efi раздел для legacy-загрузки, но мало ли на какой системе внезапно понадобится загрузиться.

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048            4095   1024.0 KiB  EF02  BIOS boot partition
   2            4096          528383   256.0 MiB   EF00  EFI System
   3          528384        xxxxxxxx   xxx GiB     FD00  Linux RAID
   4        xxxxxxxx        xxxxxxxx   xxx GiB     FD00  Linux RAID

 

Edited October 21 by naves

[straus]

Если по вменяемой цене получится купить контроллер (а лучше два, пусть запасной лежит) - есть смысл рассмотреть железный вариант.

Разнести ОС и данные - хорошая идея.

Использовать SSD для часто перезаписываемых данных - плохая идея, даже для современных SSD. В остальных случаях SSD оправданы.

Лично моё мнение - не использовать RAID 5 или 10 в случае софт-рэйда (из-за специфики операций).

 

Предположительно (не совсем по условиям ТС):

- хардварный контроллер

- два SSD в RAID1 под систему

- четыре HDD в RAID1 (трёхкратная избыточность) или RAID10 (однократная избыточность + производительность) под данные

 

Если буквально учитывать условия ТС:

- два софт-RAID1

[sdy_moscow]

5 часов назад, fox_m сказал:

Коллеги, подскажите, какой RAID выбрать под новый сервер. RAID программный (mdadm), встроенного нету.

....

Интересно, автор топика когда себе машину или обувь выбирает, также действует?

Подходит к незнакомым людям и сразу такой:

"А посоветуйте мне новую машину!?"

"Привет,  а какую новую обувь сейчас покупать!?".

 

Выбор и настройка рейд массива - это прежде всего выбор решения ПОД ЗАДАЧУ и железо или бюджет! А не выбор цифры номера рейда под цвет потолка, размер дисков и версию ОС! 

 

4 часа назад, Saab95 сказал:

   3. RAID1 из 2-x дисков под ОС, а второй RAID1 из 2-x дисков чисто под данные

...

На этом варианте и нужно остановится.

Тот раз когда я соглашусь с Саабом! В общем случае - да, как показала практика, так получается самый надежный вариант! Но еще надо бы добавить бэкапы на внешний носитель - и будет ЩАСЬЕ!

К сожалению как показала жизнь, завалившийся рейд старше 1, поднять получается 50/50. У новичка 1/99 !

[tcup]

Один ПК крутится на зеркале mdadm
Из особенностей, например, обновил Debian до 13, перезагрузил, не грузится, пришлось продублировать загрузчик на второй диск, чем апдейтер ОС не занимается.
Из непонятного мне - как RAID понимает, что он разваливается? Периодически он скребёт диски на предмет несоответствия информации. Если что-то найдёт, то поймёт, что развалился. Как понять, какой из дисков взять за эталон? Наверное, вручную указать и синхронизировать.
Что будет, например, если в SMART появится некая ошибка? Мониторит ли RAID это? Либо же, вешать мониторинг SMART и в случае ошибок принимать решение о перестроении RAID

[straus]

В 22.10.2025 в 07:26, tcup сказал:

Из непонятного мне - как RAID понимает, что он разваливается?

Уточни, о каком RAID речь - хардварном или софтварном.

 

В 22.10.2025 в 07:26, tcup сказал:

Периодически он скребёт диски на предмет несоответствия информации. Если что-то найдёт, то поймёт, что развалился. Как понять, какой из дисков взять за эталон?

Вообще у хардварных как правило нет понятия "развалился". Развалится может только софтварный. У хардварного при ошибке записи  (или чтения) сразу вылетает "отказ накопителя" и выполняется назначенная процедура. То есть, этот диск сразу выводится из работы.

Разве что при аварийном отключении питания может один из накопителей не успеть записать. Но тогда у него будет ошибка в контрольной сумме сектора и отказ чтения, опять же.

 

В 22.10.2025 в 07:26, tcup сказал:

Что будет, например, если в SMART появится некая ошибка? Мониторит ли RAID это? Либо же, вешать мониторинг SMART и в случае ошибок принимать решение о перестроении RAID

В хардварных RAID нет никакого перестроения (на сбойнувший диск). Только продолжение работы с оставшимися и аварийное копирование с оставшихся на Hot Spare или Spare. В это время массив слетает в состояние Degraded.

 

А у хардварных с батарейкой всё ещё оптимальнее. Вообще за несколько десятков лет по этой теме много чего придумали. Например ещё в эпоху SCSI RAID в ответственных применениях накопители подключались к RAID-контроллеру через специальную корзину SAF-TE (SCSI Accessed Fault-Tolerant Enclosure). Эта корзина висела на SCSI-шине отделным ID, и занималась мониторингом накопителей.

[tcup]

14 minutes ago, straus said:

Уточни, о каком RAID речь - хардварном или софтварном.

Об mdadm, темой, заданной ТС и первым предложением моего сообщения

По хардварному из опыта моего - выплёвывание диска по любому чиху smart-a

Edited October 22 by tcup

[fox_m]

Сервак не мой. Организация сама купили и попросили накатить ОС. Поэтому, приходится иметь дело с тем, что есть )

 

Про Raid10 тоже думал, но там сложнее при восстановлении.

[nixx]

при условиях задачи "сервак не мой, сделать софтрейд, и чтобы было надежно" ("надежно" в таких ситуациях обычно означает "бэкапов не делаем") я бы перевел общение из технической сферы в административно-коммуникативную и озадачил бы владельца сервера вопросом "кому и как активно будут иметь голову, если оно всё-таки посыпется/начнет глючить?"

ну и дальше действовать (либо отказываться от настройки) по соответствию с ответами.

я понимаю, что вотпрямсразу оно не развалится, а дальше "то ли падишах помрет, то ли ишак сдохнет", но тем не менее...

[fox_m]

Дальше уже не моя головная боль ) Кстати выяснилось, что на на сервере все же есть встроенный Raid от Intel. Intel VROC (Virtual RAID on CPU). Кто-то использовал такой? 

[tcup]

@fox_m вики пишет, что это для nvme. 

А вообще, про "полуаппаратные" слышал, что это хуже, чем программный (данные восстановить сложнее, или не надëжные?) 

[naves]

24 minutes ago, fox_m said:

Кстати выяснилось, что на на сервере все же есть встроенный Raid от Intel. Intel VROC (Virtual RAID on CPU). Кто-то использовал такой? 

Никаких fakeraid!

уже писали на этом форуме.

15 hours ago, straus said:

Использовать SSD для часто перезаписываемых данных - плохая идея, даже для современных SSD.

оО старперы набежали. Зачем тогда тебе SSD, если ты ее не используешь, положи на полку.

Вот ты когда машину покупаешь, ты тоже на ней не ездишь? Покрышки изнашиваются, колодки, лампочки перегорают. А тут поставил в гараж и любуешься. А сам ездишь на автобусе, ну и что, что медленней. Зато ресурс личной машины не тратится.

 

9 hours ago, tcup said:

Из непонятного мне - как RAID понимает, что он разваливается? Периодически он скребёт диски на предмет несоответствия информации. Если что-то найдёт, то поймёт, что развалился. Как понять, какой из дисков взять за эталон? Наверное, вручную указать и синхронизировать.
Что будет, например, если в SMART появится некая ошибка? Мониторит ли RAID это? Либо же, вешать мониторинг SMART и в случае ошибок принимать решение о перестроении RAID

Столько риторических вопросов...

 

 

9 hours ago, straus said:

Разве что при аварийном отключении питания может один из накопителей не успеть записать.

Именно поэтому при таком ребуте mdadm в явном виде делает resync. А чего там делает hwraid загадка, контролирует ли ситуацию, или болт положил.

[naves]

  

9 hours ago, straus said:

Вообще у хардварных как правило нет понятия "развалился". Развалится может только софтварный.

Развалиться - это значит какой-то диск отстрелился из рейда. А почему отстрелился, из-за единичкой ошибки чтения, из сотни realloc в SMART, или вообще завис, обычно загадка.

mdadm позволяет самому решить, что делать с этим дальше, или ничего не делать.

 

Чуть меньше десятка случаев я видел, когда ребутнули сервер, и все аппаратные рейды исчезли. Ну контроллер так решил, нету ничего.

HP - контроллеры вообще у меня с ними все время проблемы. Могли просто зависать под нагрузкой. Поменяли сервера на Dell, все нормально стало.

 

В общем собрание предубеждений о цветах фломастеров.

 

Я не защищаю тезис, что mdadm хорошо, а hwraid плохо. Я хочу сказать, что если у сервера не будет мониторинга, и никто не будет вовремя менять диски, до того как они будут "отстреливаться" (по растущим показателям realloc, или когда видно что один диск стал явно тупить по сравнению с соседними), если сервер будут пинать по 10 раз на дню, то в общем и целом разницы в надежности не будет.

Edited October 22 by naves

[jffulcrum]

2 часа назад, fox_m сказал:

на сервере все же есть встроенный Raid от Intel. Intel VROC (Virtual RAID on CPU

https://cdrdv2-public.intel.com/841442/linux-intel-vroc-userguide-333915.pdf

По-сути там тот же mdadm . Все это зависит от CPU, и очень желательна ECC память, при это средства мониторинга, типа тех же smartctl, за Интелом поспевают не всегда. Лучше уж обычный честный софтрейд. Тогда хоть 100% будут данные SMART c дисков.

 

Советую изучить сервак пристальнее. Может, есть M2 слот. Может, можно засунуть обычный SATA SSD для системы куда-то, просунув питание и SATA кабель. Может есть опция DOM модуля или тупо флешки в мать. Совершенно точно не рекомендуется держать систему на чем-либо с mdadm, приколов выловить можно преизрядно. С конкретно Ubuntu еще и приколы типа самообновления ядра (а вот initramfs поччему-то не самообновится).

 

[naves]

Вас послушать, то и zfs говно будет.

Уже несколько раз натыкался на прикол во FreeBSD. Система стоит на zfs mirror из двух маленьких дисков. Рядом н-ное количество дисков на 30тб в сумме в zfs pool data.

Все работает, все ребутается, все хорошо. Проходит год, сервак после ребута не грузится. Выясняется, при старте системы загрузчик фряхи ищет /boot каталог с ядром, в процессе поиска натыкается на боооольшой пул, пытается его открыть, и у него кончается память, потому что он еще не переключился в расширенный режим. Пока на data-пуле было мало данных все работало, как заполнили, все умерло.

Приходится переключаться в EFI-режим и настраивать загрузчик, и все внезапно начинает работать.

 

Linux grub похожим образом себя ведет, если linux kernel внезапно окажется за пределами 2 или 4тб от начала диска, не помню точно границы. При установке не сделали /boot на отдельном разделе, или поставили в общем LVM-пуле. С убунтой такой прикол видел, старое ядро установленное давным давно грузится, с новым ядром не грузится, потому что файл ядра, оказался выше границы адресации.

Edited October 22 by naves

[Saab95]

4 часа назад, tcup сказал:

А вообще, про "полуаппаратные" слышал, что это хуже, чем программный (данные восстановить сложнее, или не надëжные?) 

Ни разу не было проблем с дисками в рейдах. Если вдруг массив разваливался - диски просто подключались к другой системе без настроенных рейдов и информация переписывалась. Ясно дело это зеркалирование, а не некие другие хитрые варианты.

 

Ну и ежедневный бекап информации никто не отменял.

 

Когда диски с данными отдельно от системы, саму систему можно переустановить, загрузить из бекапа. А когда все на одном диске восстановительные процедуры сложнее.

[sdy_moscow]

11 минут назад, Saab95 сказал:

Ни разу не было проблем с дисками в рейдах.

Тут 2 варианта - или вы "счастливчик", или рейдов видели очень очень мало.

[straus]

6 часов назад, naves сказал:

Развалиться - это значит какой-то диск отстрелился из рейда.

Нет! Отвал диска - штатная ситуация (для полноценного RAID). Более того, полноценный RAID продолжает работать при отвале, для этого он и создан. Понятие "развалился" возникло в эпоху софтовых RAID, когда массово появились ситуации с несоответствием информации на двух дисках "зеркала" RAID1.

 

6 часов назад, naves сказал:

Чуть меньше десятка случаев я видел, когда ребутнули сервер, и все аппаратные рейды исчезли. Ну контроллер так решил, нету ничего.

Это точно были ПОЛНОЦЕННЫЕ АППАРАТНЫЕ RAID? Или всё же это были Hardware Assisted RAID?

Дело в том, что в полноценных можно даже поменять накопители местами в корзине. Более того - можно просто подключить накопители к другому серверу с таким же контроллером, причём в произвольном порядке.

[sdy_moscow]

1 час назад, straus сказал:

Дело в том, что в полноценных можно даже поменять накопители местами в корзине. Более того - можно просто подключить накопители к другому серверу с таким же контроллером, причём в произвольном порядке.

Эх.... если б оно так было....А то, что @naves написал, я сам видел  и не раз :-(.

[straus]

Ну в мире всё может быть. Только не представляю, как этого добиться. На каждом накопителе на 0 треке записаны идентификаторы массива и диска в нём. Чтобы контроллер не увидел массив - нужно на всех накопителях затереть нулевой трек. Если хоть на одном информация сохранится - контроллер выдаст предупреждение о неполном массиве.

Я имел дело со времён SCSI с Mylex, ICP-Vortex, LSI. И ещё с внешними автономными RAID-контроллерами, которые и к хосту тоже подключаются по SCSI.

Из очень древних изделий, которые фактически делали RAID, но при этом не упоминаои эту аббревиатуру, были так называемые IDE кэш-контроллеры TEKRAM DC-600/620/680/690 под шины ISA/EISA/VESA/PCI - вот у них позиция накопителя на интерфейсе была важна.

 

Отдельная песня - Hardware Assisted (Hardware Accelerated) RAID, как на обычных материнских платах. Это отдельное чудо, которое ещё использует функции BIOS, но разворачивается только в OS.

[sdy_moscow]

@straus а ты думаешь софт для рэйд контроллеров пишут боги?