NVME mdadm raid10 разваливается райд

[igogo]

всем  привет. пытаюсь через mdadm  создать  raid 10 из 10nvme pcie .после перезагрузки исчезает райд . делал mdadm --detail --scan >> /etc/mdadm/mdadm.conf  и потом update-iniramfs -u  . после перезагрузки нету /dev/md0 . Предварительно понаблюдав я понял что имена у дисков меняются после перезагрузки. Что с этим делать?

 

[passer]

10 минут назад, igogo сказал:

после перезагрузки нету /dev/md0

А что есть?
Где выдержки из логов? 
mdadm.conf точно есть в initrd ?

[igogo]

а есть вот что 

 

[passer]

А логи?

[igogo]

какие именно логи вас интересуют? прошу понять и простить я не профессионал по линуксу=)

Edited April 25, 2025 by igogo

[passer]

Да хотя бы dmesg, только залейте его на pastebin или аналогичный сервис. На форум не надо, скачивание не работает.
 

mdadm --assemble --scan 

или, не помню точно

mdadm --scan --assemble

что напишет, если выполнить после перезагрузки?

 

Стоп, я так понял, этот raid10 - не содержит корневую ФС? Тогда просто убедитесь, что в автозапуске есть mdadm.

[igogo]

https://pastebin.com/DLw62nJy  dmesg

[passer]

В логе нет никакой активности mdadm.
Выполните команду выше и после неё посмотрите состояние рэйда.

[igogo]

 

 

Edited April 25, 2025 by igogo

[passer]

А какой командой создавали ? И зачем на 3TB nvme созданы разделы?

[Ivan_83]

https://pikabu.ru/story/nvme_raid__we_need_to_go_deeper_ili_chto_tam_na_glubine_gpu_over_nvme_s_vodyanyim_okhlazhdeniem_12241965

[igogo]

mdadm --create --verbose /dev/md0 -l 10 -n 10 /dev/nvme1n1 /dev/nvme2n1  ...итд все nvme. до этого создал gpt разделы на каждом диске 0%  100%

насчет разделов было написано в инструкции создавать разделы. и там два диска самсунг 980Гб на них система стоит в зеркале btrfs они тоже nvme . Вроде как можно райд создавать по пустым дискам а можно разделами и вроде как советовали по разделам создавать. Мне любой способ подойдет только бы рабочий. Мне нужно создать из 10 дисков nvme райд10 и на него повесить LVM. Посоветуйте как правильно. Инфы на них нет. Можно все заново с нуля . Только бы не развалился райд....

Edited April 25, 2025 by igogo

[passer]

Вы прикалывайтесь? nvme0 и nvme1 у вас разбиты на 3 раздела - там система? И потом приводите команду с добавлением в массив nvme без указания разделов.
Если разделы на nvme 3Tb созданы по дурацкой статье - убирайте их нафиг. 
После этого пересоздайте массив на nvme и внимательно к командам.

Если нет времени или желания вникать - позовите специалиста.

@Ivan_83 Вопрос необходимости/целесообразности массива вынесем за скобки. Автор статью врят ли осилит, если конечно он не тупо ржет с нас потягивая пиво.

[igogo]

это они сейчас стали с разделами. имена дисков nvme меняются после перезагрузки в том и прикол. например диск /dev/nvme0n1 после перезагрузки становится /dev/nvme3n1 . например раньше два самсунга были nvme0n1 и nvme3n1  а сейчас стали nvme0n1 и nvme1n1 и райд развалился.надо как то привязать имя к диску чтобы имя не менялось или как то райд создать по  id но у меня нехватает знаний поэтому я сюда обратился. а в общем и целом не до шуток с пивком сервер не могу запустить

Edited April 25, 2025 by igogo

[passer]

Если вы заглянете в конфиг mdadm.conf, то узнаете, что имена блочных устройств там не так и важны после успешного создания массива.
Удаляйте разделы с 3Тb , попробуйте повторить 

mdadm --assemble --scan 

после этого покажите что получилось, если массив не соберется, соберите его руками не перегружаясь, пересоздайте mdadm.conf и покажите результат.

[igogo]

ok сделаю как Вы сказали. вот перезагрузил сервер смарите какие имена стали у дисков 

[passer]

Да пофиг, в конфиге uuid.
Создавайте массив и после команды и результат сюда.

[ixi]

36 минут назад, igogo сказал:

mdadm --create --verbose /dev/md0 -l 10 -n 10 /dev/nvme1n1 /dev/nvme2n1 

Если вы создаёте разделы, то и в райд добавляйте тоже разделы! Собственно, смысл создания разделов, это возможность сделать такой же раздел на абсолютно другом диске и добавить его в существующий райд.

 

25 минут назад, igogo сказал:

это они сейчас стали с разделами. имена дисков nvme меняются после перезагрузки в том и прикол

Это не прикол, это допустимое поведение (и на райд это не влияет)

 

[naves]

39 minutes ago, passer said:

Если разделы на nvme 3Tb созданы по дурацкой статье - убирайте их нафиг.

Безотносительно того, что делает автор темы. Но я обычно рекомендую именно создавать разделы, и ставить в них тип raid, тип раздела в таблице ни на что не влияет, и собирать рейд именно из разделов. Это уберегает потом залетных специалистов от классического поведения: о бесхозные диски - добавлю-ка я их в систему.

 

ZFS, кстати, тоже создает разделы когда добавляешь целый диск.

Edited April 25, 2025 by naves

[igogo]

https://pastebin.com/50t15bg1   не перезагружал смотрите . стоит перезагрузить все пропадает. самого устройства  /dev/md0 нет после перезагрузки. и путаются имена

Edited April 25, 2025 by igogo

[ixi]

1 час назад, igogo сказал:

https://pastebin.com/50t15bg1   не перезагружал смотрите . стоит перезагрузить все пропадает

таблицы разделов живы после перезагрузки, иирк они удаляются в процессе синка (но это не точно)

 

чтобы не шаманить, начните с чистого листа: удалите таблицу разделов на дисках, mdadm --zero-superblock

 

или вернитесь к рейду на разделах (также после mdadm --zero-superblock)

Edited April 25, 2025 by ixi

[passer]

@igogo перегружать массив несинхронизированный - слегка плохая идея. Вам бы теперь дождаться ребилда и тогда перегружаться и проверять.

Если все сделаете правильно и ничто не затрет суперблоки, то после перезагрузки получите свой массив.

 

P.S. если у вас proxmox, то чем zfs не угодил?

 

 

 

 

[jffulcrum]

покажите mdadm.conf ДО перезагрузки

вы обновили fstab?

вы обновили initramfs?

 

8 часов назад, igogo сказал:

а в общем и целом не до шуток с пивком сервер не могу запустить

Так это прод? Человеку, делающему RAID из NVME + так, как делаете вы, пожалуй, лучше пока держаться подальше от серверов 

[Ivan_83]

9 hours ago, passer said:

Вопрос необходимости/целесообразности массива вынесем за скобки. Автор статью врят ли осилит, если конечно он не тупо ржет с нас потягивая пиво.

Целесообразность как бы на первом месте.

Но обычно если пошли такие вопросы так там и с матчастью плохо. Это видно по вопросам: "как жить!? имена дисков меняются после ребута!!!111"

 

И это мы и автор с пикабу даже не подошли в вопросам производительности и колличеству каналов в самих дисках, так бы тут ещё ссылка на нетфликс просится, про их опыт, когда они ограничивали скорость записи чтобы не ронять скорость чтения.

[igogo]

Jffulcrum как твои ответы относятся к решению вопроса по теме? или пофлудить пришел или помериться длиной с иваном 83 ? никто не знает линукс полностью даже ты так что понятие знаний по линуксу относительно.... Прошу отнестись к посту конструктивно по теме  и решить проблему ,для этого он и создан, а не читать твои мысли по поводу матчасти и профессионализма это никому не нужно и пустое содрагание воздуха.

 

passer ребилда дожидался всеравно после перезагрузки разваливается. насчет zfs задача стоит сделать софтовый райд из nvme и навесить поверх LVM, на lvm будут виртуалки с бд . была бы просто файлопомойка я бы сделал zfs  и тут пока не нужна прослойка из файловой системы. уже 5 серверов так сделаны на SAS и полет нормальный 10 лет а вот с nvme проблемы начались

Edited April 28, 2025 by igogo