Создание софтварного рейда

[Cramac]

Всем привет, встала задача создания рейда под линуксом (мандрива) из двух сата дисков.

Все бы ничего, но 1 хдд забит файлопомойкой (второй чистый) и не хотелось бы его форматировать.

Можно ли создать массив из двух дисков не форматируя?

 

[Sultan]

Можно создать raid1 на новом диске, перенести на него систему, установить загрузчик, перезагрузиться и добавить туда диск, на котором была система с самого начала.

[mousus]

я бы посоветовал забыть про мандриву и линуксовые ext2 и ext3 и пересесть на zfs под Solaris --- более удобной и легко управляемой и легко масштабируемой разными програмными рэйдами файловой системы придумать трудно, разумеется если ваша мандрава стоит не на шлюзе, для шлюза соляра не особо катит, зато всё остальное делает лучше линя

[Cramac]

система стоит на 3м хдд(иде) и он не трогается, систему тож не особо хочется переставлять.

[Andrey]

mousus +1

 

ftp# zpool list

NAME SIZE USED AVAIL CAP HEALTH ALTROOT

ftp 13,6T 10,9T 2,74T 79% ONLINE -

 

ftp# zpool status

pool: ftp

state: ONLINE

scrub: none requested

config:

 

NAME STATE READ WRITE CKSUM

ftp ONLINE 0 0 0

raidz1 ONLINE 0 0 0

da0 ONLINE 0 0 0

da1 ONLINE 0 0 0

da2 ONLINE 0 0 0

da3 ONLINE 0 0 0

raidz1 ONLINE 0 0 0

da4 ONLINE 0 0 0

da5 ONLINE 0 0 0

da6 ONLINE 0 0 0

da7 ONLINE 0 0 0

raidz1 ONLINE 0 0 0

da8 ONLINE 0 0 0

da9 ONLINE 0 0 0

da10 ONLINE 0 0 0

da11 ONLINE 0 0 0

raidz1 ONLINE 0 0 0

da12 ONLINE 0 0 0

da13 ONLINE 0 0 0

da14 ONLINE 0 0 0

da15 ONLINE 0 0 0

 

errors: No known data errors

 

P.S. FreeBSD 7.0 :)

Edited March 26, 2009 by Andrey

[nuclearcat]

Sultan сказал правильный сценарий.

Создаете "деградированный" raid1, т.е. только с одним диском. Создаете на этом рейде FS. Переносите на этот рейд данные. Подключаете другой диск где раньше были данные в рейд - вуаля, система закинет туда данные и готово! Главное аккуратно, и всегда проверять результаты работы, чтоб не потерять данные.

 

Хотя в будушем конечно лучше поизучать LVM и т.п

 

А ZFS и т.п. - всякие маньяки всегда вам предложат сменить систему, ДНК и т.п. :-) Но простое решение всегда рядом.

[jurs]

я бы посоветовал забыть про мандриву и линуксовые ext2 и ext3 и пересесть на zfs под Solaris --- более удобной и легко управляемой и легко масштабируемой разными програмными рэйдами файловой системы придумать трудно, разумеется если ваша мандрава стоит не на шлюзе, для шлюза соляра не особо катит, зато всё остальное делает лучше линя

md+ LVM под линуксом преспокойно управляются и масштабируются. А что же такое соляра делает лучше, и по каким параметрам, если не секрет? :)

 

Про ext2 уже вроде забыли. Скажем, в 11 Федоре по дефолту ext4, в текущей 10 - опционально.

Edited March 26, 2009 by jurs

[mousus]

я бы посоветовал забыть про мандриву и линуксовые ext2 и ext3 и пересесть на zfs под Solaris --- более удобной и легко управляемой и легко масштабируемой разными програмными рэйдами файловой системы придумать трудно, разумеется если ваша мандрава стоит не на шлюзе, для шлюза соляра не особо катит, зато всё остальное делает лучше линя

md+ LVM под линуксом преспокойно управляются и масштабируются. А что же такое соляра делает лучше, и по каким параметрам, если не секрет? :)

 

Про ext2 уже вроде забыли. Скажем, в 11 Федоре по дефолту ext4, в текущей 10 - опционально.

<holy war post begin>

пардон, но применение LVM это уже вчерашний день, который не может быть отмасштабирован (ага, щас разбежался ваш LVM подцеплять в пул iSCSI, реальные жёсткие диски, очень большой файл на SAN хранилище, и т.д. и всё это предоставлять как единое хранилище на котором можно создавать бесчисленное количество файловых систем + объединять в пул устройства в разных комбинациях и логических связях(stripe,mirror,raidz, raidz2)), ах да еще вспомним желание(необходимость) ваш пул с данными перенести на другую систему (стояло на FreeBSD а надо перенести на Solaris) и что будем делать ? а? а под zfs всего 1 команда: zpool export [-f] pool и потащили все винты на другую систему, и там zpool import, И ВСЁ! ваш линукс с его ext такое умеет? а zfs понимают уже очень много систем, товарищи из оракла правда тоже не дремлют, и придумывают BTRfs --- советую про неё почитать (правда только на стадии разработки), весьма неплохая задумка, ну а по сути zfs уже есть, и работает в продакшине,

<holy war post end>

ваш ход коллега, что ваш Linux и его LVM умеют в части хранения данных ???

вот задачка на дом: в каталог /var/netflows собираются данные с маршрутизаторов, места под завязку, но есть в кармане еще пара пустых терабайтников, задача увеличить размер /var на 1 зеркалируемый террабайт, ах да, забыл сказать что такая ситуация у вас приключатся каждые 2 недели.

Edited March 26, 2009 by mousus

[LostSoul]

ах да, забыл сказать что такая ситуация у вас приключатся каждые 2 недели.

Я конечно понимаю что пример утрирован, но такие вещи вообще-то лечат в ДНК. А файловые системы, позволяющие решать такие проблемы таким способом -- зло.

 

[IvanI]

mousus

На фряхе ZFS под большой нагрузкой раз в полгода падает, требует памяти и неособо быстро работает(просто винт быстрее).

[jurs]

я бы посоветовал забыть про мандриву и линуксовые ext2 и ext3 и пересесть на zfs под Solaris --- более удобной и легко управляемой и легко масштабируемой разными програмными рэйдами файловой системы придумать трудно, разумеется если ваша мандрава стоит не на шлюзе, для шлюза соляра не особо катит, зато всё остальное делает лучше линя

md+ LVM под линуксом преспокойно управляются и масштабируются. А что же такое соляра делает лучше, и по каким параметрам, если не секрет? :)

 

Про ext2 уже вроде забыли. Скажем, в 11 Федоре по дефолту ext4, в текущей 10 - опционально.

<...>

а zfs понимают уже очень много систем, товарищи из оракла правда тоже не дремлют, и придумывают BTRfs --- советую про неё почитать (правда только на стадии разработки), весьма неплохая задумка, ну а по сути zfs уже есть, и работает в продакшине,

<holy war post end>

ваш ход коллега, что ваш Linux и его LVM умеют в части хранения данных ???

вот задачка на дом: в каталог /var/netflows собираются данные с маршрутизаторов, места под завязку, но есть в кармане еще пара пустых терабайтников, задача увеличить размер /var на 1 зеркалируемый террабайт, ах да, забыл сказать что такая ситуация у вас приключатся каждые 2 недели.

Не знаю как у вас, коллега, но у нас обычно все нужное лежит в отдельном Logical volume, который при необходимости на лету ресайзится. :) Каждые две недели - это полный превед, надо ж думать вперед хоть на шаг. :) Про btrfs я в курсе, да.

Не знаю, рассказываете вы красиво конечно, но если zfs понимают много систем, то бонусы-то идут не от солярки, а от zfs? Про соляру я слышал массу отзывов о неудобстве работы, проблем с оборудованием, отсутствии жизненно необходимых пакетов, етс.

И если уж пошла такая пьянка, то лучше уж замутить какую-нить кластерную файловую систему, а? )

[mousus]

ах да, забыл сказать что такая ситуация у вас приключатся каждые 2 недели.

Я конечно понимаю что пример утрирован, но такие вещи вообще-то лечат в ДНК. А файловые системы, позволяющие решать такие проблемы таким способом -- зло.

да пример утрирован специально, а суть зла можете пояснить?

 

mousus

На фряхе ZFS под большой нагрузкой раз в полгода падает, требует памяти и неособо быстро работает(просто винт быстрее).

на "фряхе" оно работает не в нативном режиме, а как модуль ядра opensolaris`вого посола, если вы говорите про раз в полгода (то у вас вероятно нестабильная устаревшая система) а прогресс не стоит на месте, то эту проблемму уже решили

 

я бы посоветовал забыть про мандриву и линуксовые ext2 и ext3 и пересесть на zfs под Solaris --- более удобной и легко управляемой и легко масштабируемой разными програмными рэйдами файловой системы придумать трудно, разумеется если ваша мандрава стоит не на шлюзе, для шлюза соляра не особо катит, зато всё остальное делает лучше линя

md+ LVM под линуксом преспокойно управляются и масштабируются. А что же такое соляра делает лучше, и по каким параметрам, если не секрет? :)

 

Про ext2 уже вроде забыли. Скажем, в 11 Федоре по дефолту ext4, в текущей 10 - опционально.

<...>

а zfs понимают уже очень много систем, товарищи из оракла правда тоже не дремлют, и придумывают BTRfs --- советую про неё почитать (правда только на стадии разработки), весьма неплохая задумка, ну а по сути zfs уже есть, и работает в продакшине,

<holy war post end>

ваш ход коллега, что ваш Linux и его LVM умеют в части хранения данных ???

вот задачка на дом: в каталог /var/netflows собираются данные с маршрутизаторов, места под завязку, но есть в кармане еще пара пустых терабайтников, задача увеличить размер /var на 1 зеркалируемый террабайт, ах да, забыл сказать что такая ситуация у вас приключатся каждые 2 недели.

Не знаю как у вас, коллега, но у нас обычно все нужное лежит в отдельном Logical volume, который при необходимости на лету ресайзится. :) Каждые две недели - это полный превед, надо ж думать вперед хоть на шаг. :) Про btrfs я в курсе, да.

Не знаю, рассказываете вы красиво конечно, но если zfs понимают много систем, то бонусы-то идут не от солярки, а от zfs? Про соляру я слышал массу отзывов о неудобстве работы, проблем с оборудованием, отсутствии жизненно необходимых пакетов, етс.

И если уж пошла такая пьянка, то лучше уж замутить какую-нить кластерную файловую систему, а? )

ну масса отзывов о неудобстве это результат (в 99% случаев) наличия стойких привычек к другим ОС Unix семейства + полное отсутствие знаний по солярке в частности (я тоже ругался долго, пока не набралось должного количества знаний и опыта, субъективно это всё, надо это понимать) а что же является "жизненно важным" пакетом ? вот почему то банковские системы работают на солярке, а не на пингвине (боже упаси) и НИКТО пингвина туда пускать не собирается, а если уж зашла речь о месте этой системы в нашей отрасли то ей самое место на биллинге, базах данных и системах хранения данных --- на этих фронтах она по производительности и скорости в дефолтной конфигурации рвёт пингвина с фряхой, а вот как софт-роутер и сервер доступа (с попеременным успехом) её рвут именно пингвин с фрибздёй, и надо это тоже учитывать.

 

а про кластерную файловую систему мы тут вообщето и говорим, вы знаете что такое iSCSI например? а то что несколько сетевых хранилищ таким образом (даже географически разнесённых по континентам) можно под zfs загнать в один софтовый рейд вы не читали?

Edited March 27, 2009 by mousus

[EvilShadow]

вот почему то банковские системы работают на солярке, а не на пингвине (боже упаси)

Пруфлинк?

и НИКТО пингвина туда пускать не собирается, а если уж зашла речь о месте этой системы в нашей отрасли то ей самое место на биллинге, базах данных и системах хранения данных --- на этих фронтах она по производительности и скорости в дефолтной конфигурации рвёт пингвина с фряхой

Тесты?

 

[nuclearcat]

<...>

а zfs понимают уже очень много систем, товарищи из оракла правда тоже не дремлют, и придумывают BTRfs --- советую про неё почитать (правда только на стадии разработки), весьма неплохая задумка, ну а по сути zfs уже есть, и работает в продакшине,

<holy war post end>

ваш ход коллега, что ваш Linux и его LVM умеют в части хранения данных ???

вот задачка на дом: в каталог /var/netflows собираются данные с маршрутизаторов, места под завязку, но есть в кармане еще пара пустых терабайтников, задача увеличить размер /var на 1 зеркалируемый террабайт, ах да, забыл сказать что такая ситуация у вас приключатся каждые 2 недели.

mdadm --create --auto=yes /dev/md3 --level=1 --raid-devices=2 /dev/sdf1 /dev/sdg1

vgextend my_volume_group /dev/md3

lvextend -L1T /dev/myvg/homevol

resize2fs /dev/myvg/homevol

 

Все. Хоть каждый день. При желании можно сделать более гибко, если у задачи есть больше условий

 

ну масса отзывов о неудобстве это результат (в 99% случаев) наличия стойких привычек к другим ОС Unix семейства + полное отсутствие знаний по солярке в частности (я тоже ругался долго, пока не набралось должного количества знаний и опыта, субъективно это всё, надо это понимать) а что же является "жизненно важным" пакетом ? вот почему то банковские системы работают на солярке, а не на пингвине (боже упаси) и НИКТО пингвина туда пускать не собирается, а если уж зашла речь о месте этой системы в нашей отрасли то ей самое место на биллинге, базах данных и системах хранения данных --- на этих фронтах она по производительности и скорости в дефолтной конфигурации рвёт пингвина с фряхой, а вот как софт-роутер и сервер доступа (с попеременным успехом) её рвут именно пингвин с фрибздёй, и надо это тоже учитывать.

 

а про кластерную файловую систему мы тут вообщето и говорим, вы знаете что такое iSCSI например? а то что несколько сетевых хранилищ таким образом (даже географически разнесённых по континентам) можно под zfs загнать в один софтовый рейд вы не читали?

Что вы понимаете под банковскими системами? Банкоматы? Там засилье Windows ™.

Если вобщем, то например почитайте http://customers.press.redhat.com/2009/02/...-the-mainframe/

http://www-01.ibm.com/software/success/css...s&cty=en_us

http://www-01.ibm.com/software/success/css...s&cty=en_us

 

Жизненно важный пример? А в прямом смысле: Navitrack Station с Linux на борту, используется хирургами для проведения компьютерно-ассистируемых операций.

Космос? И там http://www.windriver.com/news/press/pr.html?ID=4681

Ах да, можно рассказать, что это типа embedded, и к файловым системам не относится.

Ну тогда, хранение медицинских данных, mission critical storage.

http://whitepapers.silicon.com/0,39024759,60553406p,00.htm

 

А загонять под ISCSI географические разнесенные носители в рейд будет только полный псих.

Вот как делает это NASA например пользует Линупс + IBM-овский GPFS.

Смотрите также п.II http://bytepawn.com/readings-in-distributed-systems/

http://www.teragrid.org/userinfo/hardware/dataresources.php

 

[IvanI]

to mousus

если вы говорите про раз в полгода (то у вас вероятно нестабильная устаревшая система) а прогресс не стоит на месте, то эту проблемму уже решили

В релизе 7.1 ни скорости ни стабильности не добавилось, достаточно зашифровать GELI 2 винта по 1,5 тера, собрать ZFSом на них ченить(0 или последовательный), и пульнуть туда 1 тер инфы на максимально возможной скорости(она невысокая, около 20-30 Мегабайт в сек.), гдето на 500-700 гигах будет паника.

Без ZFS на техже шифрованых винтах скорость 60-80 Мегабайт в сек.

Если ограничить скорость _каждого_ потока до 10 Мегабайт в сек., то живет примерно полгода.

[big-town]

Раньше не обращал внимания в 

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sda4[0] sdb4[3](S) sdc4[2]
      17565568 blocks super 1.2 [2/2] [UU]
      
md2 : active raid1 sdb3[3](S) sda3[0] sdc3[2]
      762758976 blocks super 1.2 [2/2] [UU]
      
md0 : active raid1 sdb1[3](S) sda1[0] sdc1[2]
      975296 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sda2[0] sdb2[3](S) sdc2[2](R)
      195181440 blocks super 1.2 [2/2] [UU]

Как бы было не до высоких материй. Но сейчас меня снова мучает этот вопрос - что означает sdc2[2](R)

https://github.com/torvalds/linux/blob/master/drivers/md/md.c

То есть статус (R) появляется если установлен бит Replacement

if (test_bit(Replacement, &rdev->flags))
                                seq_printf(seq, "(R)");

В исходниках ядра  https://github.com/torvalds/linux/blob/master/drivers/md/md.h  написано следующее:

WantReplacement,	/* This device is a candidate to be
				 * hot-replaced, either because it has
				 * reported some faults, or because
				 * of explicit request.
				 */
	Replacement,		/* This device is a replacement for
				 * a want_replacement device with same
				 * raid_disk number.

C WantReplacenent как бы все понятно, это кандидат на замену потому что произошли некоторые ошибки или потому что был явный запрос. А что такое Replacenent? Как понять это есть перемещаемый девайс для девайса WantReplacenent с темже самым номером.

 

Диск добавлялся в раид как обычно без каких либо ключей, почему вдруг у него стал статус (R).

 

статус

mdadm --detail /dev/md1
/dev/md1:
        Version : 1.2
  Creation Time : Tue Aug  6 15:42:51 2013
     Raid Level : raid1
     Array Size : 195181440 (186.14 GiB 199.87 GB)
  Used Dev Size : 195181440 (186.14 GiB 199.87 GB)
   Raid Devices : 2
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Wed Mar  7 17:32:54 2018
          State : clean 
 Active Devices : 2
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 1

           Name : ubuntu:1
           UUID : 1b34158d:a4c429dd:eecc5293:f65bc74e
         Events : 36262

    Number   Major   Minor   RaidDevice State
       0       8        2        0      active sync   /dev/sda2
       2       8       34        1      active sync   /dev/sdc2

       3       8       18        -      spare   /dev/sdb2

Кто знает точно что это такое и почему это происходит? 

 

У меня единственная мысль, что когда "кончился" предыдущий диск, то диск  sdc2[2](R) был выдернуть из spare и таким образом кернел информирует об этом.

Edited March 7, 2018 by big-town