Расширить Volume Group на raid разделе.

[Macro]

RHEL 6.0

Сервер с 15 винтами.

Стояли по 1ТБ, но в ходе работы и ломки винтов меняем на 2ТБ.

Поверх mdX массива накручен ЛВМ.

Проблема: Volume Group не показывает весь размер массива.

 

[root@ftp ~]# fdisk -l /dev/sd[abcdefghijklmno] | grep GB
Disk /dev/sda: 999.0 GB, 998999326720 bytes
Disk /dev/sdb: 1999.0 GB, 1998998994944 bytes
Disk /dev/sdc: 1999.0 GB, 1998998994944 bytes
Disk /dev/sdd: 999.0 GB, 998999326720 bytes
Disk /dev/sde: 1999.0 GB, 1998998994944 bytes
Disk /dev/sdf: 999.0 GB, 998999326720 bytes
Disk /dev/sdg: 999.0 GB, 998999326720 bytes
Disk /dev/sdh: 999.0 GB, 998999326720 bytes
Disk /dev/sdi: 999.0 GB, 998999326720 bytes
Disk /dev/sdj: 999.0 GB, 998999326720 bytes
Disk /dev/sdk: 999.0 GB, 998999326720 bytes
Disk /dev/sdl: 999.0 GB, 998999326720 bytes
Disk /dev/sdm: 999.0 GB, 998999326720 bytes
Disk /dev/sdn: 1999.0 GB, 1998998994944 bytes
Disk /dev/sdo: 1999.0 GB, 1998998994944 bytes

Собран linux-raid6 массив.

[root@ftp ~]# mdadm -D /dev/md127
/dev/md127:
       Version : 0.90
 Creation Time : Fri Mar 11 18:35:05 2011
    Raid Level : raid6
    Array Size : 10731370496 (10234.23 GiB 10988.92 GB)
 Used Dev Size : 975579136 (930.38 GiB 998.99 GB)
  Raid Devices : 13
 Total Devices : 15
Preferred Minor : 127
   Persistence : Superblock is persistent

   Update Time : Fri Mar 23 13:50:24 2012
         State : active
Active Devices : 13
Working Devices : 15
Failed Devices : 0
 Spare Devices : 2

        Layout : left-symmetric
    Chunk Size : 256K

          UUID : 4457978d:b4a935a1:a7ed4e92:af442a01
        Events : 0.2092485

   Number   Major   Minor   RaidDevice State
      0       8      161        0      active sync   /dev/sdk1
      1       8      193        1      active sync   /dev/sdm1
      2       8       17        2      active sync   /dev/sdb1
      3       8       49        3      active sync   /dev/sdd1
      4       8      145        4      active sync   /dev/sdj1
      5       8       81        5      active sync   /dev/sdf1
      6       8       97        6      active sync   /dev/sdg1
      7       8      113        7      active sync   /dev/sdh1
      8       8      129        8      active sync   /dev/sdi1
      9       8        1        9      active sync   /dev/sda1
     10       8      177       10      active sync   /dev/sdl1
     11       8      225       11      active sync   /dev/sdo1
     12       8      209       12      active sync   /dev/sdn1

     13       8       65        -      spare   /dev/sde1
     14       8       33        -      spare   /dev/sdc1

 

Сам Volume Group:

 --- Volume group ---
 VG Name               vg00
 System ID
 Format                lvm2
 Metadata Areas        1
 Metadata Sequence No  11
 VG Access             read/write
 VG Status             resizable
 MAX LV                0
 Cur LV                3
 Open LV               3
 Max PV                0
 Cur PV                1
 Act PV                1
 VG Size               9.99 TiB
 PE Size               32.00 MiB
 Total PE              327495
 Alloc PE / Size       327495 / 9.99 TiB
 Free  PE / Size       0 / 0
 VG UUID               QhUx59-SJKG-NaOu-28Jh-ThiP-CRqk-iaUnAp

mdadm показывает район 11 ТБ, а vg уперся в 9.99TБ

 

И чем отличается GiB от GB?

[s.lobanov]

Создаёте pv из остатков(если они есть) и вводите его в vg

[vitalyb]

чем отличается GiB от GB?

http://physics.nist.gov/cuu/Units/binary.html

 

Массив, а за ним и VG, сможете увеличить только когда поменяете все диски. Как вариант, еще можно из "хвостов" 2Т дисков собрать еще один массив если очень сильно нужно место.

[f13]

что-то я не понял где у вас pv?

если на диске без партиций то pvresize без заморочек, если у вас партиции то всё хуже, надо грохнуть pv партицию (естественно загрузившись c лайв сд) и создать новую, начальный блок должен совпадать со старым значение, конечный больше старого, а затем опять же pvresize

если у вас второй вариант, действуйте очень аккуратно и про бекап не забывайте

[Macro]

PV /dev/md127 VG vg00 lvm2 [9.99 TiB / 0 free]

[f13]

т.е. партиций нет, тогда pvresize /dev/md127

ну на всякий случай с маном ознакомьтесь

[Macro]

[root@ftp ~]# pvresize /dev/md127

Physical volume "/dev/md127" changed

1 physical volume(s) resized / 0 physical volume(s) not resized

[root@ftp ~]# pvscan

PV /dev/md127 VG vg00 lvm2 [9.99 TiB / 0 free]

 

размер такой же

OS: RHEL 6.0 64bit

Edited March 23, 2012 by Macro

[f13]

хм... pvdisplay /dev/md127 ?

[Macro]

[root@ftp ~]# pvdisplay /dev/md127

--- Physical volume ---

PV Name /dev/md127

VG Name vg00

PV Size 9.99 TiB / not usable 13.81 MiB

Allocatable yes (but full)

PE Size 32.00 MiB

Total PE 327495

Free PE 0

Allocated PE 327495

PV UUID 5pf78U-ZzY0-Kdqa-JxLF-MRv0-BVCc-pweiIg

[f13]

может ему что не травиться, попробуйте pvresize -v /dev/md127

ругани никакой нет?

[Macro]

[root@ftp ~]# pvresize -v /dev/md127

Using physical volume(s) on command line

Archiving volume group "vg00" metadata (seqno 14).

No change to size of physical volume /dev/md127.

Resizing volume "/dev/md127" to 21462740608 sectors.

Updating physical volume "/dev/md127"

Creating volume group backup "/etc/lvm/backup/vg00" (seqno 15).

Physical volume "/dev/md127" changed

1 physical volume(s) resized / 0 physical volume(s) not resized

[f13]

стоп!!!

10234.23/1024=9.99436523437500000000~9.99 TiB

нет там места

[nicolnx]

mdadm --grow /dev/md127 -n 15 сначала сделайте, а потом уже тяните PV

[Macro]

стоп!!!

10234.23/1024=9.99436523437500000000~9.99 TiB

нет там места

Спасибо, сорри, ступил с самого начала.

[martin74]

vgdisplay выведет много полезной инфы, в том числе и размер свободного места в группе

А вообще вам надо поменять все винты, потом расширить рейд на свободное место, потом расширить группу, потом расширить том, а потом - файловую систему. Вот.