Jump to content

FreeBSD 9.2: gmirror vs zfs mirror

mousus
 Share

Recommended Posts

mousus

mousus

Posted
Posted

Железо: Atom330, 2GB RAM, 2 HDD SATA 250 Gb

 

Предыстория: в сервере в прошлой конфигурации был 1 жёсткий диск, умер на 5 году жизни, S.M.A.R.T. сказал что из-за большого количества Rellocated Sector Count, но это уже не принципиально, нужные данные из него вытащены, винт отправился на полку...

 

OS: FreeBSD 9.2 64 bit

 

Задачи: вторичный DNS сервер для ~150 сайтов (основная), домашний сервер всего по чуть-чуть (мониторинг, vpn, proxy, ... и т.д. но это всё второстепенное и нагрузка от этих будет копеечная)

 

Нагрузка: дисковая минимальная, сетевая минимальная

 

Дилемма: хочется сделать из 2 винтов софтовое зеркало, видятся 2 подхода -- gmirror и зеркало средствами zfs. В виду того что нагрузка на сервер будет чуть менее чем в час по чайной ложке и в свете того что нужна только стабильность и сохранность данных (конфиги named) хочется спросить мнения специалистов по поводу достоинств и недостатков обоих подходов.

 

Disclaimer: В гуглях и яндексах мнения холиварно расходятся...

st_re

st_re

Posted
Posted

ну так при 0 нагрузке оно так и будет :) На мой взгляд из ufs чуть чуть больше шансов, что данные вынутся при очень большом факапе с файлухой.. Но может я ошибаюсь. Опять же, факап-факапу рознь. наверное может повернуться в любую сторону.

mousus

mousus

Posted
  • Author
Posted

у zfs типа убийственная фича -- она всегда в синхронном состоянии и отключения электричества не страшны, с другой стороны ufs2 как-то ближе к телу, даже с дохлого винта с бэдами и ремапами как показал опыт можно вытащить нужные данные штатными средствами

Megas

Megas

Posted
Posted

нафик мазахизм с флешками, даешь несколько винтов в mirror zfs и кучу памяти.

у меня торент качалка стоит. без zfs загибается по io, с zfs летает, раздача где-то чуть больше терабайта.

Ivan_83

Ivan_83

Posted
Posted

Атом 330 уже считается энерго не эффективным.

зфс - явно лишняя, для рейда геома с головой хватит.

Ставить систему ИМХО лучше на ссд, симлинк /вар/тмп /тмп, /тмп и /вар/ран на тмпфс.

 

у меня торент качалка стоит. без zfs загибается по io, с zfs летает, раздача где-то чуть больше терабайта.

А геомкеш пробовали без зфс?

mousus

mousus

Posted
  • Author
Posted

вот кстати в сторону: на флешки в принципе всякие *никсы встают и работают. во всех рецептах прописываются всякие ридонли, файловые системы в оперативке со всяким /вар и иже с ним. Тем не менее вот без всего этого, в штатном режиме эксплуатации есть у кого либо печальные примеры смерти флешек от натёртостей в /тмп /вар/лог?

а так да, ssd, да еще и такого типа http://www.espada-tech.ru/pr_-39089.shtml кажется в такие тазики просто манной небесной. Кстати кто-нибудь пробовал эксплуатировать железяки espada?

st_re

st_re

Posted
Posted

Сказано же, нагрузка нулевая. Зачем SSD ??? Оно же стоит в разы дороже.

 

Кстати народ делает на больших (и потому не быстрых ) HDD массив на zfs с кешом на SSD.. Говорят просто пестня, как летает. Вроде как оно прозрачно отключает кеш, в случае сбоев. Все никак не собирусь домой собрать себе такой комбайн.

 

Насчет мрут ССД. У матери с год назад перетащил винду с НДД на ССД со всеми свопами, кешами эксплореров и темпами. При хронической нехватке памяти (посему свапит) год - полет нормальный

Ivan_83

Ivan_83

Posted
Posted

У меня файлопомойка дома, с ссд и зеркалами на обычных.

На флешку ставить не стал потому что она слишком медленная и там нет СМАРТ. Стоимость ссд не такая и большая, большого ссд не нужно, подойдёт любой от 8гб чтобы вообще думать о его забитости. Правда мой 32 Гб забит на половину. Важно чтобы был ТРИМ. И не забыть его всключить в крутилках фс.

ССД у меня из не дорогих: Corsair CSSD-V32GB2, работает уже года 2-3, ещё в одном месте всё примерно тоже самое и тоже года два без проблем.

 

Так же очень важно правильное выравнивание разделов: по границе 4к, иначе будет тормозить, как ссд так и обычных винтов.

ЗФС ставить не стал, потому что хз чего с ним делать в случае сбоев (и вообще не очень понятно как он себя ведёт), как минимум нужно будет иметь ещё столько же винтов чтобы вытаскивать от туда данные.

С юфс на простых геом зеркалах всё сильно проще.

 

ПС: зная какие интел жмоты могу предположить что на матери с атомом 330 всего два сата.

mousus

mousus

Posted
  • Author
Posted

ага, вы угадали, сата всего 2 ((((

 

про zfs вот есть опыт на солярке:

 

2 винта по 160 гигов в зеркале под ОС и 2 терабайтника под хлам -- база биллинга, файл помойка.. короче сервак и узел связи стояли тогда в убер-трэш и угар помещении на крыше многоэтажки и вырубались частенько, электрики жгли напалмом и упс частенько высаживал батарейки в ноль. и в таких условиях ни одной проблеммы не было, ни у одного клиента ни копейки не пропало при постоянных отвалах питания.

Megas

Megas

Posted
Posted

не уверен что geom_cache под gmirror, скорее под stripe, но надо пробовать, но опять же, игрушки такого уровня полезны на мелких файлах, а тут большие и крупные файлы, тут скорее актуально что-то вроде кэша на ssd.

  • 5 months later...
hsvt

hsvt

Posted
Posted (edited)

UPD.

 

Возникла такая же необходимость и выбор сначала пал на gmirror, но затем посмотрел в сторону ZFS mirror. Вообщем есть вот такой сервер http://shop.nag.ru/catalog/02393.Servery-Dell/11409.PowerEdge-C/11410.XS23-TY3 и к нему бэкплэйн http://www.ebay.com/itm/New-OEM-Dell-PowerEdge-C6100-3-5-Hard-Drive-SAS-Backplane-TF0V0-/150759691997 к которому хотим подцепить SAS HITACHI HUS156030VLS600, в ноде как я понимаю помещается 3 HDD.

 

Использовать это всё собираемся для mysql+билиннг+apache+nginx+bind+radius.

 

Какой тип и вид (geom gmirror или ZFS mirror или RAIDz) софт RAID посоветуете ? Или же всё таки сыровата будет ZFS и опасно на продакшин ставить, остановиться на UFS gmirorr ?

 

В основном нагрузка будет на чтение, но и запись тоже. И реализовывать это всё на 9.2 ветке т.к. 10.0 не подходит из-за "Shared object "libssl.so.6" not found," (нужна проекту старая либа), хоть и ZFS там можно уже сделать через bsdinstall. Про ZIL и L2ARC тоже было бы интересно узнать.

Edited by hsvt
vlad11

vlad11

Posted
Posted

Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее.

Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD.

Да, рекомендую использовать ZFS в режиме зеркала.

DVM-Avgoor

DVM-Avgoor

Posted
Posted

Не вижу проблем с вкатыванием freebsd на флешку.

За пару часов можно нормально собрать 10ку с mfs_root и прозрачным монтированием /etc, /usr/local.

Благо сообщество не страдает болезнями линукса, и все делается элементарно на пальцах.

vlad11

vlad11

Posted
Posted

Если только зеркало нужно то гмиррор: оно проще и обкатанее, и в случае чего оно фактически просто два диска в юфс.

 

В ZFS тоже как два разных диска, легко разъединяется и переносится на другую машину :)

DVM-Avgoor

DVM-Avgoor

Posted
Posted (edited)

Под зфс еще надо и памяти прилично иметь, для домашнего применения сомнительное удовольствие.

А для бд биллинга - самое место.

 

ЗЫ. Но я бы на месте товарища с Dell купил бы все таки Supermicro (типа 836ых корпусов) и набил бы его HBA-шками той же супермикры. Дешево и сердито. ZFSу эти железные рейды совсем ни к чему, только мешают винты мониторить.

Edited by DVM-Avgoor
hsvt

hsvt

Posted
Posted

Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее.

Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD.

Да, рекомендую использовать ZFS в режиме зеркала.

Но это же не означает что эти аппаратный рейды нужно в обязательном порядке использовать? Можно просто подключить SAS HDD через backplane и установить на них ОС с ZFS зеркалом? Памяти вроде как на одной ноде 24 GB, под innodb еще выдялется как минимум половина). Софт уже идет в бинарном виде, мы ничего не копмпилируем, помимо либы наверняка будет еще куча косяков т.к. это ПО не адаптировали под 10 ветку. Поэтому ZFS будем делать на 9.2.

 

DVM-Avgoor: К сожалению эти варианты с Supermicro и HBA не рассматривались ранее, скорее всего это был бы лучший вариант, но сейчас уже увы. Нам НЕ нужен жезелный рейд, хотим просто использовать SAS HDD через backplane и встроенный контроллер накопителей (Мезонинная плата контроллера LSI 1068e SAS, Мезонинная плата контроллера LSI 2008 SAS)

vlad11

vlad11

Posted
Posted

Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее.

Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD.

Да, рекомендую использовать ZFS в режиме зеркала.

Но это же не означает что эти аппаратный рейды нужно в обязательном порядке использовать?

 

А вы попробуйте не использовать аппаратный RAID у Деллов.

Там на самой материнской плате нет SATA разъемов :(

DVM-Avgoor

DVM-Avgoor

Posted
Posted

DVM-Avgoor: К сожалению эти варианты с Supermicro и HBA не рассматривались ранее, скорее всего это был бы лучший вариант, но сейчас уже увы. Нам НЕ нужен жезелный рейд, хотим просто использовать SAS HDD через backplane и встроенный контроллер накопителей (Мезонинная плата контроллера LSI 1068e SAS, Мезонинная плата контроллера LSI 2008 SAS)

 

 

Ну просто вариант с HBA + Supermicro куда веселей смотрится чем дорогущий Б/У сервер с бэкплейном и мезонинами.

LSI 1068 конечно не очень то и далеко от HBA ушел, но тем не менее... Ну а про проблему с TRIM/SMART через "рейд-контроллеры" вам уже сказали.

Еще добавлю, что мне встречались контроллеры Promise, которые не умели LBA64 в железе, а эмулировали его через цпу. И при создании массива больше 2 ТБ силами самого контроллера, получался ОЙОЙОЙ. Т.е. оно конечно работало, но так медленно... Ну это так, вдруг случится, будете в курсе :)

  • 2 weeks later...
hsvt

hsvt

Posted
Posted (edited)

Собрал zfs mirror на 9.2, как считаете есть ли смысл добавлять vdev cache в пул без SSD? (Сейчас стэнд на обычных SATA, но затем планируется на SAS HUS156030VLS600).

 

Кто нибудь может пояснить, если делать zfs mirror через bsdinstall на 10.0 ветке - зачем он создаёт два корневых dataset без точки монтирования? (т.е. -m none), а третье уже монтирует на корень.

 

[18:39:00.4] History for 'zroot':
[18:39:00.6] 2014-02-13.19:54:12 zpool create -o altroot=/mnt -m none -f zroot mirror ada0p3.nop ada1p3.nop
[18:39:00.6] 2014-02-13.19:54:13 zfs create -o mountpoint=none zroot/ROOT
[18:39:00.6] 2014-02-13.19:54:13 zfs create -o mountpoint=/ zroot/ROOT/default

 

По небольшому тюнингу рад бы был выслушать знатоков :)

 

zpool status -v
 pool: zroot
state: ONLINE
 scan: none requested
config:

       NAME           STATE     READ WRITE CKSUM
       zroot          ONLINE       0     0     0
         mirror-0     ONLINE       0     0     0
           gpt/disk0  ONLINE       0     0     0
           gpt/disk1  ONLINE       0     0     0

errors: No known data errors

 

zdb | grep ashift
           ashift: 12

 

zfs list
NAME                        USED  AVAIL  REFER  MOUNTPOINT
zroot                      3.22G   223G   404M  /
zroot/tmp                   264K   223G   264K  /tmp
zroot/usr                  2.82G   223G   393M  /usr
zroot/usr/home              216K   223G   216K  /usr/home
zroot/usr/local             216K   223G   216K  /usr/local
zroot/usr/obj               216K   223G   216K  /usr/obj
zroot/usr/ports            1.44G   223G  1.44G  /usr/ports
zroot/usr/ports/distfiles   216K   223G   216K  /usr/ports/distfiles
zroot/usr/ports/packages    216K   223G   216K  /usr/ports/packages
zroot/usr/src              1.00G   223G  1.00G  /usr/src
zroot/var                  3.09M   223G   876K  /var
zroot/var/backups           216K   223G   216K  /var/backups
zroot/var/crash             224K   223G   224K  /var/crash
zroot/var/db                552K   223G   336K  /var/db
zroot/var/db/pkg            216K   223G   216K  /var/db/pkg
zroot/var/empty             216K   223G   216K  /var/empty
zroot/var/log               312K   223G   312K  /var/log
zroot/var/mail              216K   223G   216K  /var/mail
zroot/var/run               324K   223G   324K  /var/run
zroot/var/tmp               228K   223G   228K  /var/tmp

 

zpool get all
NAME   PROPERTY               VALUE                  SOURCE
zroot  size                   230G                   -
zroot  capacity               1%                     -
zroot  altroot                -                      default
zroot  health                 ONLINE                 -
zroot  guid                   1229884058434432944    default
zroot  version                -                      default
zroot  bootfs                 zroot                  local
zroot  delegation             on                     default
zroot  autoreplace            on                     local
zroot  cachefile              -                      default
zroot  failmode               wait                   default
zroot  listsnapshots          on                     local
zroot  autoexpand             on                     local
zroot  dedupditto             0                      default
zroot  dedupratio             1.00x                  -
zroot  free                   227G                   -
zroot  allocated              3.22G                  -
zroot  readonly               off                    -
zroot  comment                -                      default
zroot  expandsize             0                      -
zroot  freeing                0                      default
zroot  feature@async_destroy  enabled                local
zroot  feature@empty_bpobj    active                 local
zroot  feature@lz4_compress   active                 local

 

gpart show -pl
=>       34  488397101    ada0  GPT  (232G)
        34       1024  ada0p1  (null)  (512k)
      1058    4194304  ada0p2  swap0  (2.0G)
   4195362  484201773  ada0p3  disk0  (230G)

=>       34  490350605    ada1  GPT  (233G)
        34       1024  ada1p1  (null)  (512k)
      1058    4194304  ada1p2  swap1  (2.0G)
   4195362  486155277  ada1p3  disk1  (231G)

=>       34  488397101    ada2  GPT  (232G)
        34       2014          - free -  (1M)
      2048   16777216  ada2p1  log0  (8.0G)
  16779264   16777216  ada2p2  log1  (8.0G)
  33556480  454840655          - free -  (216G)

Edited by hsvt
vlad11

vlad11

Posted
Posted

Собрал zfs mirror на 9.2, как считаете есть ли смысл добавлять vdev cache в пул без SSD? (Сейчас стэнд на обычных SATA, но затем планируется на SAS HUS156030VLS600).

 

vdev cache имеет смысл только при недостатке памяти.

Zil добавлять только на зеркало SSD.

 

 

gpart show -pl
=>       34  488397101    ada0  GPT  (232G)
        34       1024  ada0p1  (null)  (512k)
      1058    4194304  ada0p2  swap0  (2.0G)
   4195362  484201773  ada0p3  disk0  (230G)

=>       34  490350605    ada1  GPT  (233G)
        34       1024  ada1p1  (null)  (512k)
      1058    4194304  ada1p2  swap1  (2.0G)
   4195362  486155277  ada1p3  disk1  (231G)

=>       34  488397101    ada2  GPT  (232G)
        34       2014          - free -  (1M)
      2048   16777216  ada2p1  log0  (8.0G)
  16779264   16777216  ada2p2  log1  (8.0G)
  33556480  454840655          - free -  (216G)

 

Что за ada2? для чего два раздела?

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to topic listing
×
×
  • Create New...
На сайте используются файлы cookie и сервисы аналитики для корректной работы форума и улучшения качества обслуживания. Продолжая использовать сайт, вы соглашаетесь с использованием файлов cookie и с Политикой конфиденциальности.