[mousus]

Железо: Atom330, 2GB RAM, 2 HDD SATA 250 Gb

 

Предыстория: в сервере в прошлой конфигурации был 1 жёсткий диск, умер на 5 году жизни, S.M.A.R.T. сказал что из-за большого количества Rellocated Sector Count, но это уже не принципиально, нужные данные из него вытащены, винт отправился на полку...

 

OS: FreeBSD 9.2 64 bit

 

Задачи: вторичный DNS сервер для ~150 сайтов (основная), домашний сервер всего по чуть-чуть (мониторинг, vpn, proxy, ... и т.д. но это всё второстепенное и нагрузка от этих будет копеечная)

 

Нагрузка: дисковая минимальная, сетевая минимальная

 

Дилемма: хочется сделать из 2 винтов софтовое зеркало, видятся 2 подхода -- gmirror и зеркало средствами zfs. В виду того что нагрузка на сервер будет чуть менее чем в час по чайной ложке и в свете того что нужна только стабильность и сохранность данных (конфиги named) хочется спросить мнения специалистов по поводу достоинств и недостатков обоих подходов.

 

Disclaimer: В гуглях и яндексах мнения холиварно расходятся...

[st_re]

ну так при 0 нагрузке оно так и будет :) На мой взгляд из ufs чуть чуть больше шансов, что данные вынутся при очень большом факапе с файлухой.. Но может я ошибаюсь. Опять же, факап-факапу рознь. наверное может повернуться в любую сторону.

[mousus]

у zfs типа убийственная фича -- она всегда в синхронном состоянии и отключения электричества не страшны, с другой стороны ufs2 как-то ближе к телу, даже с дохлого винта с бэдами и ремапами как показал опыт можно вытащить нужные данные штатными средствами

[littlesavage]

Вводите SCM, не нужно хранить/бэкапить серверные конфиги.

[^rage^]

почему не сделать загрузку с usb-флешки?

[Megas]

нафик мазахизм с флешками, даешь несколько винтов в mirror zfs и кучу памяти.

у меня торент качалка стоит. без zfs загибается по io, с zfs летает, раздача где-то чуть больше терабайта.

[Ivan_83]

Атом 330 уже считается энерго не эффективным.

зфс - явно лишняя, для рейда геома с головой хватит.

Ставить систему ИМХО лучше на ссд, симлинк /вар/тмп /тмп, /тмп и /вар/ран на тмпфс.

 

у меня торент качалка стоит. без zfs загибается по io, с zfs летает, раздача где-то чуть больше терабайта.

А геомкеш пробовали без зфс?

[mousus]

вот кстати в сторону: на флешки в принципе всякие *никсы встают и работают. во всех рецептах прописываются всякие ридонли, файловые системы в оперативке со всяким /вар и иже с ним. Тем не менее вот без всего этого, в штатном режиме эксплуатации есть у кого либо печальные примеры смерти флешек от натёртостей в /тмп /вар/лог?

а так да, ssd, да еще и такого типа http://www.espada-tech.ru/pr_-39089.shtml кажется в такие тазики просто манной небесной. Кстати кто-нибудь пробовал эксплуатировать железяки espada?

[st_re]

Сказано же, нагрузка нулевая. Зачем SSD ??? Оно же стоит в разы дороже.

 

Кстати народ делает на больших (и потому не быстрых ) HDD массив на zfs с кешом на SSD.. Говорят просто пестня, как летает. Вроде как оно прозрачно отключает кеш, в случае сбоев. Все никак не собирусь домой собрать себе такой комбайн.

 

Насчет мрут ССД. У матери с год назад перетащил винду с НДД на ССД со всеми свопами, кешами эксплореров и темпами. При хронической нехватке памяти (посему свапит) год - полет нормальный

[Ivan_83]

У меня файлопомойка дома, с ссд и зеркалами на обычных.

На флешку ставить не стал потому что она слишком медленная и там нет СМАРТ. Стоимость ссд не такая и большая, большого ссд не нужно, подойдёт любой от 8гб чтобы вообще думать о его забитости. Правда мой 32 Гб забит на половину. Важно чтобы был ТРИМ. И не забыть его всключить в крутилках фс.

ССД у меня из не дорогих: Corsair CSSD-V32GB2, работает уже года 2-3, ещё в одном месте всё примерно тоже самое и тоже года два без проблем.

 

Так же очень важно правильное выравнивание разделов: по границе 4к, иначе будет тормозить, как ссд так и обычных винтов.

ЗФС ставить не стал, потому что хз чего с ним делать в случае сбоев (и вообще не очень понятно как он себя ведёт), как минимум нужно будет иметь ещё столько же винтов чтобы вытаскивать от туда данные.

С юфс на простых геом зеркалах всё сильно проще.

 

ПС: зная какие интел жмоты могу предположить что на матери с атомом 330 всего два сата.

[mousus]

ага, вы угадали, сата всего 2 ((((

 

про zfs вот есть опыт на солярке:

 

2 винта по 160 гигов в зеркале под ОС и 2 терабайтника под хлам -- база биллинга, файл помойка.. короче сервак и узел связи стояли тогда в убер-трэш и угар помещении на крыше многоэтажки и вырубались частенько, электрики жгли напалмом и упс частенько высаживал батарейки в ноль. и в таких условиях ни одной проблеммы не было, ни у одного клиента ни копейки не пропало при постоянных отвалах питания.

[Megas]

не уверен что geom_cache под gmirror, скорее под stripe, но надо пробовать, но опять же, игрушки такого уровня полезны на мелких файлах, а тут большие и крупные файлы, тут скорее актуально что-то вроде кэша на ssd.

[hsvt]

UPD.

 

Возникла такая же необходимость и выбор сначала пал на gmirror, но затем посмотрел в сторону ZFS mirror. Вообщем есть вот такой сервер http://shop.nag.ru/catalog/02393.Servery-Dell/11409.PowerEdge-C/11410.XS23-TY3 и к нему бэкплэйн http://www.ebay.com/itm/New-OEM-Dell-PowerEdge-C6100-3-5-Hard-Drive-SAS-Backplane-TF0V0-/150759691997 к которому хотим подцепить SAS HITACHI HUS156030VLS600, в ноде как я понимаю помещается 3 HDD.

 

Использовать это всё собираемся для mysql+билиннг+apache+nginx+bind+radius.

 

Какой тип и вид (geom gmirror или ZFS mirror или RAIDz) софт RAID посоветуете ? Или же всё таки сыровата будет ZFS и опасно на продакшин ставить, остановиться на UFS gmirorr ?

 

В основном нагрузка будет на чтение, но и запись тоже. И реализовывать это всё на 9.2 ветке т.к. 10.0 не подходит из-за "Shared object "libssl.so.6" not found," (нужна проекту старая либа), хоть и ZFS там можно уже сделать через bsdinstall. Про ZIL и L2ARC тоже было бы интересно узнать.

Изменено 14 февраля, 2014 пользователем hsvt

[vlad11]

Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее.

Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD.

Да, рекомендую использовать ZFS в режиме зеркала.

[Ivan_83]

Если только зеркало нужно то гмиррор: оно проще и обкатанее, и в случае чего оно фактически просто два диска в юфс.

[DVM-Avgoor]

Не вижу проблем с вкатыванием freebsd на флешку.

За пару часов можно нормально собрать 10ку с mfs_root и прозрачным монтированием /etc, /usr/local.

Благо сообщество не страдает болезнями линукса, и все делается элементарно на пальцах.

[alkanaft]

Я в своем кейсе таки на гмиррор сделал

А под последний кейс таки зфс так и просится

[vlad11]

Если только зеркало нужно то гмиррор: оно проще и обкатанее, и в случае чего оно фактически просто два диска в юфс.

 

В ZFS тоже как два разных диска, легко разъединяется и переносится на другую машину :)

[alkanaft]

А еще зфс под биллинг самое то : вырубание электрички фс и базе не страшно

[DVM-Avgoor]

Под зфс еще надо и памяти прилично иметь, для домашнего применения сомнительное удовольствие.

А для бд биллинга - самое место.

 

ЗЫ. Но я бы на месте товарища с Dell купил бы все таки Supermicro (типа 836ых корпусов) и набил бы его HBA-шками той же супермикры. Дешево и сердито. ZFSу эти железные рейды совсем ни к чему, только мешают винты мониторить.

Изменено 15 февраля, 2014 пользователем DVM-Avgoor

[hsvt]

Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее.

Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD.

Да, рекомендую использовать ZFS в режиме зеркала.

Но это же не означает что эти аппаратный рейды нужно в обязательном порядке использовать? Можно просто подключить SAS HDD через backplane и установить на них ОС с ZFS зеркалом? Памяти вроде как на одной ноде 24 GB, под innodb еще выдялется как минимум половина). Софт уже идет в бинарном виде, мы ничего не копмпилируем, помимо либы наверняка будет еще куча косяков т.к. это ПО не адаптировали под 10 ветку. Поэтому ZFS будем делать на 9.2.

 

DVM-Avgoor: К сожалению эти варианты с Supermicro и HBA не рассматривались ранее, скорее всего это был бы лучший вариант, но сейчас уже увы. Нам НЕ нужен жезелный рейд, хотим просто использовать SAS HDD через backplane и встроенный контроллер накопителей (Мезонинная плата контроллера LSI 1068e SAS, Мезонинная плата контроллера LSI 2008 SAS)

[vlad11]

Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее.

Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD.

Да, рекомендую использовать ZFS в режиме зеркала.

Но это же не означает что эти аппаратный рейды нужно в обязательном порядке использовать?

 

А вы попробуйте не использовать аппаратный RAID у Деллов.

Там на самой материнской плате нет SATA разъемов :(

[DVM-Avgoor]

DVM-Avgoor: К сожалению эти варианты с Supermicro и HBA не рассматривались ранее, скорее всего это был бы лучший вариант, но сейчас уже увы. Нам НЕ нужен жезелный рейд, хотим просто использовать SAS HDD через backplane и встроенный контроллер накопителей (Мезонинная плата контроллера LSI 1068e SAS, Мезонинная плата контроллера LSI 2008 SAS)

 

 

Ну просто вариант с HBA + Supermicro куда веселей смотрится чем дорогущий Б/У сервер с бэкплейном и мезонинами.

LSI 1068 конечно не очень то и далеко от HBA ушел, но тем не менее... Ну а про проблему с TRIM/SMART через "рейд-контроллеры" вам уже сказали.

Еще добавлю, что мне встречались контроллеры Promise, которые не умели LBA64 в железе, а эмулировали его через цпу. И при создании массива больше 2 ТБ силами самого контроллера, получался ОЙОЙОЙ. Т.е. оно конечно работало, но так медленно... Ну это так, вдруг случится, будете в курсе :)

[hsvt]

Собрал zfs mirror на 9.2, как считаете есть ли смысл добавлять vdev cache в пул без SSD? (Сейчас стэнд на обычных SATA, но затем планируется на SAS HUS156030VLS600).

 

Кто нибудь может пояснить, если делать zfs mirror через bsdinstall на 10.0 ветке - зачем он создаёт два корневых dataset без точки монтирования? (т.е. -m none), а третье уже монтирует на корень.

 

[18:39:00.4] History for 'zroot':
[18:39:00.6] 2014-02-13.19:54:12 zpool create -o altroot=/mnt -m none -f zroot mirror ada0p3.nop ada1p3.nop
[18:39:00.6] 2014-02-13.19:54:13 zfs create -o mountpoint=none zroot/ROOT
[18:39:00.6] 2014-02-13.19:54:13 zfs create -o mountpoint=/ zroot/ROOT/default

 

По небольшому тюнингу рад бы был выслушать знатоков :)

 

zpool status -v
 pool: zroot
state: ONLINE
 scan: none requested
config:

       NAME           STATE     READ WRITE CKSUM
       zroot          ONLINE       0     0     0
         mirror-0     ONLINE       0     0     0
           gpt/disk0  ONLINE       0     0     0
           gpt/disk1  ONLINE       0     0     0

errors: No known data errors

 

zdb | grep ashift
           ashift: 12

 

zfs list
NAME                        USED  AVAIL  REFER  MOUNTPOINT
zroot                      3.22G   223G   404M  /
zroot/tmp                   264K   223G   264K  /tmp
zroot/usr                  2.82G   223G   393M  /usr
zroot/usr/home              216K   223G   216K  /usr/home
zroot/usr/local             216K   223G   216K  /usr/local
zroot/usr/obj               216K   223G   216K  /usr/obj
zroot/usr/ports            1.44G   223G  1.44G  /usr/ports
zroot/usr/ports/distfiles   216K   223G   216K  /usr/ports/distfiles
zroot/usr/ports/packages    216K   223G   216K  /usr/ports/packages
zroot/usr/src              1.00G   223G  1.00G  /usr/src
zroot/var                  3.09M   223G   876K  /var
zroot/var/backups           216K   223G   216K  /var/backups
zroot/var/crash             224K   223G   224K  /var/crash
zroot/var/db                552K   223G   336K  /var/db
zroot/var/db/pkg            216K   223G   216K  /var/db/pkg
zroot/var/empty             216K   223G   216K  /var/empty
zroot/var/log               312K   223G   312K  /var/log
zroot/var/mail              216K   223G   216K  /var/mail
zroot/var/run               324K   223G   324K  /var/run
zroot/var/tmp               228K   223G   228K  /var/tmp

 

zpool get all
NAME   PROPERTY               VALUE                  SOURCE
zroot  size                   230G                   -
zroot  capacity               1%                     -
zroot  altroot                -                      default
zroot  health                 ONLINE                 -
zroot  guid                   1229884058434432944    default
zroot  version                -                      default
zroot  bootfs                 zroot                  local
zroot  delegation             on                     default
zroot  autoreplace            on                     local
zroot  cachefile              -                      default
zroot  failmode               wait                   default
zroot  listsnapshots          on                     local
zroot  autoexpand             on                     local
zroot  dedupditto             0                      default
zroot  dedupratio             1.00x                  -
zroot  free                   227G                   -
zroot  allocated              3.22G                  -
zroot  readonly               off                    -
zroot  comment                -                      default
zroot  expandsize             0                      -
zroot  freeing                0                      default
zroot  feature@async_destroy  enabled                local
zroot  feature@empty_bpobj    active                 local
zroot  feature@lz4_compress   active                 local

 

gpart show -pl
=>       34  488397101    ada0  GPT  (232G)
        34       1024  ada0p1  (null)  (512k)
      1058    4194304  ada0p2  swap0  (2.0G)
   4195362  484201773  ada0p3  disk0  (230G)

=>       34  490350605    ada1  GPT  (233G)
        34       1024  ada1p1  (null)  (512k)
      1058    4194304  ada1p2  swap1  (2.0G)
   4195362  486155277  ada1p3  disk1  (231G)

=>       34  488397101    ada2  GPT  (232G)
        34       2014          - free -  (1M)
      2048   16777216  ada2p1  log0  (8.0G)
  16779264   16777216  ada2p2  log1  (8.0G)
  33556480  454840655          - free -  (216G)

Изменено 26 февраля, 2014 пользователем hsvt

[vlad11]

Собрал zfs mirror на 9.2, как считаете есть ли смысл добавлять vdev cache в пул без SSD? (Сейчас стэнд на обычных SATA, но затем планируется на SAS HUS156030VLS600).

 

vdev cache имеет смысл только при недостатке памяти.

Zil добавлять только на зеркало SSD.

 

 

gpart show -pl
=>       34  488397101    ada0  GPT  (232G)
        34       1024  ada0p1  (null)  (512k)
      1058    4194304  ada0p2  swap0  (2.0G)
   4195362  484201773  ada0p3  disk0  (230G)

=>       34  490350605    ada1  GPT  (233G)
        34       1024  ada1p1  (null)  (512k)
      1058    4194304  ada1p2  swap1  (2.0G)
   4195362  486155277  ada1p3  disk1  (231G)

=>       34  488397101    ada2  GPT  (232G)
        34       2014          - free -  (1M)
      2048   16777216  ada2p1  log0  (8.0G)
  16779264   16777216  ada2p2  log1  (8.0G)
  33556480  454840655          - free -  (216G)

 

Что за ada2? для чего два раздела?