mousus Опубликовано 4 сентября, 2013 · Жалоба Железо: Atom330, 2GB RAM, 2 HDD SATA 250 Gb Предыстория: в сервере в прошлой конфигурации был 1 жёсткий диск, умер на 5 году жизни, S.M.A.R.T. сказал что из-за большого количества Rellocated Sector Count, но это уже не принципиально, нужные данные из него вытащены, винт отправился на полку... OS: FreeBSD 9.2 64 bit Задачи: вторичный DNS сервер для ~150 сайтов (основная), домашний сервер всего по чуть-чуть (мониторинг, vpn, proxy, ... и т.д. но это всё второстепенное и нагрузка от этих будет копеечная) Нагрузка: дисковая минимальная, сетевая минимальная Дилемма: хочется сделать из 2 винтов софтовое зеркало, видятся 2 подхода -- gmirror и зеркало средствами zfs. В виду того что нагрузка на сервер будет чуть менее чем в час по чайной ложке и в свете того что нужна только стабильность и сохранность данных (конфиги named) хочется спросить мнения специалистов по поводу достоинств и недостатков обоих подходов. Disclaimer: В гуглях и яндексах мнения холиварно расходятся... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 4 сентября, 2013 · Жалоба ну так при 0 нагрузке оно так и будет :) На мой взгляд из ufs чуть чуть больше шансов, что данные вынутся при очень большом факапе с файлухой.. Но может я ошибаюсь. Опять же, факап-факапу рознь. наверное может повернуться в любую сторону. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mousus Опубликовано 4 сентября, 2013 · Жалоба у zfs типа убийственная фича -- она всегда в синхронном состоянии и отключения электричества не страшны, с другой стороны ufs2 как-то ближе к телу, даже с дохлого винта с бэдами и ремапами как показал опыт можно вытащить нужные данные штатными средствами Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
littlesavage Опубликовано 4 сентября, 2013 · Жалоба Вводите SCM, не нужно хранить/бэкапить серверные конфиги. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 4 сентября, 2013 · Жалоба почему не сделать загрузку с usb-флешки? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Megas Опубликовано 4 сентября, 2013 · Жалоба нафик мазахизм с флешками, даешь несколько винтов в mirror zfs и кучу памяти. у меня торент качалка стоит. без zfs загибается по io, с zfs летает, раздача где-то чуть больше терабайта. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 4 сентября, 2013 · Жалоба Атом 330 уже считается энерго не эффективным. зфс - явно лишняя, для рейда геома с головой хватит. Ставить систему ИМХО лучше на ссд, симлинк /вар/тмп /тмп, /тмп и /вар/ран на тмпфс. у меня торент качалка стоит. без zfs загибается по io, с zfs летает, раздача где-то чуть больше терабайта. А геомкеш пробовали без зфс? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mousus Опубликовано 4 сентября, 2013 · Жалоба вот кстати в сторону: на флешки в принципе всякие *никсы встают и работают. во всех рецептах прописываются всякие ридонли, файловые системы в оперативке со всяким /вар и иже с ним. Тем не менее вот без всего этого, в штатном режиме эксплуатации есть у кого либо печальные примеры смерти флешек от натёртостей в /тмп /вар/лог? а так да, ssd, да еще и такого типа http://www.espada-tech.ru/pr_-39089.shtml кажется в такие тазики просто манной небесной. Кстати кто-нибудь пробовал эксплуатировать железяки espada? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 4 сентября, 2013 · Жалоба Сказано же, нагрузка нулевая. Зачем SSD ??? Оно же стоит в разы дороже. Кстати народ делает на больших (и потому не быстрых ) HDD массив на zfs с кешом на SSD.. Говорят просто пестня, как летает. Вроде как оно прозрачно отключает кеш, в случае сбоев. Все никак не собирусь домой собрать себе такой комбайн. Насчет мрут ССД. У матери с год назад перетащил винду с НДД на ССД со всеми свопами, кешами эксплореров и темпами. При хронической нехватке памяти (посему свапит) год - полет нормальный Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 4 сентября, 2013 · Жалоба У меня файлопомойка дома, с ссд и зеркалами на обычных. На флешку ставить не стал потому что она слишком медленная и там нет СМАРТ. Стоимость ссд не такая и большая, большого ссд не нужно, подойдёт любой от 8гб чтобы вообще думать о его забитости. Правда мой 32 Гб забит на половину. Важно чтобы был ТРИМ. И не забыть его всключить в крутилках фс. ССД у меня из не дорогих: Corsair CSSD-V32GB2, работает уже года 2-3, ещё в одном месте всё примерно тоже самое и тоже года два без проблем. Так же очень важно правильное выравнивание разделов: по границе 4к, иначе будет тормозить, как ссд так и обычных винтов. ЗФС ставить не стал, потому что хз чего с ним делать в случае сбоев (и вообще не очень понятно как он себя ведёт), как минимум нужно будет иметь ещё столько же винтов чтобы вытаскивать от туда данные. С юфс на простых геом зеркалах всё сильно проще. ПС: зная какие интел жмоты могу предположить что на матери с атомом 330 всего два сата. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mousus Опубликовано 4 сентября, 2013 · Жалоба ага, вы угадали, сата всего 2 (((( про zfs вот есть опыт на солярке: 2 винта по 160 гигов в зеркале под ОС и 2 терабайтника под хлам -- база биллинга, файл помойка.. короче сервак и узел связи стояли тогда в убер-трэш и угар помещении на крыше многоэтажки и вырубались частенько, электрики жгли напалмом и упс частенько высаживал батарейки в ноль. и в таких условиях ни одной проблеммы не было, ни у одного клиента ни копейки не пропало при постоянных отвалах питания. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Megas Опубликовано 6 сентября, 2013 · Жалоба не уверен что geom_cache под gmirror, скорее под stripe, но надо пробовать, но опять же, игрушки такого уровня полезны на мелких файлах, а тут большие и крупные файлы, тут скорее актуально что-то вроде кэша на ssd. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 14 февраля, 2014 (изменено) · Жалоба UPD. Возникла такая же необходимость и выбор сначала пал на gmirror, но затем посмотрел в сторону ZFS mirror. Вообщем есть вот такой сервер http://shop.nag.ru/catalog/02393.Servery-Dell/11409.PowerEdge-C/11410.XS23-TY3 и к нему бэкплэйн http://www.ebay.com/itm/New-OEM-Dell-PowerEdge-C6100-3-5-Hard-Drive-SAS-Backplane-TF0V0-/150759691997 к которому хотим подцепить SAS HITACHI HUS156030VLS600, в ноде как я понимаю помещается 3 HDD. Использовать это всё собираемся для mysql+билиннг+apache+nginx+bind+radius. Какой тип и вид (geom gmirror или ZFS mirror или RAIDz) софт RAID посоветуете ? Или же всё таки сыровата будет ZFS и опасно на продакшин ставить, остановиться на UFS gmirorr ? В основном нагрузка будет на чтение, но и запись тоже. И реализовывать это всё на 9.2 ветке т.к. 10.0 не подходит из-за "Shared object "libssl.so.6" not found," (нужна проекту старая либа), хоть и ZFS там можно уже сделать через bsdinstall. Про ZIL и L2ARC тоже было бы интересно узнать. Изменено 14 февраля, 2014 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 14 февраля, 2014 · Жалоба Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее. Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD. Да, рекомендую использовать ZFS в режиме зеркала. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 15 февраля, 2014 · Жалоба Если только зеркало нужно то гмиррор: оно проще и обкатанее, и в случае чего оно фактически просто два диска в юфс. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 15 февраля, 2014 · Жалоба Не вижу проблем с вкатыванием freebsd на флешку. За пару часов можно нормально собрать 10ку с mfs_root и прозрачным монтированием /etc, /usr/local. Благо сообщество не страдает болезнями линукса, и все делается элементарно на пальцах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alkanaft Опубликовано 15 февраля, 2014 · Жалоба Я в своем кейсе таки на гмиррор сделал А под последний кейс таки зфс так и просится Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 15 февраля, 2014 · Жалоба Если только зеркало нужно то гмиррор: оно проще и обкатанее, и в случае чего оно фактически просто два диска в юфс. В ZFS тоже как два разных диска, легко разъединяется и переносится на другую машину :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alkanaft Опубликовано 15 февраля, 2014 · Жалоба А еще зфс под биллинг самое то : вырубание электрички фс и базе не страшно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 15 февраля, 2014 (изменено) · Жалоба Под зфс еще надо и памяти прилично иметь, для домашнего применения сомнительное удовольствие. А для бд биллинга - самое место. ЗЫ. Но я бы на месте товарища с Dell купил бы все таки Supermicro (типа 836ых корпусов) и набил бы его HBA-шками той же супермикры. Дешево и сердито. ZFSу эти железные рейды совсем ни к чему, только мешают винты мониторить. Изменено 15 февраля, 2014 пользователем DVM-Avgoor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 17 февраля, 2014 · Жалоба Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее. Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD. Да, рекомендую использовать ZFS в режиме зеркала. Но это же не означает что эти аппаратный рейды нужно в обязательном порядке использовать? Можно просто подключить SAS HDD через backplane и установить на них ОС с ZFS зеркалом? Памяти вроде как на одной ноде 24 GB, под innodb еще выдялется как минимум половина). Софт уже идет в бинарном виде, мы ничего не копмпилируем, помимо либы наверняка будет еще куча косяков т.к. это ПО не адаптировали под 10 ветку. Поэтому ZFS будем делать на 9.2. DVM-Avgoor: К сожалению эти варианты с Supermicro и HBA не рассматривались ранее, скорее всего это был бы лучший вариант, но сейчас уже увы. Нам НЕ нужен жезелный рейд, хотим просто использовать SAS HDD через backplane и встроенный контроллер накопителей (Мезонинная плата контроллера LSI 1068e SAS, Мезонинная плата контроллера LSI 2008 SAS) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 17 февраля, 2014 · Жалоба Поставьте 10-ку, подложите нужную либу и скомпилируйте ваш софт под нее. Деллы имеют аппаратные рейды и поэтому вы не сможете TRIM на SSD, ни SMART на SATA и SSD. Да, рекомендую использовать ZFS в режиме зеркала. Но это же не означает что эти аппаратный рейды нужно в обязательном порядке использовать? А вы попробуйте не использовать аппаратный RAID у Деллов. Там на самой материнской плате нет SATA разъемов :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 17 февраля, 2014 · Жалоба DVM-Avgoor: К сожалению эти варианты с Supermicro и HBA не рассматривались ранее, скорее всего это был бы лучший вариант, но сейчас уже увы. Нам НЕ нужен жезелный рейд, хотим просто использовать SAS HDD через backplane и встроенный контроллер накопителей (Мезонинная плата контроллера LSI 1068e SAS, Мезонинная плата контроллера LSI 2008 SAS) Ну просто вариант с HBA + Supermicro куда веселей смотрится чем дорогущий Б/У сервер с бэкплейном и мезонинами. LSI 1068 конечно не очень то и далеко от HBA ушел, но тем не менее... Ну а про проблему с TRIM/SMART через "рейд-контроллеры" вам уже сказали. Еще добавлю, что мне встречались контроллеры Promise, которые не умели LBA64 в железе, а эмулировали его через цпу. И при создании массива больше 2 ТБ силами самого контроллера, получался ОЙОЙОЙ. Т.е. оно конечно работало, но так медленно... Ну это так, вдруг случится, будете в курсе :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 26 февраля, 2014 (изменено) · Жалоба Собрал zfs mirror на 9.2, как считаете есть ли смысл добавлять vdev cache в пул без SSD? (Сейчас стэнд на обычных SATA, но затем планируется на SAS HUS156030VLS600). Кто нибудь может пояснить, если делать zfs mirror через bsdinstall на 10.0 ветке - зачем он создаёт два корневых dataset без точки монтирования? (т.е. -m none), а третье уже монтирует на корень. [18:39:00.4] History for 'zroot': [18:39:00.6] 2014-02-13.19:54:12 zpool create -o altroot=/mnt -m none -f zroot mirror ada0p3.nop ada1p3.nop [18:39:00.6] 2014-02-13.19:54:13 zfs create -o mountpoint=none zroot/ROOT [18:39:00.6] 2014-02-13.19:54:13 zfs create -o mountpoint=/ zroot/ROOT/default По небольшому тюнингу рад бы был выслушать знатоков :) zpool status -v pool: zroot state: ONLINE scan: none requested config: NAME STATE READ WRITE CKSUM zroot ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 gpt/disk0 ONLINE 0 0 0 gpt/disk1 ONLINE 0 0 0 errors: No known data errors zdb | grep ashift ashift: 12 zfs list NAME USED AVAIL REFER MOUNTPOINT zroot 3.22G 223G 404M / zroot/tmp 264K 223G 264K /tmp zroot/usr 2.82G 223G 393M /usr zroot/usr/home 216K 223G 216K /usr/home zroot/usr/local 216K 223G 216K /usr/local zroot/usr/obj 216K 223G 216K /usr/obj zroot/usr/ports 1.44G 223G 1.44G /usr/ports zroot/usr/ports/distfiles 216K 223G 216K /usr/ports/distfiles zroot/usr/ports/packages 216K 223G 216K /usr/ports/packages zroot/usr/src 1.00G 223G 1.00G /usr/src zroot/var 3.09M 223G 876K /var zroot/var/backups 216K 223G 216K /var/backups zroot/var/crash 224K 223G 224K /var/crash zroot/var/db 552K 223G 336K /var/db zroot/var/db/pkg 216K 223G 216K /var/db/pkg zroot/var/empty 216K 223G 216K /var/empty zroot/var/log 312K 223G 312K /var/log zroot/var/mail 216K 223G 216K /var/mail zroot/var/run 324K 223G 324K /var/run zroot/var/tmp 228K 223G 228K /var/tmp zpool get all NAME PROPERTY VALUE SOURCE zroot size 230G - zroot capacity 1% - zroot altroot - default zroot health ONLINE - zroot guid 1229884058434432944 default zroot version - default zroot bootfs zroot local zroot delegation on default zroot autoreplace on local zroot cachefile - default zroot failmode wait default zroot listsnapshots on local zroot autoexpand on local zroot dedupditto 0 default zroot dedupratio 1.00x - zroot free 227G - zroot allocated 3.22G - zroot readonly off - zroot comment - default zroot expandsize 0 - zroot freeing 0 default zroot feature@async_destroy enabled local zroot feature@empty_bpobj active local zroot feature@lz4_compress active local gpart show -pl => 34 488397101 ada0 GPT (232G) 34 1024 ada0p1 (null) (512k) 1058 4194304 ada0p2 swap0 (2.0G) 4195362 484201773 ada0p3 disk0 (230G) => 34 490350605 ada1 GPT (233G) 34 1024 ada1p1 (null) (512k) 1058 4194304 ada1p2 swap1 (2.0G) 4195362 486155277 ada1p3 disk1 (231G) => 34 488397101 ada2 GPT (232G) 34 2014 - free - (1M) 2048 16777216 ada2p1 log0 (8.0G) 16779264 16777216 ada2p2 log1 (8.0G) 33556480 454840655 - free - (216G) Изменено 26 февраля, 2014 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 26 февраля, 2014 · Жалоба Собрал zfs mirror на 9.2, как считаете есть ли смысл добавлять vdev cache в пул без SSD? (Сейчас стэнд на обычных SATA, но затем планируется на SAS HUS156030VLS600). vdev cache имеет смысл только при недостатке памяти. Zil добавлять только на зеркало SSD. gpart show -pl => 34 488397101 ada0 GPT (232G) 34 1024 ada0p1 (null) (512k) 1058 4194304 ada0p2 swap0 (2.0G) 4195362 484201773 ada0p3 disk0 (230G) => 34 490350605 ada1 GPT (233G) 34 1024 ada1p1 (null) (512k) 1058 4194304 ada1p2 swap1 (2.0G) 4195362 486155277 ada1p3 disk1 (231G) => 34 488397101 ada2 GPT (232G) 34 2014 - free - (1M) 2048 16777216 ada2p1 log0 (8.0G) 16779264 16777216 ada2p2 log1 (8.0G) 33556480 454840655 - free - (216G) Что за ada2? для чего два раздела? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...