Bushi Опубликовано 11 апреля, 2013 · Жалоба Не силен в серверных платформах PC и комплектующих, возникли вопросы по задаче построения устройств для СХД с минимальным бюджетом. Требования: - 10-20 Тб на одно устойство (10-8 дисков); - SATA; - никаких аппаратных RAID, только ZFS (raidz2), только хардкор; - экспорт данных по NFS; - управляться будет OS FreeNAS, Opensolaris или Nextenta (загрузка с USB Stick); Озадачился выбором корпуса. Из бюджетных: Procase ES212, Negorack NR-R212, AIC RSC-2ED2-2 обойдутся примерно в 22-24 т.р. с БП. Какой лучше выбрать? Бывают ли материнские платы с таким количеством разъемов SATA или без внешнего контроллера не обойтись? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 11 апреля, 2013 (изменено) · Жалоба За 25 т.р. можно просто найти б/у 2U платформу с начинкой и корзиной на 8 дисков + два БП в наборе. Это будет действительно бюджетно, а пока идея с Negorack и другими корпусами ну никак не впечатляет. Два года назад себе взял с рук за 15 т.р. 2U Supermicro с корзинами на 8 дисков, DVD, с одним Xeon 5110 на борту и 6 Гб памяти + два БП. Работает с тех времен до сих пор 24х7х365 как файловая помойка на 10х2Тб (два диска ставятся дополнительно без hot-swap корзинок просто в корпус). Стоит поискать ... При планируемых затратах в 22-24 т.р. на корпус с БП можно и на платформу замахнуться (можно Tower/2U от Intel или Supermicro с толковой серверной платой взять). Даже сильно дороже не получится, учитывая уровень железа в платформе. Пример: http://www.nix.ru/autocatalog/server_systems_intel/Intel_4U_P4308SC2MHGC_LGA1356_C602_PCIE_SAS_RAID_8xHotSwapSAS_SATA_2xGbLAN_8DDRIII_750W_HS_151313.html Пример: http://www.nix.ru/autocatalog/server_systems_supermicro/SuperMicro_7037AiL_LGA1356_C602_PCIE_SATA_RAID_2xGbLAN_6DDRIII_500W_143017.html При использовании 3-4 Тб дисков их не нужно будет 8-10 штук, чтобы набрать требуемый объем, а значит можно смело брать 5 дисковые версии корпус/платформа, что сразу намного дешевле. Изменено 11 апреля, 2013 пользователем replicant Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bushi Опубликовано 11 апреля, 2013 · Жалоба При планируемых затратах в 22-24 т.р. на корпус с БП можно и на платформу замахнуться (можно Tower/2U от Intel или Supermicro с толковой серверной платой взять). Даже сильно дороже не получится, учитывая уровень железа в платформе. Пример: http://www.nix.ru/autocatalog/server_systems_intel/Intel_4U_P4308SC2MHGC_LGA1356_C602_PCIE_SAS_RAID_8xHotSwapSAS_SATA_2xGbLAN_8DDRIII_750W_HS_151313.html Пример: http://www.nix.ru/autocatalog/server_systems_supermicro/SuperMicro_7037AiL_LGA1356_C602_PCIE_SATA_RAID_2xGbLAN_6DDRIII_500W_143017.html Смысл? Набортный RAID будет только мешать, да и в стойку не запихаешь. При использовании 3-4 Тб дисков их не нужно будет 8-10 штук, чтобы набрать требуемый объем, а значит можно смело брать 5 дисковые версии корпус/платформа, что сразу намного дешевле. Тут нужна не столько емкость, сколько надежность, да и глупо собирать raidz2 на 3-4 дисках. 8-12 дисков будет оптимальнее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 11 апреля, 2013 · Жалоба Как бы оно по деньгам в таком случае к какому-нибудь Qnap или аналогам на 8 дисков не приблизилось. Смысл? Набортный RAID будет только мешать, да и в стойку не запихаешь. Открою секрет. Его там как-бы и нет. То, что называется набортным raid по сути лишь опция, на которую никто внимания не обращает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bushi Опубликовано 11 апреля, 2013 · Жалоба Варианты с Qnap, NetApp, Promise, etc уже рассмотрел, сильно дороже выходит. Qnap TS-EC1279U-RP в подобной конфигурации будет стоить тысяч 200000 (без HDD). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 11 апреля, 2013 · Жалоба Варианты с Qnap, NetApp, Promise, etc уже рассмотрел, сильно дороже выходит. Qnap TS-EC1279U-RP в подобной конфигурации будет стоить тысяч 200000 (без HDD). А почему тогда в условиях задачи стоит 10-20 Тб и 8-10 дисков? Если нет задачи набить объем, то тогда что? 12 дисковые решения - это немного иной уровень и сразу намного дороже. Тут как бы другая задача получается и это вообще не оговаривалось. :) Если честно, то большое кол-во дисков - совсем не синоним надежности. Это вывод еще из теории возникновения ошибок при построении/перестроении массивов. Вероятность выхода из строя диска в 8 дисковом массиве выше, чем в 6 дисковом и т.п. В сети этот материал популярно изложен во множестве мест. Когда рассматривается надежность при небольшом кол-ве дисков, то взаимное зеркало двух raid6 из четырех дисков каждый получается самое надежное решение. да и в стойку не запихаешь У Supermicro и Intel есть решения и в 2U/3U варианте. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 11 апреля, 2013 (изменено) · Жалоба В свое время тоже заморачивался по бюджетным вариантам (была, да и сейчас есть, необходимость держать в стойках почти 150-200 Тб). Делали и на софте и на железных контроллерах, которые подохли первыми. Всякое клепали еще со времен IDE дисков. В итоге, спустя несколько лет, остались платформы от брендов Intel, Supermicro + Qnap / Thecus, а весь самодел вымер и был переделан на платформы и готовые nas из коробки. Под 12 дисков будет непросто найти мат.плату (дешево точно не будет) и возможно, если не удастся такую достать, то придется задействовать какой-нибудь внешний контроллер. Как мне кажется две коробки по 8 дисков лучше (при синхронизации данных надежность на очень высоком уровне будет), чем одна на 12, а в случае Qnap и т.п. оно еще и дешевле. Negorack нормальные корпуса. Правда металл хреново обработан (легко вскрыть вены), но за такие деньги сойдет. Брали в свое время для каких-то задач самосборки. Местами пришлось дорабатывать дрелью и пилой по металлу, но не очень много. Металл мягкий. Режется и доводится до ума легко. Мне у Negorack понравились 1U корпуса с корзинками, хотя собирать в таких еще не доводилось. А 2-3 юнита - обычные ведра без изысков. Изменено 11 апреля, 2013 пользователем replicant Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 11 апреля, 2013 · Жалоба А ещё посмотрите на bitblaze.ru ; мы взяли, несколько месяцев полёт нормальный, пока довольны Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 11 апреля, 2013 · Жалоба А ещё посмотрите на bitblaze.ru ; мы взяли, несколько месяцев полёт нормальный, пока довольны Кстати да, но там дисков реально много и немножко не бюджетно. Хотя для такого кол-ва дисков - лучшая цена. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 11 апреля, 2013 · Жалоба Под 12 дисков будет непросто найти мат.плату (дешево точно не будет) и возможно, если не удастся такую достать, то придется задействовать какой-нибудь внешний контроллер. LSI SAS HBA копейки же стоят, я себе в домашний тазик вместо набортного сата взял 4-портовый HBA... И да, самосбор вполне себе может быть оправдан. У нас в свое время (5 лет назад) собрался сервачок из 16 винтов в 3 юнитах, рэйд 6 (набортный сата МСР55, + набортный рэйд на 4 порта, + промайс на 8 портов в jbod - больше всего к слову проблем он принес); жил года 3, железо живо и сейчас, лежит на полке ввиду временной невостребованности, кроме винтов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bushi Опубликовано 12 апреля, 2013 · Жалоба LSI SAS HBA копейки же стоят, я себе в домашний тазик вместо набортного сата взял 4-портовый HBA... Надо минимум 8 портов, а самый дешевый HBA, который я нашел - LSI SAS 3081E-R стоит 7 т.р. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 12 апреля, 2013 · Жалоба На ибэе за копейки, на местах - тут уже особенности локального ценообразования ;) Локально у нас 4-портовый HBA стоил порядка $40, 8-портовый - $80. Б/у ессно (впрочем, какая разница?). А хочется дешево и сердито нового - у китайцев PCI-E контроллеров на марвеллах набрать... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 13 апреля, 2013 · Жалоба На ибэе за копейки, на местах - тут уже особенности локального ценообразования ;) Локально у нас 4-портовый HBA стоил порядка $40, 8-портовый - $80. Б/у ессно (впрочем, какая разница?). А хочется дешево и сердито нового - у китайцев PCI-E контроллеров на марвеллах набрать... Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали. Если делаешь на нем построение аппаратного 5 или 6 уровня, то через несколько дней с вероятностью 100% контроллер разрушал массив и очищал все диски в RAW, убивая на них информацию и всю ФС. Когда делаешь на нем каждый диск отдельно, а массив собираешь через mdadm в системе, то все работает и массив не разрушается. Перепрошивка железку не спасала. Проработав с год мы от нее избавились. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MMM Опубликовано 13 апреля, 2013 (изменено) · Жалоба Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали. Если делаешь на нем построение аппаратного 5 или 6 уровня, то через несколько дней с вероятностью 100% контроллер разрушал массив и очищал все диски в RAW, убивая на них информацию и всю ФС. Когда делаешь на нем каждый диск отдельно, а массив собираешь через mdadm в системе, то все работает и массив не разрушается. Перепрошивка железку не спасала. Проработав с год мы от нее избавились. По опыту, RAID5/6 ведет себя хуже как по надежности, так и по скорости, поэтому везде ставим RAID10. Пользовались и mdadm, хардварными LSI и СХД от HP подключенного по FC. В случае перестройки массива (при замене диска), тормозит прилично. Изменено 13 апреля, 2013 пользователем MMM Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 13 апреля, 2013 · Жалоба Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали. Если делаешь на нем построение аппаратного 5 или 6 уровня, то через несколько дней с вероятностью 100% контроллер разрушал массив и очищал все диски в RAW, убивая на них информацию и всю ФС. Когда делаешь на нем каждый диск отдельно, а массив собираешь через mdadm в системе, то все работает и массив не разрушается. Перепрошивка железку не спасала. Проработав с год мы от нее избавились. По опыту, RAID5/6 ведет себя хуже как по надежности, так и по скорости, поэтому везде ставим RAID10. Пользовались и mdadm, хардварными LSI и СХД от HP подключенного по FC. В случае перестройки массива (при замене диска), тормозит прилично. По чтению при равном кол-ве дисков и одинаковых дисках 5 и 6 быстрее чем 10, а при записи лишь незначительно проигрывают. В случае с некритичными данными и большими объемами в десятки Тб нет смысла в 10 уровне. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 13 апреля, 2013 · Жалоба Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали. Речь о hba. Т.е. - псевдоаппаратный софт-рэйд, который юзать имеет смысл в основном как дополнительный сата-контроллер... По опыту, RAID5/6 ведет себя хуже как по надежности, так и по скорости 6-й - не сказал бы, что хуже по надежности. Неудачное стечение обстоятельств - и 2 умерших в RAID10 дисков хоронят все данные... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 14 апреля, 2013 · Жалоба Неудачное стечение обстоятельств - и 2 умерших в RAID10 дисков хоронят все данные... Еще добавлю что бывает так сбоит, что на остальные диски и на контроллер информационный мусор кидает. Шлет какие-то сигналы видимо, которые не переваривает контроллер/софт и прочее железо. Т.е., когда хард умирает сразу по питанию и навсегда без попытки ожить, намного лучше, чем когда его тошнит несколько дней или недель, а потом набирается критическая масса косяков и ошибки лавиной прут, затыкая систему наглухо. Т.е. RAID 10 ни разу не панацея от подобных попыток харда сойти с ума, самоубиться, воскреснуть и пытаться утянуть за собой все что сможет, включая соседей по массиву, при этом запудрить мозги системе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 14 апреля, 2013 · Жалоба Еще добавлю что бывает так сбоит, что на остальные диски и на контроллер информационный мусор кидает. Шлет какие-то сигналы видимо, которые не переваривает контроллер/софт и прочее железо. В софтрэйде такого ни разу не было.. Может - особенности аппаратных контроллеров вылазят (если это на аппаратном рэйде 10)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AndySat Опубликовано 16 апреля, 2013 · Жалоба Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bushi Опубликовано 16 апреля, 2013 · Жалоба Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете? Не понял вопроса. Как идентифицировать в корзине? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AndySat Опубликовано 17 апреля, 2013 · Жалоба Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете? Не понял вопроса. Как идентифицировать в корзине? Да, как идентифицировать в корзине. Есть у меня несколько NAS'ов Axus, так те в случае выхода из строя винта сигнализируют красным диодиком на корзине, так что любой дежурный техник может взять с полки новый винт и произвести замену. Вот и интересно, как найти корзину со сдохшим винтом в самосборном СХД. Да и если взять корпус от bitblaze.ru - там вообще винты даже не в корзинах, не представляю, как там винт искать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 17 апреля, 2013 · Жалоба А что мешает собрать с корзинами и индикацией? Ну или, если совсем все плохо, просто подписать маркером по портам контроллера, который всегда скажет на каком порту и что у него отвалилось... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bushi Опубликовано 17 апреля, 2013 · Жалоба Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете? Не понял вопроса. Как идентифицировать в корзине? Да, как идентифицировать в корзине. Есть у меня несколько NAS'ов Axus, так те в случае выхода из строя винта сигнализируют красным диодиком на корзине, так что любой дежурный техник может взять с полки новый винт и произвести замену. Вот и интересно, как найти корзину со сдохшим винтом в самосборном СХД. Да и если взять корпус от bitblaze.ru - там вообще винты даже не в корзинах, не представляю, как там винт искать. Честно говоря сам со самосбором не работал, у меня здесь стоят массивы infortrend, но вижу два способа: способ первый, корявый (когда нет корзин):Делать наклейки на дисках и логическую метку (например, glabel во freebsd) способ второй, красивый:разобраться с /dev/led/ и сигнализировать светодиодом (/dev/led/ahcich0.fault и /dev/led/ahcich0.locate для примера) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AndySat Опубликовано 17 апреля, 2013 · Жалоба Честно говоря сам со самосбором не работал, у меня здесь стоят массивы infortrend, но вижу два способа: способ первый, корявый (когда нет корзин):Делать наклейки на дисках и логическую метку (например, glabel во freebsd) способ второй, красивый:разобраться с /dev/led/ и сигнализировать светодиодом (/dev/led/ahcich0.fault и /dev/led/ahcich0.locate для примера) Первый способ хорош, когда у нас нет корзин, для того же корпуса с bitblaze, но с ним можно забыть о hot swap. А вообще да, такие вещи видимо надо собирать на сервере с корзинами, и чтобы контроллер поддерживал сигнализацию светодиодами. Ну и чтоб работал под FreeNAS c флешки, как вы изначально и писали. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 18 апреля, 2013 · Жалоба Вот и интересно, как найти корзину со сдохшим винтом в самосборном СХД /dev/sd[a-z] - по порядку же следуют согласно номеру портов контроллера; вывалился винт sdc из массива - 3 порт значит ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...