[Bushi]

Не силен в серверных платформах PC и комплектующих, возникли вопросы по задаче построения устройств для СХД с минимальным бюджетом.

 

Требования:

- 10-20 Тб на одно устойство (10-8 дисков);

- SATA;

- никаких аппаратных RAID, только ZFS (raidz2), только хардкор;

- экспорт данных по NFS;

- управляться будет OS FreeNAS, Opensolaris или Nextenta (загрузка с USB Stick);

 

Озадачился выбором корпуса. Из бюджетных: Procase ES212, Negorack NR-R212, AIC RSC-2ED2-2 обойдутся примерно в 22-24 т.р. с БП.

Какой лучше выбрать? Бывают ли материнские платы с таким количеством разъемов SATA или без внешнего контроллера не обойтись?

[replicant]

За 25 т.р. можно просто найти б/у 2U платформу с начинкой и корзиной на 8 дисков + два БП в наборе. Это будет действительно бюджетно, а пока идея с Negorack и другими корпусами ну никак не впечатляет.

 

Два года назад себе взял с рук за 15 т.р. 2U Supermicro с корзинами на 8 дисков, DVD, с одним Xeon 5110 на борту и 6 Гб памяти + два БП. Работает с тех времен до сих пор 24х7х365 как файловая помойка на 10х2Тб (два диска ставятся дополнительно без hot-swap корзинок просто в корпус).

 

Стоит поискать ...

 

При планируемых затратах в 22-24 т.р. на корпус с БП можно и на платформу замахнуться (можно Tower/2U от Intel или Supermicro с толковой серверной платой взять).

Даже сильно дороже не получится, учитывая уровень железа в платформе.

 

Пример: http://www.nix.ru/autocatalog/server_systems_intel/Intel_4U_P4308SC2MHGC_LGA1356_C602_PCIE_SAS_RAID_8xHotSwapSAS_SATA_2xGbLAN_8DDRIII_750W_HS_151313.html

Пример: http://www.nix.ru/autocatalog/server_systems_supermicro/SuperMicro_7037AiL_LGA1356_C602_PCIE_SATA_RAID_2xGbLAN_6DDRIII_500W_143017.html

 

При использовании 3-4 Тб дисков их не нужно будет 8-10 штук, чтобы набрать требуемый объем, а значит можно смело брать 5 дисковые версии корпус/платформа, что сразу намного дешевле.

Изменено 11 апреля, 2013 пользователем replicant

[Bushi]

При планируемых затратах в 22-24 т.р. на корпус с БП можно и на платформу замахнуться (можно Tower/2U от Intel или Supermicro с толковой серверной платой взять).

Даже сильно дороже не получится, учитывая уровень железа в платформе.

 

Пример: http://www.nix.ru/autocatalog/server_systems_intel/Intel_4U_P4308SC2MHGC_LGA1356_C602_PCIE_SAS_RAID_8xHotSwapSAS_SATA_2xGbLAN_8DDRIII_750W_HS_151313.html

Пример: http://www.nix.ru/autocatalog/server_systems_supermicro/SuperMicro_7037AiL_LGA1356_C602_PCIE_SATA_RAID_2xGbLAN_6DDRIII_500W_143017.html

Смысл? Набортный RAID будет только мешать, да и в стойку не запихаешь.

 

При использовании 3-4 Тб дисков их не нужно будет 8-10 штук, чтобы набрать требуемый объем, а значит можно смело брать 5 дисковые версии корпус/платформа, что сразу намного дешевле.

Тут нужна не столько емкость, сколько надежность, да и глупо собирать raidz2 на 3-4 дисках. 8-12 дисков будет оптимальнее.

[replicant]

Как бы оно по деньгам в таком случае к какому-нибудь Qnap или аналогам на 8 дисков не приблизилось.

 

Смысл? Набортный RAID будет только мешать, да и в стойку не запихаешь.

Открою секрет. Его там как-бы и нет. То, что называется набортным raid по сути лишь опция, на которую никто внимания не обращает.

[Bushi]

Варианты с Qnap, NetApp, Promise, etc уже рассмотрел, сильно дороже выходит. Qnap TS-EC1279U-RP в подобной конфигурации будет стоить тысяч 200000 (без HDD).

[replicant]

Варианты с Qnap, NetApp, Promise, etc уже рассмотрел, сильно дороже выходит. Qnap TS-EC1279U-RP в подобной конфигурации будет стоить тысяч 200000 (без HDD).

А почему тогда в условиях задачи стоит 10-20 Тб и 8-10 дисков? Если нет задачи набить объем, то тогда что?

12 дисковые решения - это немного иной уровень и сразу намного дороже. Тут как бы другая задача получается и это вообще не оговаривалось. :)

 

Если честно, то большое кол-во дисков - совсем не синоним надежности. Это вывод еще из теории возникновения ошибок при построении/перестроении массивов. Вероятность выхода из строя диска в 8 дисковом массиве выше, чем в 6 дисковом и т.п. В сети этот материал популярно изложен во множестве мест.

 

Когда рассматривается надежность при небольшом кол-ве дисков, то взаимное зеркало двух raid6 из четырех дисков каждый получается самое надежное решение.

 

да и в стойку не запихаешь

У Supermicro и Intel есть решения и в 2U/3U варианте.

[replicant]

В свое время тоже заморачивался по бюджетным вариантам (была, да и сейчас есть, необходимость держать в стойках почти 150-200 Тб).

Делали и на софте и на железных контроллерах, которые подохли первыми. Всякое клепали еще со времен IDE дисков.

В итоге, спустя несколько лет, остались платформы от брендов Intel, Supermicro + Qnap / Thecus, а весь самодел вымер и был переделан на платформы и готовые nas из коробки.

 

Под 12 дисков будет непросто найти мат.плату (дешево точно не будет) и возможно, если не удастся такую достать, то придется задействовать какой-нибудь внешний контроллер.

 

Как мне кажется две коробки по 8 дисков лучше (при синхронизации данных надежность на очень высоком уровне будет), чем одна на 12, а в случае Qnap и т.п. оно еще и дешевле.

 

Negorack нормальные корпуса. Правда металл хреново обработан (легко вскрыть вены), но за такие деньги сойдет. Брали в свое время для каких-то задач самосборки. Местами пришлось дорабатывать дрелью и пилой по металлу, но не очень много. Металл мягкий. Режется и доводится до ума легко.

 

Мне у Negorack понравились 1U корпуса с корзинками, хотя собирать в таких еще не доводилось. А 2-3 юнита - обычные ведра без изысков.

Изменено 11 апреля, 2013 пользователем replicant

[Wingman]

А ещё посмотрите на bitblaze.ru ; мы взяли, несколько месяцев полёт нормальный, пока довольны

[replicant]

А ещё посмотрите на bitblaze.ru ; мы взяли, несколько месяцев полёт нормальный, пока довольны

Кстати да, но там дисков реально много и немножко не бюджетно. Хотя для такого кол-ва дисков - лучшая цена.

[NiTr0]

Под 12 дисков будет непросто найти мат.плату (дешево точно не будет) и возможно, если не удастся такую достать, то придется задействовать какой-нибудь внешний контроллер.

LSI SAS HBA копейки же стоят, я себе в домашний тазик вместо набортного сата взял 4-портовый HBA...

 

И да, самосбор вполне себе может быть оправдан. У нас в свое время (5 лет назад) собрался сервачок из 16 винтов в 3 юнитах, рэйд 6 (набортный сата МСР55, + набортный рэйд на 4 порта, + промайс на 8 портов в jbod - больше всего к слову проблем он принес); жил года 3, железо живо и сейчас, лежит на полке ввиду временной невостребованности, кроме винтов.

[Bushi]

LSI SAS HBA копейки же стоят, я себе в домашний тазик вместо набортного сата взял 4-портовый HBA...

 

Надо минимум 8 портов, а самый дешевый HBA, который я нашел - LSI SAS 3081E-R стоит 7 т.р.

[NiTr0]

На ибэе за копейки, на местах - тут уже особенности локального ценообразования ;) Локально у нас 4-портовый HBA стоил порядка $40, 8-портовый - $80. Б/у ессно (впрочем, какая разница?). А хочется дешево и сердито нового - у китайцев PCI-E контроллеров на марвеллах набрать...

[replicant]

На ибэе за копейки, на местах - тут уже особенности локального ценообразования ;) Локально у нас 4-портовый HBA стоил порядка $40, 8-портовый - $80. Б/у ессно (впрочем, какая разница?). А хочется дешево и сердито нового - у китайцев PCI-E контроллеров на марвеллах набрать...

Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали.

Если делаешь на нем построение аппаратного 5 или 6 уровня, то через несколько дней с вероятностью 100% контроллер разрушал массив и очищал все диски в RAW, убивая на них информацию и всю ФС.

Когда делаешь на нем каждый диск отдельно, а массив собираешь через mdadm в системе, то все работает и массив не разрушается. Перепрошивка железку не спасала.

Проработав с год мы от нее избавились.

[MMM]

Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали.

Если делаешь на нем построение аппаратного 5 или 6 уровня, то через несколько дней с вероятностью 100% контроллер разрушал массив и очищал все диски в RAW, убивая на них информацию и всю ФС.

Когда делаешь на нем каждый диск отдельно, а массив собираешь через mdadm в системе, то все работает и массив не разрушается. Перепрошивка железку не спасала.

Проработав с год мы от нее избавились.

 

По опыту, RAID5/6 ведет себя хуже как по надежности, так и по скорости, поэтому везде ставим RAID10. Пользовались и mdadm, хардварными LSI и СХД от HP подключенного по FC. В случае перестройки массива (при замене диска), тормозит прилично.

Изменено 13 апреля, 2013 пользователем MMM

[replicant]

Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали.

Если делаешь на нем построение аппаратного 5 или 6 уровня, то через несколько дней с вероятностью 100% контроллер разрушал массив и очищал все диски в RAW, убивая на них информацию и всю ФС.

Когда делаешь на нем каждый диск отдельно, а массив собираешь через mdadm в системе, то все работает и массив не разрушается. Перепрошивка железку не спасала.

Проработав с год мы от нее избавились.

 

По опыту, RAID5/6 ведет себя хуже как по надежности, так и по скорости, поэтому везде ставим RAID10. Пользовались и mdadm, хардварными LSI и СХД от HP подключенного по FC. В случае перестройки массива (при замене диска), тормозит прилично.

По чтению при равном кол-ве дисков и одинаковых дисках 5 и 6 быстрее чем 10, а при записи лишь незначительно проигрывают. В случае с некритичными данными и большими объемами в десятки Тб нет смысла в 10 уровне.

[NiTr0]

Есть определенный риск. Мне один раз попался 3ware RAID на 8 дисков. Вроде бы работает, но была с ним "небольшая" проблемка, которая выплыла через пару недель, когда сервер собрали.

Речь о hba. Т.е. - псевдоаппаратный софт-рэйд, который юзать имеет смысл в основном как дополнительный сата-контроллер...

 

По опыту, RAID5/6 ведет себя хуже как по надежности, так и по скорости

6-й - не сказал бы, что хуже по надежности. Неудачное стечение обстоятельств - и 2 умерших в RAID10 дисков хоронят все данные...

[replicant]

Неудачное стечение обстоятельств - и 2 умерших в RAID10 дисков хоронят все данные...

Еще добавлю что бывает так сбоит, что на остальные диски и на контроллер информационный мусор кидает. Шлет какие-то сигналы видимо, которые не переваривает контроллер/софт и прочее железо.

Т.е., когда хард умирает сразу по питанию и навсегда без попытки ожить, намного лучше, чем когда его тошнит несколько дней или недель, а потом набирается критическая масса косяков и ошибки лавиной прут, затыкая систему наглухо.

 

Т.е. RAID 10 ни разу не панацея от подобных попыток харда сойти с ума, самоубиться, воскреснуть и пытаться утянуть за собой все что сможет, включая соседей по массиву, при этом запудрить мозги системе.

[NiTr0]

Еще добавлю что бывает так сбоит, что на остальные диски и на контроллер информационный мусор кидает. Шлет какие-то сигналы видимо, которые не переваривает контроллер/софт и прочее железо.

В софтрэйде такого ни разу не было.. Может - особенности аппаратных контроллеров вылазят (если это на аппаратном рэйде 10)?

[AndySat]

Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете?

[Bushi]

Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете?

Не понял вопроса. Как идентифицировать в корзине?

[AndySat]

Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете?

Не понял вопроса. Как идентифицировать в корзине?

Да, как идентифицировать в корзине. Есть у меня несколько NAS'ов Axus, так те в случае выхода из строя винта сигнализируют красным диодиком на корзине, так что любой дежурный техник может взять с полки новый винт и произвести замену. Вот и интересно, как найти корзину со сдохшим винтом в самосборном СХД. Да и если взять корпус от bitblaze.ru - там вообще винты даже не в корзинах, не представляю, как там винт искать.

[Hawk128]

А что мешает собрать с корзинами и индикацией?

Ну или, если совсем все плохо, просто подписать маркером по портам контроллера, который всегда скажет на каком порту и что у него отвалилось...

[Bushi]

Не имел дела с самосбором, поэтому хочется уточнить - если один из винтов умирает, как узнать, какой именно из них заменить? По серийникам сравниваете?

Не понял вопроса. Как идентифицировать в корзине?

Да, как идентифицировать в корзине. Есть у меня несколько NAS'ов Axus, так те в случае выхода из строя винта сигнализируют красным диодиком на корзине, так что любой дежурный техник может взять с полки новый винт и произвести замену. Вот и интересно, как найти корзину со сдохшим винтом в самосборном СХД. Да и если взять корпус от bitblaze.ru - там вообще винты даже не в корзинах, не представляю, как там винт искать.

 

Честно говоря сам со самосбором не работал, у меня здесь стоят массивы infortrend, но вижу два способа:

1. способ первый, корявый (когда нет корзин):
   Делать наклейки на дисках и логическую метку (например, glabel во freebsd)
   
2. способ второй, красивый:
   разобраться с /dev/led/ и сигнализировать светодиодом (/dev/led/ahcich0.fault и /dev/led/ahcich0.locate для примера)
   

[AndySat]

Честно говоря сам со самосбором не работал, у меня здесь стоят массивы infortrend, но вижу два способа:

1. способ первый, корявый (когда нет корзин):
   Делать наклейки на дисках и логическую метку (например, glabel во freebsd)
   
2. способ второй, красивый:
   разобраться с /dev/led/ и сигнализировать светодиодом (/dev/led/ahcich0.fault и /dev/led/ahcich0.locate для примера)
   

 

Первый способ хорош, когда у нас нет корзин, для того же корпуса с bitblaze, но с ним можно забыть о hot swap. А вообще да, такие вещи видимо надо собирать на сервере с корзинами, и чтобы контроллер поддерживал сигнализацию светодиодами. Ну и чтоб работал под FreeNAS c флешки, как вы изначально и писали.

[NiTr0]

Вот и интересно, как найти корзину со сдохшим винтом в самосборном СХД

/dev/sd[a-z] - по порядку же следуют согласно номеру портов контроллера; вывалился винт sdc из массива - 3 порт значит ;)