И снова о файл-сервере

[zako]

Уж сколько раз поднимался данный вопрос... и уж сколько было перерыто архивных веток. Но все уже устарело. И на сегодняшний день технологии и железо ушли далеко вперед.

 

Решено собрать в сети файл-сервер на много терабайт :) в идеале - на 3-4, но для начала можно и на 2, а потом винты по мере надобности доставлять.

 

Хочу собрать примерно вот что:

 

Корпус: Server Case SC5295UP - 250 у.е.

или вот - Server Case SC5299WS - 370 у.е.

 

Проц: Socket 775 4Mb L2 FSB 1066 Intel Core2 Duo 2.13 Ghz (E6420) - 190 у.е.

 

Память: 2 гига, чтобы в Dual Channel работала. Например, Kingston - 2 х 120 = 240 у.е.

 

Мать: Intel BLKD975XBX2KR Socket775, i975X, DDRII-667+, FSB1066, PCI-E, Sound, USB2.0, SATA, LAN, ATX - 220 у.е.

 

В этой матери есть встроенный RAID5, 8 SATA портов, сеть 10/100/1000.

 

Винты: 500 Gb 7200rpm 16Mb cache Seagate 7200.10 ST3500630AS NCQ по 150 у.е., для начала можно 4 штуки поставить.

 

Итого вытекает все в сумму порядка 1600 у.е. Вполне укладывается в бюджет порядка 2К у.е., который можно потратить на это. Плюс еще надо ИБП будет купить посильнее, нежели сейчас для роутера стоит APC CS 500VA.

 

А далее возникают насущные вопросы.

 

1. Что лучше, встроенный в материнку RAID-контроллер или все-таки как плата расширения? Если отдельной платой, то какие есть предпочтения по моделям? Напомню, хочу RAID 5.

 

2. Для операционки надо ставить отдельный небольшой винт? Небольшой - в наше время смешное понятие, т.к. меньше 200Гб уже сложновато что-то найти. А под юникс на файл-сервере очень жалко столько места отдавать. Или поставить какой-нить 30Гб в IDE-слот для этого?

 

3. Потом винты можно будет доставлять в RAID только того размера, какие там уже будут стоять? В данном случае - это 500Гб.

 

На счет нагрузки могу сказать следующее. На данный момент пользоваться сервером будут около 70 человек. В перспективе - до 100-120. Разумеется не все одновременно :)

 

Каково будет мнение спецов? Какой свежий опыт имеется? Насколько подходящее железо (может будут какие-то другие идеи и предложения)?

 

Заранее премного благодарен за комменты!

[Kirya]

OS какая на нем крутиться будет ?

Edited June 6, 2007 by Kirya

[zako]

OS какая на нем крутиться будет ?

Хочу фрю поставить. А есть какие-то советы что лучше ставить, а что нет? Готов прислушаться!

[Kirya]

Ну на Free тебе для поднятия RAID5 точно придется брать внешний хардварный контроллер. Или делать его софварным на уровне OS.

man atacontrol(8)

На Линухе таких проблем нет, но опять же не на всех, а где встроен dmraid.

 

Ты лучше другое скажи, у тебя сервачок под что рассчитывается под FTP или Samb-у ?

 

По операционке, лучше конечно выводить её на отдельный винт. 30 гб вполне хватит, если конечно потом ничего другого вешать на этот сервак не нужно будет. Но опять же, если RAID будет поднят методами операционки, то при вылете её, вместе с отдельным винтом, поднятие инфы задачка будет еще та...

 

По винтам и их добавлению и убиранию из RAID кури стандарты, там все написано. :)

[Zarin]

для софт рейда под линух .. советую пользовать mdadm, при слете ОС , можно будет потом восстановить массивы нужно будет помнить расположение винтов в рейде :)

[Kirya]

mdadm это софт-RAID на уровне операционки.

С всеми вытекающими...

[Magnum72]

Корпус: Server Case SC5295UP - 250 у.е.

или вот - Server Case SC5299WS - 370 у.е.

 

Корпус лучше выбирать не где много 3,5" отсеков а где много 5,25" в них вставляем Titan 82 это кулер с пластиной для винтов и обязательно чтобы взади было куда поставить второй блок питания, один даже на 700 ватт за пару лет умирает, высыхают кондеры. да и постоимости дешевле будет.

 

Проц: Socket 775 4Mb L2 FSB 1066 Intel Core2 Duo 2.13 Ghz (E6420) - 190 у.е.

Проц не критичен, на одном из моих серваков стоит P4 Celeron 2600 разницы с обычными пнями не замечено.

 

Память: 2 гига, чтобы в Dual Channel работала. Например, Kingston - 2 х 120 = 240 у.е.

Тоже не критично для файлсервера, стоит 512 на одном разницы никакой

 

Мать: Intel BLKD975XBX2KR Socket775, i975X, DDRII-667+, FSB1066, PCI-E, Sound, USB2.0, SATA, LAN, ATX - 220 у.е.

В этой матери есть встроенный RAID5, 8 SATA портов, сеть 10/100/1000.

 

Мать лучше с двумя сетевухами, и вот с тем онтроллером на 8 сата,

 

Винты: 500 Gb 7200rpm 16Mb cache Seagate 7200.10 ST3500630AS NCQ по 150 у.е., для начала можно 4 штуки поставить.

 

Уже выгодней на 750 покупать, конечно они немноо проигрывают 500 по цене за гиг, но но если мыслить глобально получается дешевле.

 

1. Что лучше, встроенный в материнку RAID-контроллер или все-таки как плата расширения? Если отдельной платой, то какие есть предпочтения по моделям? Напомню, хочу RAID 5.

 

5 рейд совсем не советую, во первых он очень медленный на записи 3-5 мег в секунду. во вторых как показывает практика если менять винты при появлении на них бедов не дожидаясь пока они умрут окончательно вероятность потерять данные очень низка, у меня из порядка 20 замененных винтов умер только один наглухо.

 

2. Для операционки надо ставить отдельный небольшой винт? Небольшой - в наше время смешное понятие, т.к. меньше 200Гб уже сложновато что-то найти. А под юникс на файл-сервере очень жалко столько места отдавать. Или поставить какой-нить 30Гб в IDE-слот для этого?

 

Да нафиг создай раздел отдельный.

 

3. Потом винты можно будет доставлять в RAID только того размера, какие там уже будут стоять? В данном случае - это 500Гб.

 

Ну скажем все остальное заведомо неправильно поэтому мы установку 750 в рейд из 500 не рассматриваем, и кто тебя сказал что в рейд можно доставлять винты? только через удаление рейда и создание его заново из нужного числа винтов, если всетаки нужен рейд делай его RAID50

 

 

На счет нагрузки могу сказать следующее. На данный момент пользоваться сервером будут около 70 человек. В перспективе - до 100-120. Разумеется не все одновременно :)

 

У меня примерно такая же нагрузка. только компов 3 в каждом по 11 винтов, сначала хотел делать самодельный корпус на кучу винтов, но вовремя одумался, очень неудобно обслуживать.

 

Я вот на это облизываюсь, по цене конкурентов нет.

 

http://dlink.ru/pressrelease/2007/2007_04_24.php

 

Можешь в аську стукнуть если есть вопросы.

[BAHbKA]

А не проще за эти деньги всять серверную плату?

[zako]

А не проще за эти деньги всять серверную плату?

Примеры есть? Иначе пост не имеет никакой ценности и конструктива :(

[zako]

Ты лучше другое скажи, у тебя сервачок под что рассчитывается под FTP или Samb-у ?

Для начала пущай будет просто Самбовская шара в локалке. Дальше, вероятно, возникнет необходимость сделать из этого хранилища FTP, т.к. таким архивом мусора может заинтересоваться вышестоящий провайдер, захочет попользовать.

 

По операционке, лучше конечно выводить её на отдельный винт. 30 гб вполне хватит, если конечно потом ничего другого вешать на этот сервак не нужно будет. Но опять же, если RAID будет поднят методами операционки, то при вылете её, вместе с отдельным винтом, поднятие инфы задачка будет еще та...

Ну так вот я и прошу совета КАК лучше организовать такое хранилище.

Если RAID делать не методами OS, то какие лучше аппаратные контроллеры использовать? Есть какие-то проверенные примеры?

 

По винтам и их добавлению и убиранию из RAID кури стандарты, там все написано. :)

Понимаю, RTFM - это лучший совет. Но все-таки хотелось бы просто получить простой и доступный ответ. Когда дойдет дело до организации хранилища - тогда конечно буду более детально вникать.

[RomadinR]

Для начала пущай будет просто Самбовская шара в локалке. Дальше, вероятно, возникнет необходимость сделать из этого хранилища FTP, т.к. таким архивом мусора может заинтересоваться вышестоящий провайдер, захочет попользовать.

Ну, Самба ведь позволяет задать ip, с которых разрешен доступ. У остальных будет спрашивать пароль до посинения :-) Скажете вышестоящему, что это машина админа, и он дома фильмы с нее смотрит. А пароль - ну кто ж даст пароль админа?! :-)

По винтам и их добавлению и убиранию из RAID кури стандарты, там все написано. :)

Понимаю, RTFM - это лучший совет. Но все-таки хотелось бы просто получить простой и доступный ответ. Когда дойдет дело до организации хранилища - тогда конечно буду более детально вникать.

По винтам. Если это железный массив, то он оперирует винтами, и, скорей всего установка другого по размеру винта ни к чему хорошему не приведет. Если же используется софтовый - то он оперирует разделами. Т.е. можно подключить большой винт, на нем создать раздел такого же размера, как был в массиве, и подключить этот раздел к массиву. Но останется свободное неиспользуемое место.

[zako]

Корпус лучше выбирать не где много 3,5" отсеков а где много 5,25" в них вставляем Titan 82 это кулер с пластиной для винтов и обязательно чтобы взади было куда поставить второй блок питания, один даже на 700 ватт за пару лет умирает, высыхают кондеры. да и постоимости дешевле будет.

Спасибо, полезное замечание. Приму к сведению.

 

Проц не критичен, на одном из моих серваков стоит P4 Celeron 2600 разницы с обычными пнями не замечено.

Понимаю, но уж если брать, так брать нечто современное с запасом, нежели что-то, что уже успело устареть. Благо цена вопроса не заоблачная.

 

Память: 2 гига, чтобы в Dual Channel работала. Например, Kingston - 2 х 120 = 240 у.е.

Тоже не критично для файлсервера, стоит 512 на одном разницы никакой

Понимаю. Тоже беру с запасом на случай "а вдруг что еще из задач решу навесить на эту машину" :)

 

Мать лучше с двумя сетевухами, и вот с тем онтроллером на 8 сата,

Чтобы при надобности транк сделать? Или зачем 2 сетевухи?

Дополнительную наверно можно будет если что и платой отдельной воткнуть.

 

Уже выгодней на 750 покупать, конечно они немноо проигрывают 500 по цене за гиг, но но если мыслить глобально получается дешевле.

Хмммм, надо будет подумать над этим.

 

1. Что лучше, встроенный в материнку RAID-контроллер или все-таки как плата расширения? Если отдельной платой, то какие есть предпочтения по моделям? Напомню, хочу RAID 5.

 

5 рейд совсем не советую, во первых он очень медленный на записи 3-5 мег в секунду. во вторых как показывает практика если менять винты при появлении на них бедов не дожидаясь пока они умрут окончательно вероятность потерять данные очень низка, у меня из порядка 20 замененных винтов умер только один наглухо.

Не понял минусов. Скорость записи НА сервак меня не сильно заботит, т.к. по большей части с него будет происходить чтение. По поводу замены вентов вообще не понял.

Насколько я понимаю RAID5 имеет наибольший процент полезного дискового пространства. Ну то есть под саму организацию хранения данных тратится не так много места от от общего объема. Или я ошибаюсь?

 

Ну скажем все остальное заведомо неправильно поэтому мы установку 750 в рейд из 500 не рассматриваем, и кто тебя сказал что в рейд можно доставлять винты? только через удаление рейда и создание его заново из нужного числа винтов, если всетаки нужен рейд делай его RAID50

А как же поступить? Сейчас я смогу забить данными, ну терабайт, ну чуть больше. Поэтому и хочу пока сделать объем в 2Тб. И просто не вижу смысла на данный момень закупать железа на бОльшие объемы хранилища. Так если у меня забьется это место где-нить через годик-полтора, то просто увеличить его не получится что ли? Я расчитывал, что можно будет поставить дополнительные винты, запустить какую-нить утилитку, которая и перенастроила бы все и перераспределила бы все данные в RAID с учетом того, что дисков там стало больше. Неужели это невозможно?

 

Я вот на это облизываюсь, по цене конкурентов нет.

 

http://dlink.ru/pressrelease/2007/2007_04_24.php

:) Таких денег у меня нет. И если бы и были, то я бы не стал покупать такую железяку для моих условий :) Слишком роскошно :)

[zako]

По винтам. Если это железный массив, то он оперирует винтами, и, скорей всего установка другого по размеру винта ни к чему хорошему не приведет. Если же используется софтовый - то он оперирует разделами. Т.е. можно подключить большой винт, на нем создать раздел такого же размера, как был в массиве, и подключить этот раздел к массиву. Но останется свободное неиспользуемое место.

Но я так понимаю, что софтовый RAID - не есть хорошо. Или как?

И если все же использовать софтовый и сейчас ставить 500гб винты, то если потом, к примеру, поставить два по 750 (в сумме 1.5Тб) и сделать на них ТРИ раздела по 500...? :) Но это сейчас не главное. Можно уже сейчас поставить винты по 750. Поэтому через годик они еще не устареют и можно будет докупить еще.

[martin74]

ммм.... а можно способ, как ты на двух винтах по 750 сделаешь три раздела по 500?

[zako]

ммм.... а можно способ, как ты на двух винтах по 750 сделаешь три раздела по 500?

да, ступил :) сорри!

Edited June 10, 2007 by zako

[hcube]

Легко кстати. Винты в страйп, страйп разбить ;-).

[edwin]

ммм.... а можно способ, как ты на двух винтах по 750 сделаешь три раздела по 500?

А в чем собвеснно (крому надежности) проблема ?

Берем LVM и все решается ....

[martin74]

Легко кстати. Винты в страйп, страйп разбить ;-).

и сверху на всем этом собрать софтовый рейд? ;)

[Magnum72]

Мать лучше с двумя сетевухами, и вот с тем онтроллером на 8 сата,

 

Чтобы при надобности транк сделать? Или зачем 2 сетевухи?

Дополнительную наверно можно будет если что и платой отдельной воткнуть.

да не просто напомнил что счас все приличные материй идут с двумя сетевухами, на будщее так сказать больше

 

1. Что лучше, встроенный в материнку RAID-контроллер или все-таки как плата расширения? Если отдельной платой, то какие есть предпочтения по моделям? Напомню, хочу RAID 5.

Не понял минусов. Скорость записи НА сервак меня не сильно заботит, т.к. по большей части с него будет происходить чтение. По поводу замены вентов вообще не понял.

Насколько я понимаю RAID5 имеет наибольший процент полезного дискового пространства. Ну то есть под саму организацию хранения данных тратится не так много места от от общего объема. Или я ошибаюсь?

 

Дык и скорость чтения на 5 рейде мегов 15-20 в секунду, не больше. и то не на самых дешевых контроллерах.

 

А как же поступить? Сейчас я смогу забить данными, ну терабайт, ну чуть больше. Поэтому и хочу пока сделать объем в 2Тб. И просто не вижу смысла на данный момень закупать железа на бОльшие объемы хранилища. Так если у меня забьется это место где-нить через годик-полтора, то просто увеличить его не получится что ли? Я расчитывал, что можно будет поставить дополнительные винты, запустить какую-нить утилитку, которая и перенастроила бы все и перераспределила бы все данные в RAID с учетом того, что дисков там стало больше. Неужели это невозможно?

 

нельзя просто так добавить в рейд винты, более того нет никаких гарантий что другой контроллер у тебя этот рейд увидит. можно правда рядышком еще один рейд собрать....

 

Вообщем если инфа действительно критична для тебя делай рейд 50, но для него надо минимум 6 винтов в теории, и штук 12-15 на практике для получения отличий по скорости от пятого рейда.

 

а если ты там фильмы хранить собрался то забей на рейды и делай отдельными винтами только не загоняй их в страйп.

[PowerPack]

Дык и скорость чтения на 5 рейде мегов 15-20 в секунду, не больше. и то не на самых дешевых контроллерах.

Уважаемый, может хватит воду мутить вредными советами? Всем известно, что для организации быстрого и более-менее надежного файлового массива - RAID 5 - это оптимальное решение. Дисковый массив из 4 SATA дисков, собранных в RAID 5 выдает около 150-160Мегабайт в секунду при линейном чтении больших файлов. Скорость записи конечно в RAID 5 Ниже, но про 5 мегабайт в секунду это вы снова выдумали.

 

Вообще при 100 пользователях файлового архива - подойдет любое решение, т.к. нагрузка в конкретный промежуток времени будет смешная. В час пик в сети бывает около 50% пользователей, из них только часть будет пользоваться файловым архивом. С вашими задачами справятся даже одиночные диски, без всяких RAID, главное самую полезную инфу грамотно раскидывать по дискам, чтобы нагрузка была более равномерная.

[edwin]

> Дык и скорость чтения на 5 рейде мегов 15-20 в секунду

 

Откуда траву брали ?

[zako]

И вот так до сих пор и не понятно чего и как собирать :(

Встроенный контроллер использовать или платой отдельной?

Как поступать в будущем, когда придется увеличивать размер дискового пространства?

[woddy]

предлагаю такой конфиг:

материнка любая "выше среднего"

проц самый дешевый из 2хядерных

память 2гб.

аппаратный или софтовый рейд - в такой задаче скорость отличается незначительно.

предложу

MB Socket AM2 Asus M2N32 WS Pro (nForce590SLI 4DDR2 2PCI-E 2PCI-X 10SATA 2IDE 7.1 2GLAN 1394 ATX) Ret

у нее на борту уже 9 SATA гнезд

производительность (=скорость отдачи и число одновременных сессий) зависит от числа жестких дисков. сегодня оптимально по отношению цена/объем 500гб. взять "сколько войдет в корпус".

 

далее отрезаем от 2х из них по 30гб разделы. объединяем их в зеркало под систему. все что осталось - в страйп.

 

апгрейдабельный конфиг - получить не возможно для таких задач. лучший апгрейд - покупка еще одной такойже машины (с поправкой на размер винтов)

[woddy]

PS собирали вот такой конфиг

http://forum.adslclub.ru/downloadforum/thu...020207__127.jpg

http://forum.adslclub.ru/downloadforum/thu...020202__677.jpg

 

http://www.supermicro.com/products/motherb...E7230/PDSME.cfm

supermicro PDSME

 

http://www.3dnews.ru/cpu/pentium_d_805/

Двухъядерный процессор Pentium D 805 на ядре Smithfield

 

оператива 2 гига patriot

 

корпус вроде этот:

http://www.aicipc.com/productDetail.asp?id=155

 

FSP Group БП 500 Вт FSP Optima Pro OPS500-60HLN PFCA 2.03 CE Retail

(или 550 ватт... не помню... )

 

винты самсунг

5х400

http://www.ixbt.com/storage/samsung401lj.shtml

Диск Samsung HD401LJ с буфером 16 Мбайт

 

2х200

http://www.ixbt.com/storage/sp2004c.shtml

модель SP2004C

 

рейд контроллер

http://developer.intel.ru/design/servers/r...cs28x/index.htm

8-портовый RAID-контроллер Intel® SRCS28X с поддержкой интерфейса Serial ATA II

 

 

щас система 2х200 зеркало и 5х400 страйп под ФТП.

что потратили деньги на отдельный рейд - жалею.

[zako]

woddy, вот это уже по сути! Супер! Очень полезная инфа, спасибо!

 

А почему пожалел, что покупали отдельно контроллер? И сколько он стоил?

 

На счет корпуса - думаю... у меня ящик-сейф под сервера мелковат по глубине :( Поэтому помещаются лишь Tower-образные корпуса. Тот, что ты привел можно вертикально ставить?