SkyCaster Posted February 12, 2006 Posted February 12, 2006 Что лучше в качестве ФТП-сервера по скорости Супер дорогой сервак с райдами сказями кучей кучей винтов и гигабитной сетевухой (штук за 5 килобаксов - кстати какой реальный обьем винтов можно получить за эту сумму и какую скорость - при куче голодных юзеров - у кого есть опыт?) или штук 5 простеньких серверов, типа селерон 2к, с 4 иде винтами каждый, тоже с гигабитной сетевухой (но по штуке килобаксов каждый - такой даст до 0.6-1 Тб и скорость до 150-200 мбит в реальной нагрузке) Вставить ник Quote
Ugnich Anton Posted February 12, 2006 Posted February 12, 2006 Нема ответа однозначного. Зависит от задач и даже от топологии сети. 5-ю серверами можно одно и то же раздавать с разных мест сети, зато одним проще управлять. Вставить ник Quote
ALIEN2002 Posted February 12, 2006 Posted February 12, 2006 SkyCaster, В обслуживании удобнее 1 содержать, а вот финансовую сторону посчитать надо в зависимости от конкретного железа. Тем более сразу возникает вопрос 5 штук для чего? Чтобы зеркалировать или чтобы на одном фильмы на другом музыка, а на третьем софт с играми? ФТП это конечно красиво, но красивое решение образы по SMB выкладывать с играми чтобы удобнее было гамать. Я бы учитывал что матери под П4 можно взять с саташными разъемами и чем их больше тем лучше, а с IDE лучше забить :). Вставить ник Quote
Kuzmich Posted February 13, 2006 Posted February 13, 2006 "по штуке килобаксов каждый" - это как? :))) $5000 - это совсем не "супер дорогой". "Просто дорогой" - это $8000 без стоимости дисков ( http://www.crusader.ru/?A=3&SCI=110 ). Нужен ли сертификат ССС на всё это дело, или "подпольно"? По скорости отдачи файлов в сеть предположительно ты всё равно ограничен 1-2 гигабитами просто по сетевому железу, или не так? Пять серваков имеют как плюсы, так и минусы. + все одновременно из строя не выйдут, а без одной из пяти помоек юзера денек проживут. + суммарно 5 дешевых машин вытянут большую нагрузку, чем одна большая - при неравномерной нагрузке на сервера (например, всем одновременно захотелось посмотреть советсский сериал, выложенный в DVD-касчестве на одном из серваков, причем всем разные серии) качество услуги на дешевом сервере будет ниже. - неудобно перераспределять дисковое пространство между серверами (или городить DFS???) - юзерам не удобно ковыряться в пяти различных ftp-серверах, придется делать разбиение по темам: музыка, фильмы отечественные, фильмы зарубежные и т.д., что опять же снижает гибкость системы. - больше места в стойке, больше энергопортебление - сложнее администрирование У одного большого сервера: + платишь за процессор, оперативку, корпус и т.д. только 1 раз, хотя каждая составляющая вдвое дороже. Остается больше денего на само дисковое пространство. + Более гибкое распределение дискового пространства + проще администрировать + если важно резервирование, то меньше потери денег на "избыточные" HDD. - может сгореть целиком - дороже ремонт - при пиковой нагрузке на одну из "тем" другим "темам" тоже придется плохо. - суммарная производительность ниже, чем у пяти дешевок (но больше 1го-2х гигабит всё-равно вель не нужно?) Я бы взял один сервер о 2х Xeon'ах/оптеронах, 2х гигабайтах памяти и аппаратном JBOD-контроллере (если сохранность данных не очень важна) на 12 дырок (3DWare). Поставил бы в него на первое время 6х400Gb SATA HDD, (2,4 Тб), и добивал бы винты по мере необходимости до упора (4,8Тб). JBOD дает наверное лучшие результаты при одновременном доступе к файлам "вразнобой", и проще наращивается. Вставить ник Quote
jab Posted February 13, 2006 Posted February 13, 2006 Я бы взял один сервер о 2х Xeon'ах/оптеронах, 2х гигабайтах памяти и аппаратном JBOD-контроллере (если сохранность данных не очень важна) на 12 дырок (3DWare). Поставил бы в него на первое время 6х400Gb SATA HDD, (2,4 Тб), и добивал бы винты по мере необходимости до упора (4,8Тб). JBOD дает наверное лучшие результаты при одновременном доступе к файлам "вразнобой", и проще наращивается. Тема бэкапа 5 терабайт с JBODа не раскрыта. :-) Вставить ник Quote
desperado Posted February 13, 2006 Posted February 13, 2006 По скорости отдачи файлов в сеть предположительно ты всё равно ограничен 1-2 гигабитами просто по сетевому железу, или не так? если в точку подключения сходится десяток другой гигабитных аплинков, по несколько сот абонентов каждый, то можно и побольше... Но даже гигабит труднодостижим. Если это 10 юзераов качающих с разных винтов по одному файлу, то всё конечно так... но если с одного харда из разных мест решили слить 200 юзеров, да еще и фрагментация файлов высокая - вся надежда только на кэш! иначе 100Мбит на выходе будет хороший результат! По крайней мере чтобы хоть как-то работало прийдется тюнить файловую систему. Особенно если это ЖБОД. Раид1 немного улучшит ситуацию (и то, встроенный в мать идет лесом, если не сказя) но тоже не принципиально, но на него хардов не напасешься. В плане отказоустойчивости, еще лучше РАИД10, но не знаю как на счет производительности, тестировать еще не приходилось. JBOD дает наверное лучшие результаты при одновременном доступе к файлам "вразнобой", и проще наращивается. ЖБОД вообще, ИМХО, проще делать програмно.... Харды в таком серваке (если пик нагрузки превышает сотню юзеров) летят раз в 5-10 быстрее чем на домашнем компе, даже если всё красиво с охлаждением и питанием, чего тоже на раз-два не сделаешь. Поэтому я бы выбирал между РАИД5 и РАИД6 (естественно, хардварные с кэшом), или даже РАИД10, если деньги позволяют стоко хардов купить. Вставить ник Quote
desperado Posted February 13, 2006 Posted February 13, 2006 Тема бэкапа 5 терабайт с JBODа не раскрыта. :-) самое дешевое - еще 1 такой сервак. ибо даже РАИД не поможет от софтварного стирания. Вставить ник Quote
Kuzmich Posted February 13, 2006 Posted February 13, 2006 ЖБОД должен работать в качетсве файлопомойки быстрее РАИД0: пусть идет чтение двух файлов одновременно. При наличии ЖБОД из двух винтов 50% вероятность, что файлы находятся на разный винтах. Последовательное чтение с винта дает 60 мегабайт/сек, с двух - 120. Гигабит уже загружен полностью. При наличии 6-12 винтов вероятность обслужить на максимальной скорости 6-12 сессий чтения одновременно очень высока, а этого достаточно для сети на 600-1200 человек. При наличии раид 1 ни о каком линейном чтении не может идти речи, т.к. блокам головок постоянно приходится совершать перемещения от одного файла к другому, поэтому даже скорости чтения 60мегабайт/ с раид 0 не получить, хотя пиковая скорость последовательного чтения одного файла (не в параллельном режиме) будет 120 мегабайт.... Уменьшение скорости чтения приводит к увеличению времении сессии, что, в свою очередь, приводит к дальнейшему уменьшению скорости чтения.... Тема бакапа с 5 ТБ не раскрыта, согласен... Но тут либо потеря в скорости (РАИД5=бестолковое мотание головками дисков), либо потеря в деньгах (псевдо-RAID1 :) А раскрой плиз тему бакапа с 5 отдельностоящих серверов? Кроме того - а нафига бэкапить фильмопомойку? Если же у человека дейсвтительно ценные данные объемом 5ТБ, то он уж явно не здесь будет спрашивать, как их хранить.... Вставить ник Quote
desperado Posted February 13, 2006 Posted February 13, 2006 При наличии раид 1 ни о каком линейном чтении не может идти речи, т.к. блокам головок постоянно приходится совершать перемещения от одного файла к другому, поэтому даже скорости чтения 60мегабайт/ с раид 0 не получить, хотя пиковая скорость последовательного чтения одного файла (не в параллельном режиме) будет 120 мегабайт.... так про какой говорим? я говорю про зеркало (РАИД1). Проверено на личном опыте, что имеется прирост (иногда очень значительный), при большщой фрагментации, а равно большом количестве сессий. (вероятно раид выбирает тот хард у которого головки ближе в данный момент) Вставить ник Quote
Lin_ Posted February 14, 2006 Posted February 14, 2006 Дык если 5 серваков, то на одном из них поднят апач или что там у вас с сылками на разные ftp/http/smb... имхо, если сеть большая, то лучше 5 разных серваков - балансировку проще делать Вставить ник Quote
Kuzmich Posted February 15, 2006 Posted February 15, 2006 desperado, Описка вышла, я про страйп-сет говорил, а не про зеркальце. Зеркало - да, при ПОДХОДЯЩЕЙ реализации дает прирост в скорости. Но по моему опыту зеркала в основном рассчитаны на максимальную скорость линейного чтения одного файла - типа того, что с HDD0 читаются четные дорожки, а с HDD1 - нечетные, причем одновременно... Но Зеркало - самый дорогой способ отказоустойчивости, и весьма трудно наращиваемый. JBOD - самый дешовый и самый наращиваемый способ хранения фильмов, а при колическве винтов, равном количеству одновременных сессий чтения - статистически самый быстрый (хотя могут быть и проколы при чтении в несколько потоком с одного диска). Но зато никакой защищенности данных :) Дык если 5 серваков, то на одном из них поднят апач или что там у вас с сылками на разные ftp/http/smb ... и кто-то должен сидеть, и заниматься категоризацией контента и оптимизацией размещения файлов на серваках... Или апач должен просто тупо выдавать суммарный результат find /share с пяти серверов? Вставить ник Quote
jab Posted February 15, 2006 Posted February 15, 2006 [quote name="Kuzmich ... и кто-то должен сидеть' date=' и заниматься категоризацией контента и оптимизацией размещения файлов на серваках... Или апач должен просто тупо выдавать суммарный результат find /share с пяти серверов?[/quote] Зачем ? Рейтинговая система будет автоматом размазывать. Вставить ник Quote
Nurmukhamed Posted February 15, 2006 Posted February 15, 2006 я читал про смену железа на kernel.org так вот они на 32битном железе упирались в 600мегабит а вот с новыми аптеронами забивали потолок полностью но машинка там суперская. Вставить ник Quote
Gad Posted February 15, 2006 Posted February 15, 2006 Не претендую на эксперта в сабже, он! На практике имеем 2xeon + SCSI2SATA внешний RAID (15+spare) RAID5 выдает в пике нагрузки 60~70 мегабайт сек Обратная зависимость от колличества сессий, ибо при 100-150 потоках машина легко отдает 70MBs, при колличестве сэссий за 300 скорость падает до 50~55 MBs. Стоимость такого решения около 12 Килобаксов. По поводу 120 MBs :) Пожалуй в реальности получить получиться либо с SCSI либо с FC . Спецы из infotrend'a на очередном семинаре повествовали о том , что SCSI2SATA под реальной нагрузкой может отдать не больше 100! MBs Около того я и получал в реале на тестовом стенде на двух райдах Потом огромную роль играет сеть. Не видел ни разу на програмных роутерах с гигабитом скорости выше 700 mbs (думаю именно о таком решении идет речь) в обе стороны на pci64 (кто знает как скажите буду рад ! ) Вставить ник Quote
Kuzmich Posted February 15, 2006 Posted February 15, 2006 По поводу 120 MBs :) Пожалуй в реальности получить получиться либо с SCSI либо с FC . 60 Mb/s - вполне достижимая физическая скорость винта на чтение (dd if=/dev/ad0 of=/dev/null bs=512 count=10000) При условии неврагментированности файла, и одного потока на чтение - примерно столько и получится. Два винта на разных каналах по одному потоку чтения - вот тебе и 120.... ну ладно, 100. Спецы из infotrend'a на очередном семинаре повествовали о том , что SCSI2SATA под реальной нагрузкой может отдать не больше 100! MBsОколо того я и получал в реале на тестовом стенде на двух райдах Да. RAID5 при непоследовательном чтении не может отдать слишком много, т.к. самая тормозная операция во всем серваке - это перепозиционирование головок. В случае RAID5 головки перепозиционируются все одновременно, т.к. читаются блоки данных с одинаковыми адресами со всех винтов одновременно. При последовательном чтении длинной порции секторов RAID5 теоретически может выдать скорость (производительность винта)*(кол-во винтов -1). Но в реальности всё упрется в скорости шин (как внутренних RAID-контроллера, так и системной шины компа) и в производительность XOR-процессора RAID-контроллера. Потом огромную роль играет сеть. Не видел ни разу на програмных роутерах с гигабитом скорости выше 700 mbs (думаю именно о таком решении идет речь) в обе стороны на pci64 (кто знает как скажите буду рад ! ) 1. Кто тут вообще что-то говорит про роутеры? 2. 700mb/s - это выше максимальной теоретически возможной пропускной способности шины PCI32 при работе "устройство - память - устройство". На PCI-64 или PCI-X вполне возможна прокачка пары гигабит, если процессора хватает на обработку трафика. Любого современного процессора хватит, чтобы упаковать 1 гигабит сырых данных в IP-пакеты, при условии отсутсвия высокой нагрузки по прерываниям (Polling, контроллеры с кэш-памятью, оперирующие большими блоками данных). Еще в древние времена шестисотых пней удавалось забрать с сервера 600 мегабит при хорошем раскладе - а сейчас и шины не те, и винты не те, и частоты на месте не стоят... Вставить ник Quote
Gad Posted February 15, 2006 Posted February 15, 2006 А Вы на практике видили гденибудь файловую помойку с нефрагментироваными файлами и 1 пользователем Потом по поводу райда 5, думаю что выбирать особо не придеться Про сеть, да действительно не в тему, но при работе с пакетами по 64к хм не спорю.....в реале все гораздо хуже Вставить ник Quote
Kuzmich Posted February 16, 2006 Posted February 16, 2006 А почемуна файлопомойке файлы должны быть фрагментированными? Фрагметация образуется, когда файло пишется либо в несколько потоков, либо поверх фрагментированного свободного места. С этим можно бороться: 1. Залив файлов разрешить только на отдельную файловую систему, с которой потом скриптом переность файлы на рабочую. Последовательно. 2. Удаление файлов выполнять раз в неделю, после чего дефрагментировать винт. Например, в понедельник, в 5 утра - качков практически не бывает. Если в файлопомойке 6 винтов в JBOD'е, то она будет держать 6 сессий чтения на максимальной скорости винта (при условии, что читают с разных винтов). Если файлы отдаются быстро (т.е. как минимум гигабитное подключение к бэкбону, а лучше 2 гигабита), то и сессии будут короткими, и вероятность большого количества одновременных сессий чтения падает. Если, конечно, использовать в качестве протокола отдачи файлов FTP (т.е. юзеру будет проще скачать файл целиком, чем извращаться с просмотром кина непосредственно с ftp). В результате помойка будет способна качественно обслуживать сеть где-то на 600 юзеров. Если сессий станет больше, то JBOD начнет деградировать. Но RAID5 к этому времени уже давно будет большую часть времени тратить на треск головками, а не отдачу файлов. Решения с RAID 10 еще могут попробовать потягаться при хорошей прошивке, но тоже не долго. И они существенно дороже. Естественно, самый лучший и масштабируемый вариант - это накормить сервер парой гигабайт памяти для кэширования, и заставить его работать с упреждающим чтением блоками мегабайт по 50-100. В этом случае RADI5 будет работать в режиме чтения больших последовательных блоков в память, т.е. с максимально возможной для него скоростью, и тратить на перемещение головок значительно меньший процент времени. Но такого софта я что-то неприпомню.... Вставить ник Quote
jab Posted February 16, 2006 Posted February 16, 2006 Но такого софта я что-то неприпомню.... Софт называется Novell Netware 3.12 ;-) Вставить ник Quote
Gad Posted February 16, 2006 Posted February 16, 2006 :) Помоему дискуссия н тему я говорю стриженный , а вы бритый JBOD при 300 одновременных сессиях умереет не чуть не раньше Raid 5, ну я по крайней мере не замечаю :) не успеваю... И разговор идет не про 600 человек пользователей, а про как минимум 200 постоянных сэссий!!! последний по крайней мере дает надежду на сохранность данных Фрагментация :) у меня 15 человек модереторов, которые льют когда им захочеться и что им захочеться , и простите смотреть за этим нет времени просто... RAID 10 действительно конкурент но при объемах в 4 тб стоит немало jab, спасибо за идею погляжу... Вставить ник Quote
jab Posted February 17, 2006 Posted February 17, 2006 :) RAID 10 действительно конкурент но при объемах в 4 тб стоит немало Я на объемах больше 10Тб альтернативы нескольким RADI5 не вижу. Проблема производительности решается разнесением нагрузки и постоянным добавлением новых массивов. Вставить ник Quote
edo Posted February 17, 2006 Posted February 17, 2006 Если в файлопомойке 6 винтов в JBOD'е, то она будет держать 6 сессий чтения на максимальной скорости винта (при условии, что читают с разных винтов). так пользователям и сказать? Вставить ник Quote
Gad Posted February 20, 2006 Posted February 20, 2006 ТОгда уж еще вопрос : Интересно мнение о выборе FSOC Желательно в примерами Вставить ник Quote
SkyCaster Posted February 20, 2006 Author Posted February 20, 2006 Однако смотрю голоса разделились :) Я еще раз обозначу основные цели. Сервера - для обычной файлопомойки, т.е. сохранность данных не нужна и 5 тбайт никто бекапить не собирается :) Умер винт - поставил взамен другой, через два дня уже будет забит юзверами под завязку. Первоочередная задача - обслужить как можно больше юзверов, т.е. отдать им на самой высокой скорости файло, и при этом иметь большой обьем этой самой файлопомойки. Пять серверов (по килобаксу, извиняюсь за опечатку :) ) подключены к нормальному свичику L3, например каюн 550 или парочке длинков3312 ну и т.п. - ну в общем имеют гигабитное включение (на практике такой сервер вполне 200 мбит может отдать). Супер сервер допустим двумя гигабитными портами включен. Насколько я понял тут предлагают все же дисковый массив + сервер? P.S. A jbod под линуксом у меня почему то не пошел - вроде создал райд (на встроенном соответственно простеньком сата-контролере) - а линукс все равно видел два винта по отдельности :) Вставить ник Quote
SkyCaster Posted February 20, 2006 Author Posted February 20, 2006 ТОгда уж еще вопрос :Интересно мнение о выборе FSOC Желательно в примерами ИМХО reiserfslinux Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.