[vik75]

можно подобрать 4U шасси из недорогих inwin есть 5U в стойку

 

у этой мамки размер 12"х9.6", а корпуса эти 12"х13"

Все прекрасно влезает в обычный китайский 2U, типа вот такого http://www.chenbro.com/corporatesite/produ...e0ff06d64369294 с некоторой доработкой кусачками под сетевухи.

то есть когда Riser Card не попадает в штатный разъем на задней панели

вы вырезаете новый??

сетевуха не болтается?? (или ее можно приварить-приклеить??)

а если еще одну сетевую карту поставить опять заднюю панель ковырять??

 

может все-таки лучше 4U, 5U

Изменено 6 сентября, 2009 пользователем vik75

[jab]

А если единственное окно выходит на солнечную сторону? :-) С местом тут тоже траблы... Да и на улице вполне до 50C может быть (если солнечная сторона).

Но рассмотрю, идея очень интересная.

А при чем тут окно ? Надо делать систему водяного охлаждения, и резервуар в подвале. И использовать холодное время суток для сброса в окружающую среду тепла, накопленного в ЧНН.

 

то есть когда Riser Card не попадает в штатный разъем на задней панели

вы вырезаете новый??

Вообще riser card не использую.

 

сетевуха не болтается?? (или ее можно приварить-приклеить??)

Закреплена.

 

а если еще одну сетевую карту поставить опять заднюю панель ковырять??

Тоже мне проблема, берете кусок жести, режете вертикальные окна, и приклепываете заклепочником на место вырезанного куска. Всех делов на пол-часа работы.

 

4U и 5U очень неоптимально. Много стоек ставить придется.

[Andrew40]

Вы размер резервуара и площадь калориферов на крыше хорошо прикинули???

[nuclearcat]

Резервуар здесь малореально... крыши уже ими заняты, для питьевой воды.

Подвалы все сданы владельцами здания и эксплуатируются...

Скорее всего будет одно "дорогое" помещение для стоек и специфических задач, где стоят бренды, и сарай-дц с минимальным охлаждением и кучей дешевых писюков.

[jab]

Вы размер резервуара и площадь калориферов на крыше хорошо прикинули???

Ага, пара кубов воды, и пара небольших калориферов. Для 8 Core2Duo. :-)

[vik75]

Резервуар здесь малореально... крыши уже ими заняты, для питьевой воды.

Подвалы все сданы владельцами здания и эксплуатируются...

Скорее всего будет одно "дорогое" помещение для стоек и специфических задач, где стоят бренды, и сарай-дц с минимальным охлаждением и кучей дешевых писюков.

бензин вроде не сильно дорогой должен быть... может бензиновый (или дизельный) генератор... хотя бы для кондиционера

 

эффективно должно быть зеркальной пленкой (панелями) наружние стены (и окна) покрыть

для освещения лампочек светодиодных

по поводу слоя утелителя надо подумать... по обстановке...

а ночью по таймеру вентилятор запускать с улицы воздух холодный втягивать

 

идея с водой хороша... договоритесь с теми кто содержит резервуары на крыше... чтобы они воду туда через ваше помещение подавали...

а уж тут место для фантазии... (поможете им ее нагреть)

 

... более практичны были бы стены толщиной метр кирпичные или каменные... они бы за ночь охлаждались и весь день охлаждали бы помещение...

 

[jab]

а ночью по таймеру вентилятор запускать с улицы воздух холодный втягивать

У них ночью 25 градусов. :-)))

 

[nuclearcat]

Малореальные предложения... особенно замена десятка люминисцентных ламп 20Вт на 4Вт светодиодные, при теплогенерации серверов 10-30 кВт.

 

В лучшем случае,если действовать кардинально разместиться в basement и закопать неподалеку в землю, на уровень грунтовых вод трубы, и через них осуществлять теплообмен. Хотя 30 кВт - это не факт что пройдет... у всех окружающих предметов температура днем высокая. В баки на крыше меня никто не пустит, если кто-то водички несвежей попьет и спишет, что это из-за нас она испортилась - потом уроют. Переделывать систему труб в здании... хм :-)

Мне проще будет закупать за эти деньги каждый год новые писюки и оставлять их на продувке уличным воздухом :-)

[vik75]

Малореальные предложения... особенно замена десятка люминисцентных ламп 20Вт на 4Вт светодиодные, при теплогенерации серверов 10-30 кВт.

я про лампы написал... в смысле если окна закрыть светоотражающим материалом... чтоб в потемках не бродить... ну а светодиодные - самые экономичные....

 

а вообще тема интересная... но больше для форума по кондиционированию, вентиляции или строительству

[vIv]

СПС. У меня больше проблема с электричеством. Я сейчас ломаю голову над такой оптимизацией.

В Ливане траффик дорогой, $1k за мегабит и выше (в одну сторону), потому прокси - серьезное подспорье.

Я пытался сочинить все(проксю) на 1U Sun-е с 8-ю SAS, с 2x Quad Core 2.8 Ghz - безуспешно. Сквида doesn't scale well и решение начинало тормозить, при относительно высокой цене.

Сейчас 8 компов (самые холодные и дешевые из Intel Core) в кластере, отдает 200-250 Мбит, 70K коннектов в час пик. 4-е было впритык, но собираюсь оптимизировать и оставить 4 в холодном резерве и 4 в час пик.

НО. Электричество. Это вторая проблема в Ливане... соответственно тут же температура в помещении и кондиционирование...

Сквиды в sibling, и поэтому контент кеша в большей части не дублируется, была мысль выключать юниты (и включать по WakeOnLan) которые не нужны, но тогда понижается эффективность кеша (данные начнут дублироваться), плюс start/stop у винтов ограничены(хоть система и на флешке, но кеш на флешке не особо похранишь). Как вариант рассматриваю увод просто в idle (отработка только sibling запросов). Другой вариант - просто в момент когда кеш не очень нужен, отключать его в read-only на оставшихся включенных хостах.

блейд выходит совсем не вариант - т.к. дико греется и дорог.

О! А вот это наша река! {c}

 

Я правильно понял задачу?

Есть потребность в N>2 серверов однотипной функциональности, которые выполняют одну задачу, причём их мощности востребованны в разном объёме в различное время. Так?

Насчёт дико греется - заблуждение, как-раз наоборот. Дорог - да. Согласен. Причём дорога сама инсталляция, а не стоимость владения. То-есть именно на старте основные денежные минусы.

 

На-вскидку это шасси с одинаковыми блейдами и, как это принято, внешним сториджем. Т.е. не те, которые тут обсуждались, с дисками на борту, а бездисковые, загружаемые по сети, от системы управления принимающие профиль "на эту загрузку". С кэшем придётся подумать, как его сделать одним для кучи кальмаров, я такого не делал. Но загружать блейды on-demand - задача более, чем типовая. Даже включая троттлинг недозагруженных блейдов ;-)

Минус такого решения: первоначальные траты на собственно систему управления блейдами и сам сторидж. Нужно посчитать, сколько это будет стоить и за какое время окупится.

 

UPD: я тут подумал, - можно их каскадно настраивать, тогда каждый последующий будет использовать свой кэш, а при необходимости обращаться к "аплинку". Благо, все в одном свиче сидят. Тогда будет один для клиентов, один для выхода в мир и набор промежуточных, которые можно рассортировать, например, по направлениям или ещё как, и гасить по необходимости. Да и сториджи умеют снижать энергопотребление по реальной загрузке или по команде системы управления.

[jab]

 

Ну о чём ты говоришь, какие ядренкоту блейды, если он спокойно обходится пачкой c2d, а на c2q ему даже лень было по несколько сквидов сиблингами

запускать для масштабирования. Ему скорее всего хватит пары ci7 с кучей DDR3 без всяких блейдов. Там idle power consumption мизерный.

[vIv]

Тогда согласен. Стоимость инсталляции "для взлёта" блейд-фермы будет на порядок дороже, да. Ты прав.

Вообще о блейдах есть смысл говорить на объёмах от хотя бы пары шасси... до того стоимость инсталляции убивает всю идею. Есть такой минус у этого решения.

[jab]

 

Самое главное - блейды берут обычно "на вырост", а закон Мура убивает саму идею этого выроста.

[vIv]

Не солгасен, Джабби... на вырост - не основной аргумент. Даже скорее наоборот: под пульсирующую нагрузку, которую можно надолго вперёд спрогнозировать. Это, наверное, единственный пока способ оправдать эту конскую цену инсталляции (и обучения персонала!! не забываем).

Блейды во всей красе себя показывают, когда у тебя в течение, например, суток нагрузка ОДНОТИПНАЯ скачет в разы или десятки раз, и ты не хочешь всё это время платить всё стоимость эксплуатации. И/ИЛИ резервирование. Вот тут - да, имея, условно, полсотни серваков, 40 из которых спит, ты можешь под внезапно появившуюся нужду ввести в строй в течение полу-минуты оставшиеся 40. А в прошлом месяце не хватило, - говно вопрос, - подвозишь ещё и горячий резерв у тебя может составить сотни серваков, причём точность ввода в работу - один блейд. Работает ровно столько железа, сколько вот именно в этот момент нужно, причём добавлять "болванки" ты можешь без влияния на уже введёные в работу.

Особый кайф, - когда таких задач несколько, когда блейды по ролям могут меняться: днём он SQL и WEB сервер, а по ночам торренты раздаёт и фильмы перекодирует. Благо операционка тоже входит в профиль, не только настройки ;-)

 

То-есть основной цимус - ввод в работу серваков по нужде. Что понадобилось - то и получилось. Операционку накатывать, юниты в стойку впихивать, патч-корды втыкать - не нужно, всё делает система управления. Круглосуточно, самостоятельно.

[jab]

 

Да я это все и без блейда могу сделать. Тоже мне rocket-science. На разницу в цене можно будет самолет купить.

[vIv]

Покажешь? 8-)

Хотя бы резервированную и управляемую вентиляцию и блоки питания на 16 тазиков, - опиши словами.

[nuclearcat]

vIv - просто вопрос, зачем?

У меня не результаты ядерных исследований и телеметрии.

 

А сервера в местных условиях, и подозреваю блейды проживут ощутимо меньше. Когда вырубается кондей, у дизеля заканчивается топливо, и местные олухи не чешутся - перепады температуры колоссальные. Писюки живут (не вырубаются даже если проц в троттлинг уходит, а карлсон наглухо забит пылью, если стоит на улице) , а Саны по температурному режиму шатдаунятся на раз два, иногда даже дверку в серверную открыть не успеваешь, добежать. В процессе запуска генератора эл-во отсутствует минуту, кондеи выдерживают паузу(защиту) 5 минут. Температура за этот момент прыгает на 10-20 градусов. А это самое страшное для железа...

Подозреваю что блейды зверьки очень нежные в этом плане... и перегреваться будут еще быстрее, чихнуть не успеешь...

И до задницы эта резервированная вентиляция, если всасывать она будет раскаленный воздух, и БП на 16 тазиков.

У нас когда молния у%башила в здание, в генератор, ноутбучные блоки питания в офисе горели синим пламенем. В этом офисе все сделано хорошо в серверной, потому сервера не пострадали. А хряпнуло бы молнией хоть в трижды зарезервированный источник питания - сгорели бы все сразу. И попробуй их потом найди...

Про заземление мне рассказывать не надо только, тут условия в некоторых местах такие, что его сделать нормально попросту невозможно.

 

 

Особый кайф, - когда таких задач несколько, когда блейды по ролям могут меняться: днём он SQL и WEB сервер, а по ночам торренты раздаёт и фильмы перекодирует. Благо операционка тоже входит в профиль, не только настройки ;-)

 

То-есть основной цимус - ввод в работу серваков по нужде. Что понадобилось - то и получилось. Операционку накатывать, юниты в стойку впихивать, патч-корды втыкать - не нужно, всё делает система управления. Круглосуточно, самостоятельно.

У меня так и сделано, но с помощью обычного железа.

 

[jab]

Покажешь? 8-)

Хотя бы резервированную и управляемую вентиляцию и блоки питания на 16 тазиков, - опиши словами.

Два кондишина в standby режиме с лагом в два градуса устроят ? На кой мне блоки питания на 16 тазиков, если можно в каждый тазик по два блока запихать ?

[nuclearcat]

О! А вот это наша река! {c}

 

Я правильно понял задачу?

Есть потребность в N>2 серверов однотипной функциональности, которые выполняют одну задачу, причём их мощности востребованны в разном объёме в различное время. Так?

Насчёт дико греется - заблуждение, как-раз наоборот. Дорог - да. Согласен. Причём дорога сама инсталляция, а не стоимость владения. То-есть именно на старте основные денежные минусы.

 

На-вскидку это шасси с одинаковыми блейдами и, как это принято, внешним сториджем. Т.е. не те, которые тут обсуждались, с дисками на борту, а бездисковые, загружаемые по сети, от системы управления принимающие профиль "на эту загрузку". С кэшем придётся подумать, как его сделать одним для кучи кальмаров, я такого не делал. Но загружать блейды on-demand - задача более, чем типовая. Даже включая троттлинг недозагруженных блейдов ;-)

Минус такого решения: первоначальные траты на собственно систему управления блейдами и сам сторидж. Нужно посчитать, сколько это будет стоить и за какое время окупится.

 

UPD: я тут подумал, - можно их каскадно настраивать, тогда каждый последующий будет использовать свой кэш, а при необходимости обращаться к "аплинку". Благо, все в одном свиче сидят. Тогда будет один для клиентов, один для выхода в мир и набор промежуточных, которые можно рассортировать, например, по направлениям или ещё как, и гасить по необходимости. Да и сториджи умеют снижать энергопотребление по реальной загрузке или по команде системы управления.

Они только сиблингом. Друг через друга обращаться категорически нельзя - это уничтожает всю балансировку нагрузки. Каждый юнит в среднем тянет нормально только до 10K коннектов. Дальше - буду оптимизировать. Потому, только multicast sibling.

Могу конечно вставить отдельный сторадж, но овчинка выделки не стоит. Никто не мешает поставить тот же iscsi сторадж (можно его самому сделать), bnx2 с iscsi offloading на сквиды, или еще что-то. А блейд... такое решение будет стоить космических денег. У меня стоит Apple XRAID over fiberchannel. Дорого, ничего выдающегося, но зато красивый корпус.

 

Блейды подешевле частенько идут со своими хардами на лезвиях.

Я могу сделать дешевле. Включать-выключать сервера - проще пареной репы, проверено, WoL работает замечательно. Ватчдоги и wake-on-time тоже если что спасут задницу.

 

P.S. Пример работы местного представителя Sun, интегратора. Сервера они втюхали начальству очень быстро. Резервные винты, как оказалось - не предусмотрели. Слава богу я сделал сразу mirror. Начал показывать признаки подыхания один винт. Звоним, спрашиваем... есть? Стандартные SAS винты. Любые, этого размера (2'5 кажись). Они нам - 1-2 месяца. Ипаль я их в жёпу с их санами и SAS, и горе интеграторством без резерва и наличия продукции на складе. Приходится теперь солить SAS диски на складе, потому как если что... а все знают, железо лежать не должно.

 

Другая история.

Эти оригиналы еще пытались нам втюхать два SPARC, причем опять же - резервирования ноль. Я наивный, думал два сервера чтоб резервировать, а они - backend и frontend типа. Еще и места на собственных винтам их монстру мало - попросились по NFS на наш XRAID. Систему они ставили кхм, неделю. А что если бы это интеграторство начало работать?

А, самое смешное, мы сказали, ну... типа у нас столько тыс. юзеров, сколько это будет стоить? За каждого юзера $50/в год, за сервера $25k, за настройку $5k, per incident тоже платить, и вообще, несколько тыс низя - это не для ISP мыл сервер, а для корпоративной почты. Хм. Я промолчал.

 

Поставил postfix и еще кое-что, пашет и кушать не просит. Я это кстати уже рассказывал.

Теперь от интеграторов подальше держусь, лучше generic железо, и за счет запаса по деньгам прикупить его побольше. Блейд фиг его знает какой финт выкинет, а десктопные матери тестят миллионы обезьянок.

 

[vIv]

Подозреваю что блейды зверьки очень нежные в этом плане... и перегреваться будут еще быстрее, чихнуть не успеешь...

Не, тут ты не прав, при перегреве, если мощности турбин нет в запасе - троттлинг на 2-5 градусов до "red label" и потом power-off. Причём, аварийный, без сохранения. Это мы уже проходили...

 

На остальное завтра поотвечаю, оки?

С Джабби согласен: тебе это не надо, нет задачи.

[vIv]

На кой мне блоки питания на 16 тазиков, если можно в каждый тазик по два блока запихать ?

16 блейдов кормятся от 6 БП, два любых из которых могут сдохнуть или отсутствовать. Причём незагруженные БП уходят в режим экономии по входу. Т.е. при 6-ти живых БП 3-4 будут кушать сколько надо, а остальные стоять в режиме экономии и не будут греться. То же самое с турбинами: 8 турбин, из которых обычно достаточно 4-5-ти в рабочем режиме, остальные создают фоновую продувку, но любые 2 могут быть вынуты или повреждены, это не принесёт ущерба блейдам. При малой нагрузке (тепловыделении) достаточно 4-х, но по всей ширине шасси. При этом две вертикально парные могут взять на себя нагрузку двух горизонтально парных. При этом, если не хватает мощности турбин, перегревающиеся блейды будут отправленны в троттлинг, при дальнейшем нагреве обесточены с по возможности переносом нагрузки на те блейды, которые мы можем нормально охлаждать, в том числе в другие шасси. Причём всё это с учётом приоритетов по задачам.

[nuclearcat]

Посчитать performance/price может каждый

http://www.tomshardware.com/charts/2009-de...chmarks,60.html

[vik75]

Появилось время прикинул недорогой 1U сервер с возможностью модернизации

 

MicroStar (MSI) X2-108A4M 1U - 480$ (микростаровская платформа двухпроцессорная, http://3logic.ru/?A=5&SI=1&I=19753 у них же есть под xeon 604 платформа подешевле, есть под АМД)

XEON 5150 - 2,66GHz 2x2MB 1333MHz - 105$ (можно 2 поставить, http://sysadmins.ru/topic231681.html здесь были (общался с ним - но сам не покупал), на price.ru попадаются поменьше частотой но бывают и четырехядерные - это комп.фирмы брендовые сервера до ума доводят, а что остается по дешевке сливают....)

FB-DIMM 2х1ГБ DDR2 SDRAM Kingston (PC5300, ECC) - 64$

Жесткий диск 320ГБ Hitachi 7.2к, 16МБ (SATA II) - 43$

Итого: 692$

 

DVD можно поставить. Сетевухи Интел http://www.msi.com/index.php?func=proddesc...mp;prod_no=1257. Салазки в комплекте должны быть

Для тех кому не надо гигабиты ворочить - неплохой вариант

Плюс: через год процы четырехядерные подешевеют

Изменено 11 сентября, 2009 пользователем vik75

[vik75]

и еще подымалась тема blade серверов

вот нашел вполне приличный вариант и недорого в пересчете на лезвие... 330$ правда это там.... но есть конторки которые относительно недорого сюда привозят... есть и те которые работают по безналу и с НДС (правда небыстро это все и с долей риска).... зато 56 ядер, 56Гиг оперативки, 28 винтов....

под ремкомплект можно там же 2-3 лезвия на ЗИП взять... примерно те же 300$...

 

http://cgi.ebay.com/IBM-BLADECENTER-8677-3...id=p3286.c0.m14

 

IBM LS20 BLADECENTER

TYPE: 8677-3XU

4 X 2000W POWER SUPPLIES

1 X KVM MANAGEMENT MODULE

4 PORT GIGABIT ETHERNET SWITCH MODULE

INCLUDES RACK RAILS

INCLUDES 4 X POWER CORDS

 

QTY 14 8850-76U BLADE SERVERS

DUAL OPTERON 280 DUAL CORE CPU'S

4GB RAM

2 X 73GB U320 10K SCSI HDD

 

US $4,599.00

 

 

[D^2]

XEON 5150 - 2,66GHz 2x2MB 1333MHz - 105$

что-то не заметно на price.ru таких цен

http://price.ru/bin/price/prodlist?curr=2&...p;vcid=01030105