Jump to content
Калькуляторы

организация центра коллективного доступа critics needed

Есть идея/задача -- возродить в одном из научных центров "порочную практику централизованных вычислительных ресурсов" ( (с) какой-то из наших псевдонаучных руководителей)

Ибо штат сисадминов в научных подразделениях как-то проредился/упал ниже плинтуса и понятие аптайм полгода -- серьезное достижение; если с виндой еще как-то разбираются, то эксплуатация в режиме "пока не падает". А у научников таки бывают задачи на неделю обсчета. Но это лирика.

 

Покритикуйте, пожалуйста, подходы, кто в курсе подобных штук:

  • Исходя из того, что специальных программистов давать не будут, придется выдавать виртуальные машины

  • Так как использование будет проводиться отдельными юрлицами, то и небесплатное ПО разработки/выполнения должно принадлежать им

  • разделение ресурсов контролируется, регулирует объемы доступа и, возможно, оплату (хотя вопрос оплаты открыт, вполне вероятно, что все будет халявой)

  • разработка специализированного ПО -- дело долгое, ибо единственное, что полезно делать в плане нового -- распараллеливание алгоритмов, остальное проще достигается запуском нескольких ВМ

 

Теперь попытаемся со всей этой чепухой взлететь (с)

  • из ОС -- solaris (ибо zfs, контейнеры и мониторинг)

  • из железа -- Sun на SPARCv9, пока с двумя, потом нарастим при необходимости

Share this post


Link to post
Share on other sites

Угу, а потом они CUDA захотят... И ATI Stream... И OpenCL... и все сразу.

Share this post


Link to post
Share on other sites
Теперь попытаемся со всей этой чепухой взлететь (с)

Мне непонятно, что Вы хотите обсудить.

 

  • из ОС -- solaris (ибо zfs, контейнеры и мониторинг)

И админы у вас соляру на зубок знают и клиенты вот только в ней родной и живут. Особенно с учётом последних веяний.

 

  • из железа -- Sun на SPARCv9, пока с двумя, потом нарастим при необходимости

 

Потратите напрасно кучу денег. SPARC'и на числодробительных задачах - "долго, дорого, невкусно" © .

 

Пожалуйста, прекратите изобретать велосипеды. Всё давно уже украли до Вас - https://www.scientificlinux.org/

 

.

Share this post


Link to post
Share on other sites

 

Линукс ? Они как научный центр могут винду нахаляву получить, а то и vmware...

Share this post


Link to post
Share on other sites

Хоть и не касательно инфраструктурных вопросов (распределения ресурсов между отдельными клиентами и их контроля), но технической части централизованного доступа опыт у меня есть.

Я тебе опишу печальный опыт переходы одного российского вуза, где я работаю, на сановские тонкие клиенты. Один администратор восторженными глазами посмотрел на презентацию российского интегратора юбитек. Увидел терминалы, получил в уши порцию маркетологовой чуши - и к всеобщему удивлению пробил бюджет на контракт. По контракту должны были получить

1) железо

2) софт

3) техподдержку

последнее мы видели последний раз, когда она приезжала и настроила софт. Потом правда пришлось конфиги локалки править, потому что интеграторы не догадались серверам и клиентам одинаковую сетевую маску прописать. Более тонкий конфиг оставили на интеграторов, чтобы им потом нельзя было сказать "а они сами всё сломали".

Что в результате получили: кучу ненастраеваемых (автосорсинг и закрытый софт) терминалов с хреновой функциональностью (проблема софта) и периодическими лагами и зависаниями (проблема софт+техподдержка), которые к тому же непонятно как воспроизводить. Поддержка ничего определённого не сказала, но приехать ещё раз, посмотреть своими глазами и настроить отказывается.

 

Вывод: российские аутосорсеры - зло. Тонкие терминалы - тоже.

 

Касательно последнего подробнее: тонкий терминал - это терминал, которому для своей работы (подключение к серверу приложений), нужен другой сервер, который за него осуществляет подключение к целевому компьютеру. Любой современной железке хватает производительности чтобы это делать самой.

С сожалением о потраченном времени анализируя вопрос централизованного терминального доступа, я прихожу в выводу, что проще было бы взять в качестве терминалов железки по 200$ на ARM процессоре с пассивным охлаждением и питанием по сети. А сервера для них поднимать поверх виртуальной системы. Если есть много денег - это VMware ESX (отдельно продаются лицензии для многопользовательского варианта), базовой конфигурацией обойтись не получится, иначе поднимать на своём любимом никсе виртуалбокс (но не xvm - плод порочной связи виртуалбокса и ксена).

Share this post


Link to post
Share on other sites

Брр. читать классиков :). После полного просветления, выкинуть солярку, дальше думать, а надо ли вообще такое, с таким подходом.

Share this post


Link to post
Share on other sites
Линукс ? Они как научный центр могут винду нахаляву получить, а то и vmware...

 

Накой им там венда ? jab, ты насколько "в теме" ?

 

 

.

Share this post


Link to post
Share on other sites

Линукс ? Они как научный центр могут винду нахаляву получить, а то и vmware...

Нее они как научный центр могут получить второй Sun с соляркой такойже бесплатно, но vmware врятли.

Share this post


Link to post
Share on other sites
Накой им там венда ? jab, ты насколько "в теме" ?

Да они уже на винде. Вся их проблема - нанять системного аналитика, прописать процессы и разработать регламенты. А потом просто их соблюдать до следующей итерации.

 

Share this post


Link to post
Share on other sites
Теперь попытаемся со всей этой чепухой взлететь (с)

Мне непонятно, что Вы хотите обсудить.

Чтобы побили-носом потыкали-наставили на путь истинный

 

  • из ОС -- solaris (ибо zfs, контейнеры и мониторинг)

И админы у вас соляру на зубок знают и клиенты вот только в ней родной и живут. Особенно с учётом последних веяний.

Дык пункт о виртуалках -- пропустили? Исходя из текущей ситуации (многое уже написано, а переписывать -- не будут) будут выдаваться вирт. машины.

 

  • из железа -- Sun на SPARCv9, пока с двумя, потом нарастим при необходимости
Потратите напрасно кучу денег. SPARC'и на числодробительных задачах - "долго, дорого, невкусно" © .
оно не мною, и даже не на уровне центра решается. Откуда информация цитаты?

Мне казалось, что при правильном написании именно спарки идут для числодробилок.

 

Пожалуйста, прекратите изобретать велосипеды. Всё давно уже украли до Вас - https://www.scientificlinux.org/
Я же говорю -- направют на путь местами. В контейнер его -- и в путь :)

 

 

Угу, а потом они CUDA захотят... И ATI Stream... И OpenCL... и все сразу.
не попросют. ибо оно при терминальном доступе нах не надо.

 

Share this post


Link to post
Share on other sites
Угу, а потом они CUDA захотят... И ATI Stream... И OpenCL... и все сразу.
не попросют. ибо оно при терминальном доступе нах не надо.

Именно при терминальном оно и нужно. Иначе на кой все эти терафлопсы за $12k ? :-)

Share this post


Link to post
Share on other sites

Всё бы хорошо в тонких клиентах, если бы не проблема с видео, а в частности с флеш-видео под виндами. А конкретно - с DirectX.

Кто-то в виндовых тонких клиентах знает способ победить эту проблему? А то на первом же ролике с ТыТрубы - облом.

Уточню: речь именно про виндовую среду, ибо 1С и прочие Консультанты.

Share this post


Link to post
Share on other sites
А конкретно - с DirectX.
Он не нужен для работы. Да, мультимедия плохо идёт через терминалы, но если вам нужна именно мультимедия - покупайте PS3, там даже числодробилки неплохие. А если нужно работать - то терминалы (толстые, самостоятельные) хорошо пойдут.

 

Ну а если директикс нужен только формально (не нужные его вычислительные возможности) - используй софтварное ускорение, странно что ты про него забыл.

Edited by ayvango

Share this post


Link to post
Share on other sites
Линукс ? Они как научный центр могут винду нахаляву получить, а то и vmware...
винду? вот не расскажете как, а?

для данной ситуации vmware вполне бесплатна, не считая родного сановского эмулятора...

 

Share this post


Link to post
Share on other sites
для данной ситуации vmware вполне бесплатна, не считая родного сановского эмулятора...
vmware бесплатна, а нужные фичи - нет. Придётся покупать всяко

 

Share this post


Link to post
Share on other sites
Брр. читать классиков :). После полного просветления, выкинуть солярку, дальше думать, а надо ли вообще такое, с таким подходом.
Сцылки, явки, пароли классиков?

 

Насчет надо -- меня не спрашивают :) А вот подход можно корректировать. Зачем собственно и поднял бучу.

 

Еще раз:

- уже есть ПО, которое приходится перезапускать по пять раз за два месяца, так как обсчет до конца не доходит по аппаратным сбоям. Будем считать, что оно правильно написано

- есть возможность организовать центральный узел, чтобы в виртуалках гонять то же самое, но обеспечить нормальный аптайм и параллельный запуск

- есть возможность постепенного переписывания части алгоритмов в новой среде с распараллеливанием и прочими фкусностями

 

Доступ -- терминалы в разных ипостасях, от линуксового контейнера, до виртуал пэцэ с виндой.

 

Вся нагрузка рулиться централизовано.

 

 

 

для данной ситуации vmware вполне бесплатна, не считая родного сановского эмулятора...
vmware бесплатна, а нужные фичи - нет. Придётся покупать всяко

Для текущего объема -- не нужны фичи. Не будем делать ни миграции, ни еще чего, по крайней мере пока. Аналогично с virtualPC (yf который и ориентируемся)

 

Share this post


Link to post
Share on other sites
А конкретно - с DirectX.
Он не нужен для работы. Да, мультимедия плохо идёт через терминалы, но если вам нужна именно мультимедия - покупайте PS3, там даже числодробилки неплохие. А если нужно работать - то терминалы (толстые, самостоятельные) хорошо пойдут.

 

Ну а если директикс нужен только формально (не нужные его вычислительные возможности) - используй софтварное ускорение, странно что ты про него забыл.

Если честно, я про него особо и не знал. Мне на выходе надо, "чтобы интернет интернетил" через RDP. Всё остальное работает, а флеш-видео - нет, показывает чёрный квадрат.

 

Я правильно понимаю, что сам ДиректХ пусть стоит, но ему нужно выключить "аппаратное ускорение"? Оно тогда будет выводиться в RDP-сеанс?

Share this post


Link to post
Share on other sites

viv, странно. У меня кажет на SunRay2 видео, нормально шустрит только в окошке небольшом конечно, но как сам факт никаких черных квадратов. (на виртуальной XP)

Share this post


Link to post
Share on other sites
Теперь попытаемся со всей этой чепухой взлететь (с)

Мне непонятно, что Вы хотите обсудить.

Чтобы побили-носом потыкали-наставили на путь истинный

Вы бы для начала уже рассказали что вам требуется: счётный кластер, где одна задача параллельно считается на сотне нод или хостинговая ферма, где народу выдается по VPS под его нужды.

 

 

  • из ОС -- solaris (ибо zfs, контейнеры и мониторинг)

И админы у вас соляру на зубок знают и клиенты вот только в ней родной и живут. Особенно с учётом последних веяний.

Дык пункт о виртуалках -- пропустили? Исходя из текущей ситуации (многое уже написано, а переписывать -- не будут) будут выдаваться вирт. машины.

 

Виртуалки живут не только в Solaris. Смотреть можно на KVM, Xen, OpenVZ . Хотя в соляре весьма годный resource management.

 

  • из железа -- Sun на SPARCv9, пока с двумя, потом нарастим при необходимости
Потратите напрасно кучу денег. SPARC'и на числодробительных задачах - "долго, дорого, невкусно" © .
оно не мною, и даже не на уровне центра решается. Откуда информация цитаты?

Мне казалось, что при правильном написании именно спарки идут для числодробилок.

Что есть "правильное написание" ? Вот тут посмотрите - http://blogs.sun.com/deniss/entry/floating...formance_on_the . То есть надо понимать 128 потоков на тазик - это marketing, а в реальности будет 16 FPU в случае Т2.

 

В эти деньги можно попробовать вписать блейдовое шасси с начальной набивкой и присмотреться к storage.

 

Пожалуйста, прекратите изобретать велосипеды. Всё давно уже украли до Вас - https://www.scientificlinux.org/
Я же говорю -- направют на путь местами. В контейнер его -- и в путь :)

Да-да. А теперь со всей этой херней мы попробуем взлететь. ©

 

BTW, собаководы весьма не рекомендуют сажать linux в зоны.

 

 

;-)

 

.

 

Share this post


Link to post
Share on other sites

А если честно так и не понял из описания, что уже есть и в каком виде и что хочется получить на выходе. Какое железо есть, и какие админы есть, что знают, хотя бы на уровне плинтуса.

Но, если просто чтоб считать какие-то задачи - зачем виртуалиация в принципе. Каждой задаче по виртуальному серверу? Мне кажется, эта идея не верна в корне.

 

Share this post


Link to post
Share on other sites

viv, странно. У меня кажет на SunRay2 видео, нормально шустрит только в окошке небольшом конечно, но как сам факт никаких черных квадратов. (на виртуальной XP)

На виртуалке или в RDP-клиенте? И в какой программе? У меня основной затык именно с rutube всякими

Share this post


Link to post
Share on other sites
На виртуалке или в RDP-клиенте? И в какой программе? У меня основной затык именно с rutube всякими

sunray2 -> Solaris -> rdp -> XP (под vmware)

то есть как бы на виртуалке через RDP :)

Показывало не с xxxTube. Просто видео файлы крутил. Сейчас ту машинку убил, проверю завтра на серваке 2003, отпишусь приватом.

Share this post


Link to post
Share on other sites

Договорились, спасибо!

Share this post


Link to post
Share on other sites
Вы бы для начала уже рассказали что вам требуется: счётный кластер, где одна задача параллельно считается на сотне нод или хостинговая ферма, где народу выдается по VPS под его нужды.
Скорее VPS -- народу планируется много разнозадачного. А уж внутри что они нагородят -- я даже представить пока не могу.

 

Да и счет у народа разный: одни комбинаторику крутят, другие атмосферу считают.

Если штуковина полетит, то будет называться ВЦКП (главное заранее дать старое забытое название :)

 

BTW, собаководы весьма не рекомендуют сажать linux в зоны.
Учту. А пруфлинк можно (или хотя бы кто такие собаководы).

 

 

Share this post


Link to post
Share on other sites
А если честно так и не понял из описания, что уже есть и в каком виде и что хочется получить на выходе. Какое железо есть, и какие админы есть, что знают, хотя бы на уровне плинтуса.

Но, если просто чтоб считать какие-то задачи - зачем виртуалиация в принципе. Каждой задаче по виртуальному серверу? Мне кажется, эта идея не верна в корне.

Толком -- ничего еще нет. С января будет железяка. Солярных админов наделаем в процессе, благо они фряшники. С разделением ресурсов дела не имел никто (ЕС вспоминать не будем).

 

Задача -- дать народу некий энвайромент, в котором он (народ) создал/запустил какой-то свой обсчет, причем быстрее/надежней, нежели на своем PC.

 

Виртуализация растет от того, что многие задачи уже написаны, под разные ОС и разными конторами. Одним нужен фортран, другим студио, третьи на fpc растут. И, по идее, если одно ЮЛ не купило фортран, то не может пользовать купленное другим. Соответственно пользователь ставит себе в виртуалку то, что ему надо и работает.

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this