Распределённое хранение данных

[Guest]

Хочется один большой диск, который реально хранится на всех компьютерах в сети.

 

Нашёл только Microsoft Distributed File System - которая, в общем виде, позволяет делать ссылки с папок на удалённые папки, к примеру:

 

coredocsaccounting -> accountdocs

coredocsfoobar -> storagedocsfoo

 

Ну и так далее. Однако, по-прежнему, приходится думать - на какой компьютер положить файл. А хочется, чтобы это всё автоматом. Вы встречали устойчивое решение такой задачи?

[avm]

Если речь идет все таки о папках лежащих на разных компах, но видимых как единый сетевой ресурс, то NFS. Устойчиво :)

[Guest]

Нет, именно об windows-based Большой Виртуальной Папке, с точки зрения пользователя.

[terapeut]

Тоже очень интересует этот вопрос. Есть туева хуча компьютеров (интернет-классы всякие и т.п.), на которых стоят харды на 40-120 гигов, использующиеся процентов на 10-15. На них конечно что-то хранится, но компов много и искать/рулить информацией мягко говоря, не очень удобно. И чем больше компьютеров со временем будет затянуто в эту паутину, тем сложнее это будет делать =)

 

Наверное есть два варианта.

 

Первый - на компах лежит по папочке с инфой, относящейся к распределённому хранилищу и есть некий софт (на сервере), который всё это объединяет в единый виртуальный сетевой ресурс, распределяет файлы по компам в зависимости от наличия свободного места и загруженности записью/чтением отдельных хостов хранения. Возможно ставится какой-то дополнительный софт на хосты, но главная мысль - что файлы хранятся целиком и на стандартной виндовой файловой системе (FAT, NTFS), тоесть сев за рабочую станцию, можно всё это увидеть, поудалять, дописать файлов. Ну может права там какие специальные, чтобы случайно юзверя не потёрли.

 

Второй вариант - на компах создаётся файл-хранилище или выделяется отдельный раздел и неизбежно ставится дополнительный хостовый софт. При этом содержимое части хранилища, расположенной на отдельном хосте, нельзя просмотреть стандартными средствами операционной системы хоста. Возможно, если система достаточно умная, чего очень бы хотелось =), она вообще распределяет файлы кусками по разным хостам с некоторой регулируемой избыточностью, кэширует это дело на центральном сервере и т.п. Как одна из фишек -- старается заполнять в фоновом режиме всё доступное пространство в сети хранения избыточной информацией для ускорения доступа и повышения надёжности, заменяя по мере необходимости её на новые данные. Это уже получается какой-то гибрид сетевого RAID'а с файлообменной сетью =D

 

Вообще, думаю такие технологии будут со временем всё более востребованы. Тоесть использование как хостов сети хранения именно рабочих станций преимущественно по Windows. Если таких решений сейчас мало, надо стремиться, чтобы их стало больше =).

 

Вроде есть некие Microsoft Unix Services, когда винда приобретает часть функциональности юнихов. И ещё недавно где-то писали про линукс, запускаемый вроде на уровне ядра системы (windows), работающий на одной машине с виндами параллельно и имеющий доступ к железу, кажется его можно ставить "на диск С" или в отдельный раздел. Это я всё к тому, что хостовый софт для второго варианта может быть под юниксом (параллельно юзерской винде), со всеми вытекающими из этого плюсами и удобствами.

 

Призываю всех кому есть что сказать по теме, сделать это =)

[avm]

Еще бы неплохо научиться программно запрещать кнопки reset, power и выдергивание шнура питания из юзерового компа ;)

"линукс ... работающий на одной машине с виндами" можно очень просто сделать с помощью VMWare (или подобными симуляторами компа в компе). Причем жесткий диск такой "встроенной" системы для базовой ОС будет файлом изменяющим свой размер в зависимости от наполняемости.

Но это очень плохой вариант! Ибо большая зависимость от юзера имеется. При том что 1 Гиг харда сегодня постоянно стремится к нулю...

[jab]

:-) такой сервис будет называться - "привет_троянцы", очень выгодно для провайдера, особенно если с каждого компа троян по паре гигабайт из инета дернет...

[terapeut]

Еще бы неплохо научиться программно запрещать кнопки reset, power и выдергивание шнура питания из юзерового компа ;)

Вопрос интересный, но по большому счёту это рабочий момент. В конце концов сама операционка на юзерском компе как-то работает, несмоотря на эти кнопки, особенно если там NTFS =)

 

"линукс ... работающий на одной машине с виндами" можно очень просто сделать с помощью VMWare (или подобными симуляторами компа в компе). Причем жесткий диск такой "встроенной" системы для базовой ОС будет файлом изменяющим свой размер в зависимости от наполняемости.

Но это очень плохой вариант! Ибо большая зависимость от юзера имеется. При том что 1 Гиг харда сегодня постоянно стремится к нулю...

 

Согласен с выводом =), эмуляторы для сабжа не канают совершенно!! Они не под это затачивались и создадут больше проблем, чем их решат.

 

 

:-) такой сервис будет называться - "привет_троянцы", очень выгодно для провайдера, особенно если с каждого компа троян по паре гигабайт из инета дернет...

 

Трояны и так сидят везде, где им положено сидеть =), также как и клиенты файлообменных сетей.

 

В первую очередь это всё предполагается затевать в локалках и других сообчествах с бесплатным траффиком и толстыми, хотябы стомегабитными каналами.

 

И вообще, сервис_"привет_троянцы" -- это Windows2000 поставленный по-умолчанию, широко известным в узких кругах саппортером Васей Пупкиным =)

[jab]

Трояны и так сидят везде, где им положено сидеть =), также как и клиенты файлообменных сетей.

 

Я думаю что BSA если и не уморит файлообменки, то уж жизнь им

отравит точно. В сети с неконтролируемыми сервисами это

как снежный ком. Рано или поздно это все будет решаться радикально.

:-)

 

В первую очередь это всё предполагается затевать в локалках и других сообчествах с бесплатным траффиком и толстыми, хотябы стомегабитными каналами.

 

Бесплатный траффик - это миф. Кто-то всегда в результате платит.

"хотя бы стомегабитными" - а что, уже где-то гигабит на рыло

наливают ? И почем такая радость ?

[avm]

:-) такой сервис будет называться - "привет_троянцы", очень выгодно для провайдера, особенно если с каждого компа троян по паре гигабайт из инета дернет...

Не того боитесь, имхо. Намного страшнее, что весь "банк" ;) данных будут постоянно колбасить регулярные форматирования юзерами своих хардов. ;-)

Или с ними подписывать соответствующее соглашение/договор? Ну дык тогда ему (юзеру) платить за мегабайты на его харде придется! Зачем такой геморрой, если единожды выделенный комп с 4/8 IDE по 250Гиг и 1Гбит/сек вполне хватит...

[jab]

Или с ними подписывать соответствующее соглашение/договор? Ну дык тогда ему (юзеру) платить за мегабайты на его харде придется! Зачем такой геморрой, если единожды выделенный комп с 4/8 IDE по 250Гиг и 1Гбит/сек вполне хватит...

 

После чего приходит маски шоу и конфискует весь контент скопом. :-)

Зеркалирование даже в SAN никто не отменял.

Вообще если вычеркнуть слово Windows - то задача решается

элементарно, GEOM, CODA, vinum...

[terapeut]

Я думаю что BSA если и не уморит файлообменки, то уж жизнь им

отравит точно. В сети с неконтролируемыми сервисами это  

как снежный ком. Рано или поздно это все будет решаться радикально.

:-)

 

Как же это "неконтролируемыми", если всё по-любому рулится через центральный сервер, а всё остальное - не более, чем сегменты хранилища, доступные по сети, а не по сказёвым шлейфам?

 

Бесплатный траффик - это миф. Кто-то всегда в результате платит.

Это так, но понятие "бесплатный траффик" существует. То что под ним обычно понимают, я и имел в виду =), а совсем не кричал, размахивая флагом, "траффик -- народу!!! от каждого по харду, каждому по потребностям!!!"

 

"хотя бы стомегабитными" - а что, уже где-то гигабит на рыло наливают ? И почем такая радость ?

 

Ну возможно не достаточно идеально сформулировал. Просто через двухмегабитную оптику или радиолинк организовывать сеть хранения на несколько терабайт -- сомнительное удовольствие, даже если траффик бесплатный. "хотя бы стомегабитными" -- означает, что плясать имеет смысл от ста мегабит, а как раз сто мегабит обычно "на рыло" имеется. Если сервера и отдельные рабочие станции будут подключены по гигабиту -- ещё лучше. Ну и магистрали само собой - надо гигабитные, если на рыло сотка. Или хотя-бы линки между сетями с взаимно-"бесплатным" траффиком.

 

весь "банк" ;) данных будут постоянно колбасить регулярные форматирования юзерами своих хардов. ;-)

Или с ними подписывать соответствующее соглашение/договор? Ну дык тогда ему (юзеру) платить за мегабайты на его харде придется! Зачем такой геморрой, если единожды выделенный комп с 4/8 IDE по 250Гиг и 1Гбит/сек вполне хватит...

 

Вообще, когда я это всё пишу, в уме держу скорее корпоративные, учрежденческие сети, чем домОвые. А там за самовольное форматирование харда просто показательно даётся по шапке, если вдруг такое кто учудит. Так что извините =) В домОвых сетях гораздо более к месту будет тот-же eDonkey и т.п.

[jab]

Как же это "неконтролируемыми", если всё по-любому рулится через центральный сервер, а всё остальное - не более, чем сегменты хранилища, доступные по сети, а не по сказёвым шлейфам?

 

Я Вам предлагаю немного подумать прежде чем такое говорить. :-)

Если кто-то имеет физический доступ к ресурсу - то ресурс

априори неконтролируем. Нет, теоретически решить такую

задачу вполне можно, но в домовых сетях это будет нежизнеспособно

по экономическим соображениям.

 

 

подключены по гигабиту -- ещё лучше. Ну и магистрали само собой - надо гигабитные, если на рыло сотка.  Или хотя-бы линки между сетями с взаимно-"бесплатным" траффиком.

 

Ну будут вместо 200 гигов в месяц качать 2 тера, трояны будут по

пятницам 13 совместно генерить миллионы пакетов вместо сотен

тысяч... Веселая такая перспектива... :-)

[avm]

Вообще, когда я это всё пишу, в уме держу скорее корпоративные, учрежденческие сети, чем домОвые.  А там за самовольное форматирование харда просто показательно даётся по шапке, если вдруг такое кто учудит. Так что извините =)  В домОвых сетях гораздо более к месту будет тот-же eDonkey и т.п.

 

А-а-а... Ну тогда и разговор другой! Маски-шоу за контрафактом прийти должны? В офис за таким дерьмом и не сунутся. А пойдут лишь за теми 1-2 Гига которые представляют из себя доказательства финансовых хищений в особо крупных размерах. Чтоб посадить потом (а не оштрафовать). От этого спасет только рамдрайв + откат на CD/MO/TAPE/др. которые хранятся в микроволновке (прям в серверной комнате). Зашли - успей нажать на "разогреть" ;)))

 

А про хранение контрафактной информации (хмм, странно - не слышал таких прецедентов) на 1-2 Тб жеских дисков - ну дык и держите их не в серверной (если боитесь), а где-нибудь в менее предсказуемом месте.

[avm]

Ну будут вместо 200 гигов в месяц качать 2 тера, трояны будут по  

пятницам 13 совместно генерить миллионы пакетов вместо сотен  

тысяч... Веселая такая перспектива... :-)

Что-то не того боитесь, имхо. Речь идет о хранении, а не об активации на раб.станциях. Какие трояны, если они управление не получают?

Или информацию вообще лучше нигде не хранить? Вот это намного веселее перспектива... ;-)

[terapeut]

Как же это "неконтролируемыми", если всё по-любому рулится через центральный сервер, а всё остальное - не более, чем сегменты хранилища, доступные по сети, а не по сказёвым шлейфам?

 

Я Вам предлагаю немного подумать прежде чем такое говорить. :-)

Если кто-то имеет физический доступ к ресурсу - то ресурс

априори неконтролируем. Нет, теоретически решить такую

задачу вполне можно, но в домовых сетях это будет нежизнеспособно

по экономическим соображениям.

 

"Контролирует ценность тот, кто может ее уничтожить", без центрального сервера эти, возможно зашифрованные, куски информационного массива абсолютно ничего из себя не представляют. Это же не децентрализованная файлообменная сеть!

Про домовые сети я уже сказал. Лично я - хочу просто использовать парки машин, которые достаточно контролирую.

 

подключены по гигабиту -- ещё лучше. Ну и магистрали само собой - надо гигабитные, если на рыло сотка.  Или хотя-бы линки между сетями с взаимно-"бесплатным" траффиком.

 

Ну будут вместо 200 гигов в месяц качать 2 тера, трояны будут по

пятницам 13 совместно генерить миллионы пакетов вместо сотен

тысяч... Веселая такая перспектива... :-)

 

Что касается траффика, то такая система, будучи грамотно организована, скорее уж уменьшит траффик, поскольку её основная идея -- упростить и оптимизировать уже бегающие потоки траффика при перекачке файлов, размещённых пока на обычных виндовых шАрах или FTP-серверах.

 

Не понял, что за устойчивая тема комментариев -- про трояны? Поясни пожалуйста, как если бы я был тупой =)

 

 

Маски-шоу за контрафактом прийти должны? В офис за таким дерьмом и не сунутся. А пойдут лишь за теми 1-2 Гига которые представляют из себя доказательства финансовых хищений в особо крупных размерах. Чтоб посадить потом (а не оштрафовать). От этого спасет только рамдрайв + откат на CD/MO/TAPE/др. которые хранятся в микроволновке (прям в серверной комнате). Зашли - успей нажать на "разогреть" ;)))

А ваш UPS микроволновку потянет? =D Они же сначала електричество вырубят.

[avm]

terapeut, извиняюсь - перепутал: про маски шоу надо было с jab'ом общаться...

Понял, что Вас интересует только техническое решение, а не идеологическое (которое я тут пытался обсуждать).

[avm]

UPS должен микроволновку потянуть 3-5 секунд. Дальше уже не нужно ;)))

[jab]

Что-то не того боитесь, имхо. Речь идет о хранении, а не об активации на раб.станциях. Какие трояны, если они управление не получают?

Или информацию вообще лучше нигде не хранить? Вот это намного веселее перспектива... ;-)

 

Ну да, хранить чтобы нигде не запускать ? Тогда дешевле на компакты

лить или на ленточку...

[avm]

и поставить много CDROM с воткнутыми туда на 1 Тб CD (1500 штук приводов)

чтобы юзеры могли с них что-то загружать. А еще фабрику открыть по записи всей инфы на CD. :)))))

[jab]

и поставить много CDROM с воткнутыми туда на 1 Тб CD (1500 штук приводов)

чтобы юзеры могли с них что-то загружать. А еще фабрику открыть по записи всей инфы на CD. :)))))

 

Вы же только что утверждали что юзерам не надо давать загружать.

[Guest]

Уважаемые, вы любую тему способны превратить в пустой трёп?

 

Экстренное удаление информации и аспекты загруженности канальной инфрастуктуры - это из немного другой области, вам не кажется? Есть, кстати, устойчивые решения, а не микроволновки с UPS-ами.

 

По прежнему интересуем Большая Виртуальная Папка.

 

Да, возможность избыточного резервирования и защищённость от стирания пользователем - это хорошо. Хотя рассматриваются скорее корпоративные сети, где есть административные способы запретить трогать.

 

Однако я так и не нашёл хотя бы какого-нибудь решения.

[avm]

Да потому что хранить что-либо важное на рабочей станции - это бред. Какие бы ни были административные меры, они не могут исключить потерю информации и компенсировать ущерб. Потому что у юзера ОС нужна чтоб он ни при каких условиях не мог получить уровень администратора (если такая ОС есть на всех юзеровых машинах, тогда NFS то что вам нужно ;-) - видеть ресурс будете как одну папку в которой подпапки /разной вложенности/ - юзеровые машины) + в компах не должно быть CD, floppy, net-boot, usb-boot и т.д.

Подобное решение врядли может позиционироваться как "серьезное", а значит не может заинтересовать какого-либо производителя софта (иначе появилось бы)... Ну подумайте же сами!!!

 

Насчет той или не той "оперы" - какая тема, такое и обсуждение!

[umike]

Нет, именно об windows-based Большой Виртуальной Папке, с точки зрения пользователя.

я видел работающаю систему как раз на DFS. Хорошего в этом только одно - много места и не нужно бегать через сетку по компам чтобы искать нужное. Плохого - когда компы выключены, то хранилище недоступно или доступно частично. И еще - каждый комп все равно выглядит как отдельная папка. Сложить это всё "в одну" имхо не получится. Но для хранения фильмов и так подходит :) В конце концов можно написать простенькую програмку которая обойдет всё дерево и сгенерит html со ссылками на содержимое.

 

Я бы тоже хотел знать как сложить всё это "в одну" папку.

 

Вся система делается примерно так: на юзерских машинах создаешь папку (можно где-нить в winntsystem32), ставишь на нее права доступа только Админам сети, потом монтируешь ее в DFS и забиваешь кинами :).

[avm]

Есль такая файловая система DavFS (umike, вы говоря о DFS не ее имели ввиду?) - она на базе HTTP протокола построена. Сервер Apache. Клиенты (Win,Lin,др.) видят такой ресурс как сетевой диск. Модуль Apache реазилующий DavFS есть в исходниках.

 

Что мешает на этой основе сделать так:

1. сервер монтирует много клиентских машин по отдельным папкам, и знает где сколько свободного места.

2. при получении на сервере DavFS методом PUT файла, принимаем решение в какую монтированную (в п.1) папку его положить. Кладем и делаем симлинк в одну большую папку... можем заодно поставить в очередь задание на организацию зеркала для этого файла на другом клиентском компе.

4. при запросе на удаление файла, смотрим куда указывает симлинк и удалаяем и симлинк и файл.

 

Разграничение доступа к такому ресурсу по аксесс листам + гибко настриваемая серверная часть. То что нужно?

[Guest]

Ну Вы блин даете.

Петросян с Мишей З. отдыхают!!!

 

P.S Меняю CISCO на FREESCO c доплатой.