Мини-датацентры

[grifin.ru]

Вы не читаете совсем тему? Специально же приводили фото.

Там сервера самосборные, под кучу винтов. Такое дисковое хранилище для бедных.

И чо ?

Кто мешает в этот самосбор воткнуть супермикровскую мать с ikvm ?

[labi]

Полка сильно более умная, чем диски в сервере. И шарится на все сервера в стойке.

 

Такое тоже могу делать (есть масса отлаженных вариантов - на досуге выложу). Однако, применительно к теме, вряд-ли оно будет востребовано.

 

Там же поди Vmware будет? :)

 

Это дело пользователя.

[thodin]

Кто мешает в этот самосбор воткнуть супермикровскую мать с ikvm ?

А дальше то куда? Надо сторонний свитч, куда я смогу сервера воткнуть, консоль от файрвола..

Инфраструктура нужна, а не только шкаф.

[thodin]

Такое тоже могу делать (есть масса отлаженных вариантов - на досуге выложу). Однако, применительно к теме, вряд-ли оно будет востребовано.

В какой-то момент люди до этого дорастут.

[labi]

Такое тоже могу делать (есть масса отлаженных вариантов - на досуге выложу). Однако, применительно к теме, вряд-ли оно будет востребовано.

В какой-то момент люди до этого дорастут.

 

Тут у самой отрасли проблемы. Производительность систем хранения оказалась ниже ожиданий, надёжность - не на самой высоте, гибкость - вообще слов нет, совместимость - забудьте. Цена высокая - это единственное, что срослось. Ну и главная функция - "вставляй - вынимай диски, всё будет работать" - оказалась условной.

 

Далее с ростом размера дисков получилась странная вещь - один диск имеет объём больше старой полки, а та стоила многие десятки таких дисков. Ладно бы он в эту полку устанавливался - так ведь нет. Ещё дальше - из всех искусств важнейшими оказываются кино и цирк. Время восстановления верхнего рейда с дисками большого размера оказалось больше времени наработки дисков на отказ. Плюс пришла деградация хранилищ.

 

Цирк, в общем.

 

Разумным оказалось - зеркало. Производительным - контроллер на борту матери. А дефицитом - самые простые китайские контроллеры. Масса железа за много-многие тысячи долларов отправилась на свалку.

 

Или у вас история иная? И есть куда "дорастать".

[thodin]

Или у вас история иная? И есть куда "дорастать".

У меня вообще все на дисковых полках, от локальных дисков отказываемся при первой же возможности.

Два блока питания в полке - это просто must, как и 2 контроллера на случай выхода одного из строя.

 

Локальные диски - это же геморр какой-то! А полка прекрасно интегрируется с vmware и сделать там clone виртуальной машины - это секунды.

Вообще, кроме оракла - все давно виртуализовано. Пришел сервер, в него флэшка и вперед, в работу. Локального хранилища нет совсем.

 

Поменять диск в полке - секунды. Старый вынул, новый вставил. Работает надежно, годами. downtime - 0.

[labi]

Или у вас история иная? И есть куда "дорастать".

У меня вообще все на дисковых полках, от локальных дисков отказываемся при первой же возможности.

Два блока питания в полке - это просто must, как и 2 контроллера на случай выхода одного из строя.

 

Локальные диски - это же геморр какой-то! А полка прекрасно интегрируется с vmware и сделать там clone виртуальной машины - это секунды.

Вообще, кроме оракла - все давно виртуализовано. Пришел сервер, в него флэшка и вперед, в работу. Локального хранилища нет совсем.

 

Поменять диск в полке - секунды. Старый вынул, новый вставил. Работает надежно, годами. downtime - 0.

 

А как вы думаете, почему у гугла на серверах диски стоят локально парой? Да, и какая у вас статистика отказов получилась по самим дискам?

[thodin]

А как вы думаете, почему у гугла на серверах диски стоят локально парой? Да, и какая у вас статистика отказов получилась по самим дискам?

А что мне до гугла? У них другие задачи. Делал бы я гугл - наверное бы заморачивался на эту тему :)

Статистики я не веду - если вылетает где-то диск, то дежурная смена в дата-центре заменяет в полке дохлый (лампочка горит красным), а мы высылаем туда новый

на замену. Один диск всегда в hotspare.

 

У меня в доступности где-то 15 полок сейчас. В живую видел только одну :) Остальные сразу ехали в дата-центры.

[SpheriX]

А как вы думаете, почему у гугла на серверах диски стоят локально парой?

Потому что у гугла своя распределенная файловая система с троированием блоковчанков информации. Преобладают операции чтения, поэтому ускорение с зеркала будет двухкратным по сравнению с RAID-5. Degraded состояние массива нахрен не нужно, поскольку есть еще 2 источника той же информации. А с учетом того, что сети сейчас являются самым узким местом, архитектура потому и совмещенная на хранение, обработку и защиту в одну ноду. Нет архитектурного разделения системы вцелом на эти задачи, потому что дорогой интерконнект. Если будет обеспечиваться сетевая скорость доступа к данным со скоростями хотя бы PCI-e X16, тогда выделенные хранилища будут нужны. А так - кластер с совмещенными фукциями "всё в одном" с подкачкой фронтендами чанков данных для клиента, если локальными не оказались.

 

Сплошная дискретная математика, тервер и матстатистика для того, чтобы обслужить арифметику.

 

Суть в том, что оптимальные системы подходят к золотому сечению. Плоская архитектура сети хранения гугла по сути решает математическую задачу оптимальной укладки паркета. Там в ограниченных частях вылезает золотое сечение, то есть стремление отношения полезного и избыточного к 1,6. Чем ближе к этому пределу в 1,6 тем укладка оптимальнее.

 

Кстати, не удивлюсь, если гугл потихоньку свои сетевые адаптеры и коммутаторы пилит. С шлюзованием в обычный Ethernet. Это сейчас несложно при такой доступности FPGA.

[thodin]

Вот как оно выглядит в реальности (это тупая помойка где-то в стране вкусного пива).

 

На этом живет порядка 20 виртуалок и есть вторая часть с дисками побыстрее.

 

А серверов физических там всего 3 (1 + 1 и 2U).

[Sergey Gilfanov]

Пришел сервер, в него флэшка и вперед, в работу.

Некошерно же. Загрузка тоже по сети должна происходить. Пришел сервер, провала в него воткнул - а дальше система управления его поднимет.

[thodin]

Некошерно же. Загрузка тоже по сети должна происходить. Пришел сервер, провала в него воткнул - а дальше система управления его поднимет.

Чтобы грузить сервер по сети - надо с чего-то его грузить :)

А там ничего нет. Ради трех серверов городить огород..

[labi]

Вот как оно выглядит в реальности (это тупая помойка где-то в стране вкусного пива).

 

На этом живет порядка 20 виртуалок и есть вторая часть с дисками побыстрее.

 

А серверов физических там всего 3 (1 + 1 и 2U).

 

Хорошо. Думаю и у меня, и у товарища есть профессиональные деформации. Он видит только своего клиента - ему в большинстве случаев нужно 2 диска. Я привык работать с самым тяжёлым контентом - видеонаблюдением. Для меня узкое место - производительность и стоимость хранения.

 

Для случая, подобного вашему, я могу сделать хранилище в этом-же форм-факторе (10-ти дюймовом :). Был-бы спрос.

 

Кстати, во второй полке у вас ёмкость дисков увеличилась в 10 раз, а как долго эти диски у вас работают и сколько времени занимала репликация при отказе?

[thodin]

Хорошо. Думаю и у меня, и у товарища есть профессиональные деформации. Он видит только своего клиента - ему в большинстве случаев нужно 2 диска. Я привык работать с самым тяжёлым контентом - видеонаблюдением. Для меня узкое место - производительность и стоимость хранения.

Эта полка используется для big data - т.е. там живет база данных на 50 террабайт, из которой извлекаются всякие полезные данные, как только наступит подходящий случай.

Т.е. это более сложные данные, чем видеофайлы.

 

Для случая, подобного вашему, я могу сделать хранилище в этом-же форм-факторе (10-ти дюймовом :). Был-бы спрос.

Вот так выглядит то, что у меня используется по большей части:

 

Т.е. Вы можете сделать место для хранилища или само хранилище? Само хранилище - это не просто диски,

это еще и софт, который на local storage отсутствует..

Кстати, во второй полке у вас ёмкость дисков увеличилась в 10 раз, а как долго эти диски у вас работают и сколько времени занимала репликация при отказе?

Сама полка живет там лет 5, если память не изменяет. Время репликации никто не считал, если честно :) На производительности это не очень сказывается.

Конкретно в этом месте карма очень хорошая - посмотрел, битый диск появляется раз в год (!). Но это не показатель, конечно. Чаще всего это происходит раз в 3-4 месяца.

[labi]

Т.е. Вы можете сделать место для хранилища или само хранилище? Само хранилище - это не просто диски,

это еще и софт, который на local storage отсутствует..

И место, и полку с контроллерами, и софт. Последним есть кому заниматься - не моя тема.

[thodin]

И место, и полку с контроллерами, и софт. Последним есть кому заниматься - не моя тема.

Есть - это кому? Без софта это не имеет смысла.

 

PS. Саппортом этой кучи хранилищ не занимается, по сути, никто. Мелкой методички достаточно для простейших операций (включая настройку новой), с чем справится любой человек.

Блоки питания вылетают порой, это да. Но опять таки - zero downtime.

[labi]

И место, и полку с контроллерами, и софт. Последним есть кому заниматься - не моя тема.

Есть - это кому? Без софта это не имеет смысла.

 

PS. Саппортом этой кучи хранилищ не занимается, по сути, никто. Мелкой методички достаточно для простейших операций (включая настройку новой), с чем справится любой человек.

Блоки питания вылетают порой, это да. Но опять таки - zero downtime.

 

Когда-то это было специализацией предприятия, которым я владел. Ключевая компетенция сохранена... в 1 человеке. Но и для него работы в эту сторону нет. Несколько лет назад я делал под него лично полки для ISCSI - и то оно не взлетело. Год назад я делал полки для производителя систем видеонаблюдения и описывал вообще принципы их внутреннего устройства и порядок их организации в систему. Сейчас глянул - оказывается на сайте эта тема похоронилась, при переносе сайта. На досуге - восстановлю. Сейчас нашёл и восстановил первые картинки готовых железок - http://forum.1labi.com/viewtopic.php?f=25&t=2020

 

Подчеркну, это бюджетные решения. Тоже самое, но дорого - оно и так есть на рынке. Конкретно тут есть всё, включая 2 БП, но очень доступно. Вариант с горячей заменой БП тоже недавно делал - поищу. Но дальше выставки и он не выстрелил.

 

Однако мне, лично, давно близка иная концепция. Я то считаю, что будущее за монолитными необслуживаемыми системами. Вот у вас есть железка с определённой ёмкостью, заданной вычислительной мощностью и портами наружу. Во времени она теряет расчётную часть ёмкости и вычислительной мощности. По прошествии заданного времени, рядом ставится новая железка, приложения со старой железки переносятся на новую и старая отправляется производителю. По мере смерти погибшие диски, блоки питания и пр. просто остаются внутри.

 

Оно мне давно пришло в голову (было на что посмотреть и задуматься) и первое время я пытался внедрить куда-нить эту нехитрую мысль. Думаю, что спустя время оно само со стороны ко мне вернётся и я скажу: здорово, занятное у вас решение - давайте попробуем сделать.

[thodin]

По мере смерти погибшие диски, блоки питания и пр. просто остаются внутри.

Это как? Если сдох один блок питания - то это "alert" - надо что-то делать.

Если помрет второй - то все, приехали.

 

А из нашей старой полки можно выкинуть все старые диски и вставить побольше. Причем даже не нужно ехать туда для этого - диски вставит и младенец.

 

Но мы оператор, "бюджетное" решение - это для совсем бедных людей, для которых сохранность данных вообще не имеет значения.

Другое дело - зачем им вести сервер в дата-центр? Они сколхозят что-то у себя в офисе.

[labi]

По мере смерти погибшие диски, блоки питания и пр. просто остаются внутри.

Это как? Если сдох один блок питания - то это "alert" - надо что-то делать.

Если помрет второй - то все, приехали.

 

А из нашей старой полки можно выкинуть все старые диски и вставить побольше. Причем даже не нужно ехать туда для этого - диски вставит и младенец.

 

Это вы просто мыслите полками. А из этого места мысль может двигаться в любую сторону. Можно представить себе контейнер, заполненный дисками, в т.ч. мёртвыми, или, наоборот, представить себе 1 диск с питанием 220В и Ethernet-интерфейсом. А далее искать оптимальное соотношение количества дисков к БП и вычислителям. Исходя из их необслуживаемости.

[thodin]

Это вы просто мыслите полками.

Я к ним пришел самостоятельно. хотя и под влиянием старших товарищей. До этого тоже сборкой самостийных хранилищ занимался.

Но силы иссякли.

 

Хочется, чтобы работало сразу, ибо время, потраченное на трахи с этими решениями - никак не вернуть :( Поезд то уходит - надо быть быстрее в 2 раза, если хочешь на месте оставаться..

[labi]

Поезд то уходит - надо быть быстрее в 2 раза, если хочешь на месте оставаться..

 

Да, но чтобы его обогнать, надо остановиться.

[labi]

. До этого тоже сборкой самостийных хранилищ занимался.

Но силы иссякли.

 

Не спешите. На следующем этапе вы столкнётесь с несовместимость, не поддержкой готового железа или с выходом за границы разумного. А главное - выясните, что простая железка в разы производительнее и в разы доступнее.

 

При этом, в вашем случае я нахожу гармонию между содержанием железа, его качествами и тем, кто с ним работает.

 

Да, восстановил ещё часть картинок про полки - http://forum.1labi.com/viewtopic.php?f=9&t=2024

 

По-ходу дела. Потом найду остальные - тоже выложу.

[thodin]

Не спешите. На следующем этапе вы столкнётесь с несовместимость, не поддержкой готового железа или с выходом за границы разумного. А главное - выясните, что простая железка в разы производительнее и в разы доступнее.

Очень сомнительно. Простая железка - это то, что у меня дома стоит. Куча дисков, RAID контроллер и линукс сверху.

Оно же тупое и убогое, а любые фичи - типа deduplication данных - хз как реализовывать.

Ну типа как с SSD кэшем - в vmware это работает хорошо, а в линукс - попаболь :(

 

PS. ZFS - это отдельная песня :) А Netapp - просто поставил и оно работает.

[labi]

Не спешите. На следующем этапе вы столкнётесь с несовместимость, не поддержкой готового железа или с выходом за границы разумного. А главное - выясните, что простая железка в разы производительнее и в разы доступнее.

Очень сомнительно. Простая железка - это то, что у меня дома стоит. Куча дисков, RAID контроллер и линукс сверху.

Оно же тупое и убогое, а любые фичи - типа deduplication данных - хз как реализовывать.

Ну типа как с SSD кэшем - в vmware это работает хорошо, а в линукс - попаболь :(

 

Я недавно выкидывал на свалку контроллеры и прочее стоимостью много-много тысяч долларов. В коробках. Причина - несовместимость с сегодняшним днём. Тоже самое, наверняка, произошло на стороне клиентов. Оно и далее развивается той-же дорогой. Уже лежит новое оборудование, несовместимое с завтрашним днём.

 

У вас в полку встали новые диски (вы это точно проверили? просто у вас полки на 24 диска и на 12 дисков, большие диски стоят только в последней, проверьте всё заранее) - повезло. У людей до сих пор в эксплуатации находятся полки ёмкостью в разы меньше одного диска (собственно говоря, почти оно и у вас есть, новые диски - x10) и с этим ничего не сделать - только на свалку.

 

Закон Мура тут надсмехается над временем проектирования, поставки и запуска больших систем.

 

Про производительность - смех и грех.

 

Да, ещё действительно в больших системах ключевой фактор - вероятность отказа дисков. У гугла на эту тему было хорошее исследование (надо - поищу, раньше держал его на сайте) - выбор решения гугла для своих датацентров из него логично вытекает. Ну и я строго за это направление развития.

[thodin]

Я недавно выкидывал на свалку контроллеры и прочее стоимостью много-много тысяч долларов. В коробках. Причина - несовместимость с сегодняшним днём.

Какая такая несовместимость? У меня все в порядке с совместимостью. С vmware интегрируется прекрасно, а вот решения на самосборе с линуксом - могут запускать vaai только с напильником..

У людей до сих пор в эксплуатации находятся полки ёмкостью в разы меньше одного диска (собственно говоря, почти оно и у вас есть, новые диски - x10) и с этим ничего не сделать - только на свалку.

Замена ВСЕХ дисков в полке - это серьезный шаг, на который надо решиться. А зачем, если функции все выполняются? Можно купить вторую полку, перевести виртуалки туда и заняться первой.

Но у меня нет на это времени.

 

Мне нужно хранилище, с двумя контроллерами и двумя блоками питания. У Вас такого нет. О чем мы спорим? :)