1. Мини-датацентры взлетят?

[labi]

Я недавно выкидывал на свалку контроллеры и прочее стоимостью много-много тысяч долларов. В коробках. Причина - несовместимость с сегодняшним днём.

Какая такая несовместимость? У меня все в порядке с совместимостью. С vmware интегрируется прекрасно, а вот решения на самосборе с линуксом - могут запускать vaai только с напильником..

У людей до сих пор в эксплуатации находятся полки ёмкостью в разы меньше одного диска (собственно говоря, почти оно и у вас есть, новые диски - x10) и с этим ничего не сделать - только на свалку.

Замена ВСЕХ дисков в полке - это серьезный шаг, на который надо решиться. А зачем, если функции все выполняются? Можно купить вторую полку, перевести виртуалки туда и заняться первой.

Но у меня нет на это времени.

 

Мне нужно хранилище, с двумя контроллерами и двумя блоками питания. У Вас такого нет. О чем мы спорим? :)

Понятно.

[thodin]

Понятно.

Я сейчас спросил у коллеги - за последние 2 года у нас сдохло порядка 4 блоков питания. На работе это вообще никак не сказалось - просто заменили. А если сдохнет у вас?

[labi]

Понятно.

Я сейчас спросил у коллеги - за последние 2 года у нас сдохло порядка 4 блоков питания. На работе это вообще никак не сказалось - просто заменили. А если сдохнет у вас?

 

Да, блоки питания с резервированием надёжностью не отличаются. Тому есть объективные причины.

 

У нас дублируются серверы. Если нужно дублирование.

 

Одно время мы делали системы с тремя серверами. Я возил на выставку такой набор - показывал народу. Предлагал выдернуть любой шнур - народ радовался. После обеда вернулся - все шнуры перепутаны, а система живёт. Несколько лет подряд логотип продукта представлял собой символичный кластер из трёх систем. Буклетов напечатали тонну. Мудрёную хрень написал про типы кластеров и их применение.

 

Однако на продажах оно никак не отразилось. И я знаю почему.

[thodin]

Однако на продажах оно никак не отразилось. И я знаю почему.

Потому что кластер - это всегда геморрой. А два блока питания и два контроллера - простое и надежное решение.

[labi]

Однако на продажах оно никак не отразилось. И я знаю почему.

Потому что кластер - это всегда геморрой.

 

Сейчас - да. А тогда мы поставляли готовое отлаженное решение. Для объединения в кластер надо было только галочку поставить.

[thodin]

Для объединения в кластер надо было только галочку поставить.

Такое решение может быть только для какой-то одной задачи и то к нему должен прилагаться инженер.

А полка универсальна.

[grifin.ru]

Нормальное резервирование это не на уровне контроллеров и блоков питания, а на уровне Дата-Центров, это если мы говорим о надежности.

В пределах офиса (контролируемой зоны) у меня трудятся три сервера баз данных в кластере. Два из них на разных ИБП а третий вообще без ИБП.

Сейчас собираю первый сервак в свою собственную серверную.

Корпус с двумя БП и базовая начинка уже в нем, сейчас вот репу чешу... поскольку там будут виртуалки, и многие с СУБД - мне нужна производительная дисковая подсистема.

на серверах, которые стоят в у меня в ЦОДах у меня уже давно зеркало из SSD, но там юниты платные. В своей серверной юнитов хватает, и я курю инфу, что правильнее - SSD-кэш (КэшКоде) или просто купить взрослый кэш-контроллер с BBU (суперконденсатором) и поставить его кэшировать запись (чтение хорошо кэширует ОС на ноде при наличии свободной памяти.

Только вот контроллеры с кэшем более 1 Gb я не нашел. Оно реально не надо больше, под виртулаки... есть опыт у кого ?

Про полку тоже думаю, но пока не знаю зачем она мне )

[thodin]

Нормальное резервирование это не на уровне контроллеров и блоков питания, а на уровне Дата-Центров, это если мы говорим о надежности.

Это называется - "во фраке и с дырявыми носками". Зачем покупать оборудование с одним блоком питания и одним портом, если известно, что это одна из главных причины выхода оборудования из строя?

Ничем, кроме как глупостью - это назвать нельзя.

 

В пределах офиса (контролируемой зоны) у меня трудятся три сервера баз данных в кластере. Два из них на разных ИБП а третий вообще без ИБП.

Что значит - "сервера базы данных", какие базы данных? В каком кластере?

 

на серверах, которые стоят в у меня в ЦОДах у меня уже давно зеркало из SSD, но там юниты платные. В своей серверной юнитов хватает, и я курю инфу, что правильнее - SSD-кэш (КэшКоде) или просто купить взрослый кэш-контроллер с BBU (суперконденсатором) и поставить его кэшировать запись (чтение хорошо кэширует ОС на ноде при наличии свободной памяти.

Слова то какие: "взрослый кэш-контроллер".. Да любой помоечный контроллер это делать умеет. Ставить контроллер без батарейки - это вообще какое-то особое извращение.

Только вот контроллеры с кэшем более 1 Gb я не нашел. Оно реально не надо больше, под виртулаки... есть опыт у кого ?

Сама vmware умеет прекрасно делать кэш практически любого разумного объема.

Другое дело, какая БД используется? Это кардинально меняет буквально все.

[grifin.ru]

Это называется - "во фраке и с дырявыми носками". Зачем покупать оборудование с одним блоком питания и одним портом, если известно, что это одна из главных причины выхода оборудования из строя?

Ничем, кроме как глупостью - это назвать нельзя.

Потому, что если блок питания выходит из строя и сервер останавливается - вся обработка переходит на сервер в другом ЦОД. Наличие второго БП на этих в данном случае не нужно, т.к. отказ сервера не приводит к отказу в обсуживании

Что значит - "сервера базы данных", какие базы данных? В каком кластере?

MariaDB Galera Claster

Сама vmware умеет прекрасно делать кэш практически любого разумного объема.

Другое дело, какая БД используется? Это кардинально меняет буквально все.

Кэш на запись должен быть защищен батарейкой, поэтому использовать КЭШ из ОЗУ тут опасно.

Используется MariaDB во всех новый проектах, старые есть на MySQL что, собственно - тоже самое.

[karpa13a]

MariaDB Galera Claster

когда заведешь этот трэш через wan - возвращайся

[thodin]

Потому, что если блок питания выходит из строя и сервер останавливается - вся обработка переходит на сервер в другом ЦОД. Наличие второго БП на этих в данном случае не нужно, т.к. отказ сервера не приводит к отказу в обсуживании

На сервере крутится 20 виртуалок. Сдох блок питания, все они ушли в страну снов.

Они все резервированы? Конечно же нет, такого не бывает. Резервировано то, что напрямую завязано на предоставление сервиса.

Развалился кластер, его придется синхронизировать после поднятия питания.

Это лишний геморрой, причем не понятно - нафига это надо?

 

MariaDB Galera Claster

Учитывая "разные дата-центры", тормоза тут будут не из-за диска, а из-за задержки на канале.

Оно, надеюсь, не через public internet?

 

Кэш на запись должен быть защищен батарейкой, поэтому использовать КЭШ из ОЗУ тут опасно.

Кто-то в наше время ставит контроллеры без батарейки?! Зачем??

[labi]

Для объединения в кластер надо было только галочку поставить.

Такое решение может быть только для какой-то одной задачи и то к нему должен прилагаться инженер.

А полка универсальна.

 

Безусловно. Из чехарды с несовместимостью и прочим для производителя законченных систем выход расположен ближе к своему железу и своему ПО. Убытки с чужими полками и контроллерами у него случаются и накапливаются только в глубине времени.

 

Для потребителя полка понятна и универсальна прямо сейчас. Запустил - работает. Завтра - будет другая полка, с другими контроллерами, другими шнурами, другим ПО.

 

Гугл, однако, разрубил этот узел раз и навсегда. Я всех зову идти этой-же дорогой. Преодолевая по пути соответствующие трудности. Тем более перспективы в технологиях полок нет. Факторы производительности и ёмкости и далее будут расходиться (вопросы репликации и деградации будут обостряться, зеркало всех победит). Закон Мура и далее будет лишать это решение экономического смысла. В длинном проекте ёмкость всей полки на старте по прежнему будет равняться ёмкости одного диска во время жизни проекта. А стоимости будут разниться в десятки раз. Производительность набортного бесплатного контроллера новой матери по-прежнему будет опережать производительность дорогого "профессионального" контроллера. Шансов на совместимость как не было, так и не будет. Несовместимость производители возвели в культ.

 

Ну и в действительно больших системах я предлагаю мёртвые диски хоронить. До замены всего оборудования системы.

[thodin]

Гугл, однако, разрубил этот узел раз и навсегда.

Нет. Гугл решил свою конкретную задачу и не более.

При этом полки netapp он тоже использует - для внутренних задач.

[labi]

Гугл, однако, разрубил этот узел раз и навсегда.

Нет. Гугл решил свою конкретную задачу и не более.

При этом полки netapp он тоже использует - для внутренних задач.

Аминь.

[thodin]

Аминь.

Я даже проверил - Netapp теперь еще и Google Technology Partner. Вы ошиблись, говоря, что гугль сосредоточился только на своем решении для хранения данных.

[labi]

Аминь.

Я даже проверил - Netapp теперь еще и Google Technology Partner. Вы ошиблись, говоря, что гугль сосредоточился только на своем решении для хранения данных.

 

Я думаю, гугл настолько большой, что там есть место всему. У разных его частей должны быть разные решения, с разными сроками внедрения и разным масштабом. И люди там должны быть разными и с разными навыками/предпочтениями.

 

Я ведь с вами согласен - в вашем случае полки к месту. В иных случаях - по разному.

[zoro]

Сначала как только тодин заговорил о политике- меня взбесило- и тут он гадит.... И народ ведется...- короче минус к карме... Поставил...

 

Как только он начал говорить про технические аспекты-я полностью поддерживаю его...

в РФ Есть два крупных слоя

1) как тодин, как я... Купил решение, поставил- оно работает и приносит деньги, если перестало расширятся- рядом ставим новую полку, потихоньку на него мигрируем, Старое выбрасывается... Да оно стоит деньги- но сэкономленные деньги на самосборе- это ваши не сэкономленные нервы и время...

Я вообще предпочитаю Полочка с HDD, Блейд сервак... В серваке просто загрузчик с флэша... Блейд имеет нормальные блоки питания,

нормальный коммутатор, нормальный коммутатор "шины хранения".

Таких на рынке РФ 20%

2) Самосборщики.. Обычно народ сам себе придумывает проблему, и преподносят это руководству как сэкономленные средства... Руководство их гладит по головке при этом не понимает чем может самосбор аукнуться...

Таких на рынке РФ 60%

Остальные 20% это:

3) 10% это интеграторы которые пихают железо в конторы при этом эти решения там не нужны и используется та же полка на 1-2% своего функционала

 

4) 10% это самосборные серваки для узкоспециализированных целей... Одна из них например Видеонаблюдение... Правильно заметил лабби- проф деформация... Видеохранение да винтов много, дешевле надо... Самосбор тут подходит, но!! Видеонаблюдение если и полетел винт- и хрен с ним... Если в райде 5 то ок, если без райда плохо но и фиг с ним... Потерялось видео, не показали картинку- ну не смогла... Получили по шапке, пригрозили вам пальчиком- но в общем система работает... Да и дешево... Как только мы говорим о БД где крутятся бабки... То сбой с потерей 20 лямов рубликов сразу вас взбодрит и подумаете, а может за лямчик прикупить стандартную полочку... И не надо говорить гугл- они выполнили свою задачу, а там где деньги-они резервируют площадки/контейнеры...

[labi]

Сначала как только тодин заговорил о политике- меня взбесило- и тут он гадит.... И народ ведется...- короче минус к карме... Поставил...

 

Как только он начал говорить про технические аспекты-я полностью поддерживаю его...

в РФ Есть два крупных слоя

1) как тодин, как я... Купил решение, поставил- оно работает и приносит деньги, если перестало расширятся- рядом ставим новую полку, потихоньку на него мигрируем, Старое выбрасывается... Да оно стоит деньги- но сэкономленные деньги на самосборе- это ваши не сэкономленные нервы и время...

Я вообще предпочитаю Полочка с HDD, Блейд сервак... В серваке просто загрузчик с флэша... Блейд имеет нормальные блоки питания,

нормальный коммутатор, нормальный коммутатор "шины хранения".

Таких на рынке РФ 20%

2) Самосборщики.. Обычно народ сам себе придумывает проблему, и преподносят это руководству как сэкономленные средства... Руководство их гладит по головке при этом не понимает чем может самосбор аукнуться...

Таких на рынке РФ 60%

Остальные 20% это:

3) 10% это интеграторы которые пихают железо в конторы при этом эти решения там не нужны и используется та же полка на 1-2% своего функционала

 

4) 10% это самосборные серваки для узкоспециализированных целей... Одна из них например Видеонаблюдение... Правильно заметил лабби- проф деформация... Видеохранение да винтов много, дешевле надо... Самосбор тут подходит, но!! Видеонаблюдение если и полетел винт- и хрен с ним... Если в райде 5 то ок, если без райда плохо но и фиг с ним... Потерялось видео, не показали картинку- ну не смогла... Получили по шапке, пригрозили вам пальчиком- но в общем система работает... Да и дешево... Как только мы говорим о БД где крутятся бабки... То сбой с потерей 20 лямов рубликов сразу вас взбодрит и подумаете, а может за лямчик прикупить стандартную полочку... И не надо говорить гугл- они выполнили свою задачу, а там где деньги-они резервируют площадки/контейнеры...

 

Согласен. А получится у вас так-же представить потребителя услуг места в датацентре и места в мини-датацентре?

[zoro]

Согласен. А получится у вас так-же представить потребителя услуг места в датацентре и места в мини-датацентре?

Так, СТОП, у вас все смешалось люди, мухи, говно...

Давай хотя бы разделим на разные фракции...

 

Стойка Хранилища, и стойка с лезвиями... Стойки с отдельными серваками... Могут находится, Хоть в большом Мега датацентре, Хоть в серверной в подвале, хоть в контейнере...

 

Услуга "датацентр" надо уточнить что точно подразумеваете :) Плюс тут же есть и технические и финансовые факторы...

 

Так как можно подразумевать под этим разные модели, при этом есть и подпункты:

 

1) Размещение оборудования клиента - За сервер и зип отвечает сам клиент... Оборудование на балансе клиента...

- Размещение сервера клиента

- Аренда серверной стойки

- Аренда выделенного пространства(1-2 стоек или метров квадратных+ столько то холода+ столько то кВт электричества)

Такой пункт- а сколько подпунктов, тут же вопрос ЗИП клиент предоставил и хранит- кто будет менять...

 

2) Выделенный ВАШ сервер:

Даете клиенту список возможных конфигураций серверов Клиент тыкает хочу то... У вас есть ЗИП под все комплектации, при поломке ваш спец меняет оборудование, и оборудование находится на балансе вашем...

Даете клиенту право выбрать произвольную конфигурацию, вы ее собираете, держите не стандартный ЗИП... Оборудование на вашем балансе...

 

3) Облачные услуги...

Сервер Виртуальный, все ресурсы тоже...

 

Модель 2а, и 3 подразумевает или реально сервер, или блейд сервер... Тут зависит от модели представления правильности...

Пункт 2а - Ты говоришь клиенту- у меня есть вот такие предсобранные сервера, или у меня есть вот такие "лезвия"..

Пункт 3 - Клиента не должно волновать на чем оно построено...

 

 

Второй пункт- Ребята, а связь с внешним миром каналы... Ой сколько на этом можно поговрить...

Тонкостей очень много... Можем обсудить- но толку...

____-------------------------------------------------------------------------------------------------------____

И повторяю вышеперечисленные модели не относятся к физическому построению- Мега датацентры, Микро, распределенные серверные в подвалах...

 

____#######################################################################################################____

А теперь к Мини дата центрам....

 

Как ты его представляешь?

1) Арендуемое помещение- дооборудуется под серверную...

2) Собственное здание- с инфраструктурой...

3) Контейнер- с инфраструктурой....

 

Если первое- то поверьте чтобы сделать минидатацентр в готовом здании очень геморройное занятие... В противном случае получится классическая "серверная"...

А чем тогда ты привлечешь клиента? Если он и так сможет сделать классическую "серверную"...

Чем отличается классическая серверная от датацентра? Просто Комната, установили 2-3 сплита, поставили пожарку, охранку, видеонаблюдение, в редких случаях поставили систему пожаротушения, и в редчайшем случае сделали изоляцию помещения от затопления...

Вышеперечисленное Датацентр? Нет... Продавать услугу под брендом датацентр- бред...

Еще что поражает, Всем своим знакомым, начинающим операторам которые строятся изначально предлагал Контейнерый "ЦОД" с системой климата, пожаротушения, ИБП, Генератором... Все отказывались... Все выбирали аренду помещения/квартиры... И якобы это выгодней, на деле потом имели столько проблем и геморроя... Мелкие оператор экономит на старте- не хочет вкладывать от 0,5 ляма в собственное "здание", а когда вырастает- уже становится поздно что то менять. С чем сталкивались:

- оплата за аренду помещения/здания возросла

- места уже не хватает

- проблемы с вводом коммуникаций после второго кабеля сказали- больше не дадим...

- проблема с мощностью нагрузки

- проблема с резервным вводом

- проблемы с резервным размещением генератора

- одного затопило

- доступ в помещение ночью- раньше ок, поменялся владелец- только с 8 до 22- в другое время пошли нахрен- не нравится убирайтесь...

Тоже самое на площадке ТТК :) раньше дежурные 24 часа в сутках были на площадке, теперь только с 8 до 17_00 после людей нет- сократили персонал ЛАЗ...

- проблема с холодом- после увеличения нагрузки- два кондиционера "12" уже не хватает, а другие блоки больше и не дают размещать, да и фреонопровод надо менять.

 

Все именно Серверные которые приближенные к Мини ДЦ, которые я проектировал и делал(после 40 штук уже как то и перестал считать) были внутри собственных зданий...

Заказчики Сбербанк, Уралсиб итд итп... У них свои приколы и требования к безопасности... Свои здания, люди понимают что за все ньюансы надо платить, Да они спрашивают почему такой то пункт стоит столько денег... Они без проблем выделяют помещение где ты указал, которое будет больше подходить под серверные а не то которое получилось выдернуть у Арендодателя, которое подешевле.

 

Второе- ребята Это круто, и имеет уже смысл не Мини...

 

Контейнерные- самое оптимальное, это моё.Если учесть что я конструировал контейнерные мини "датацентры" для ТСО и видео наблюдения, с фрикулингом, и двумя зонами, а именно: Техническая 4 стойки(по 5квт тепловыделения на каждую), комната операторов ТСО, Причем зона операторов имеет собственный микроклимат с подключаемым модулем фильтрации на базе ФП-300...

Я опять же повторяю Всем своим клиентам предлагал их... НО Не кто кроме крупняка не согласился...

А те кто согласился приходил с своими требованиями и стандартами, проектами. Они понимают для чего это им нужно. Какие плюсы имеются. Но они в основном и пользуются шаблонами либо проектами которые делают другие и требуют чтобы ты делал по проекту/типовому решению.

 

Из контейнерных аппаратных более подходящих под Датацентры это у меня сборка контейнеров по готовым Проектам...

Контейнеры БС и контроллеров БС сотовых операторов. Много штук сделали, размерами от 2х2м до 10х20м

 

Для Росморпорта, шесть контейнеров сделали/смонтировали. Каждый контейнер 3-6 стоек с аппаратурой Радиостанций, Передатчики, радары, мультиплексоры, ИБП, 2-3 сервера... Что и как там было запроектировано я плакал но делал по проекту...

Четыре контейнера для Транснефти, Но там готовый блок контейнер(имеющий кучу сертификатов стоймость как самолет) в которых находятся по одной стойке с сервером Мониторинга целостности нефтепровода.

 

 

Так Что будем обсуждать?

[SpheriX]

Как ни странно, но много мелких контор желает иметь свой сервер всё-в-одном, а не садиться в облако или полноценный датацентр. Так что скорее всего идея взлетит.

[labi]

Как ни странно, но много мелких контор желает иметь свой сервер всё-в-одном, а не садиться в облако или полноценный датацентр. Так что скорее всего идея взлетит.

 

Однако слабое место коллеги обозначили. Спасибо им.

 

Думаю, как это нивелировать.

 

Товарища, что затеял первый ДЦ, я совершенно случайно понял. Увидел его старую конкурсную заявку в фонд содействия инновациям, а там рекомендация от нашего университета, согласно которой он им разработал ПО для создания кластеров. В ней написано, что на 10 разных платформ они разворачивают кластер за 5-10 минут. На его кластерах рассчитывают "неравновесные переходы в сплошных средах". Это его студенческая работа. Думаю, что чувство страха у него в эту сторону напрочь отсутствует. Своим клиентам кластер он организует, понятно.

 

Тодина - тоже понимаю. Сейчас думаю над соответствующим шкафчиком. Задача в том, что он должен обслуживаться с одной стороны.

[labi]

Так Что будем обсуждать?

 

 

 

 

В черне сама ферма:

 

 

[Sergey Gilfanov]

<Осматривая корпус> Пылесборник же?

Или этот шкафчик все-таки предполагается ставить в соответствующее помещение, где пыли нет? А чем тогда обычная стойка хуже?

[zoro]

Как ни странно, но много мелких контор желает иметь свой сервер всё-в-одном, а не садиться в облако или полноценный датацентр. Так что скорее всего идея взлетит.

Вы лучше скажите что в этом "Все-В-Одном" им надо и хочется... А я обосную почему им это хочется все в одном... И еще скажу- что они хотят что бы это все было рядом у них в офисе... И "программист" сидел рядом чтобы ему мозг могли выносить бухгалтера и прочие сотрудники...

Почему облако не нравится- Первое "программисты" сиделки не понимают, Сам шеф не понимает, и зависимость от каналов связи- поэтому сервер должен быть рядом... Рядом я сказал... А почему все в одном- ну так Экономика должна быть экономной... Линукс- Ой это сложно... Виндоус- ой это понятно просто, любая сиделка знает его... Но дорого каждый физический сервер требует долбанную наклейку минимум 42тысч надо заплатить, а там еще нужно приобрести кучку лицензий на разное доп ПО... В противном случае дяди кто следит за авторским правом прийдут и оштрафуют...

[labi]

<Осматривая корпус> Пылесборник же?

Или этот шкафчик все-таки предполагается ставить в соответствующее помещение, где пыли нет? А чем тогда обычная стойка хуже?

 

Там снизу фильтр (обслуживаемый, понятно). Размещаться будет в офисных центрах. Т.е. в сухих и относительно чистых помещениях.

 

Да, дверки видите? Это для индивидуального доступа к своему серверу.