Сколько стоит мини-датацентр?

[elbek]

Недавно поступило предложение (пока чисто гипотетически) построить мини датацентр, для размещение серверов (аренда серверов, площадка для размещения серверов).

У кого есть или был опыт работы в датацентрах? Какие минимальные вложения нужны? какие оборудование и программное обеспечение нужны и какой минимальный штат должен быть?
А также интересует какая линия связи надо иметь?

[jffulcrum]

Никакие мини ЦОД не окупаются, это утопия. Решения в духе "ЦОД в контейнере" оправданы для каких-то крупняков, которым непременно надо инфраструктурой пойти на экспанд в немногих нынче не охваченных оптикой и нормальным хостингом ипенях. Все прочие строят сразу с расчётом на расширение, с white space и эшелонируемыми решениями по питанию и охлаждению, и жизненно важен набор объема как можно быстрее, даже заведомо в убыток окупаемости, чтобы начать покрывать текущие косты из абонплат. Необходимо при этом сразу сделать и продавать свое облако, потому как уже выросло целое поколение, для которых вся инфраструктура - это панель в браузере, им вы никакие коло и стойки не впарите априори. Мне тут свежеиспечённый CIO средней нефтяной компании (36 лет) признавался, что не понял, где сервер включить в последний раз, когда трогал железо лично (потому как у этого вендора кнопки на жопе, а моргалы спереди, ну или наоборот - как кулеры и БП поставите).

[elbek]

jffulcrum

 

хмм, я как понял, размещение сервером уже "не в моде", да? надо смотреть в сторону облачных систему, аля IaaS, PaaS и SaaS ?
 

Ну вот хочется понять с чего начинать, как понять какой обьем окупит себя через 2 года? Построить есть место , только надо знать размеры какие нужны

[jffulcrum]

Не то что размещение - владение серверами не в моде, уже лет 10, везде причём. А если речь о РФ, то после начала СВО желающие ждать сборки сервера поставщиком пару месяцев и иметь гарантии уровня "мамой клянусь" стали практически вымирающим видом.

[elbek]

jffulcrum

 

Сами сервера покупаем б/у, для своих нужд.  )))))
Теперь как быть? с чего начать? Мне просто попросили поинтересоваться вообще какие требования, какие мощностей нужны?
 

[jffulcrum]

Материалы для начального планирования в сети есть, можно начать с Уроки стойкости, или Выбираем стойки для ИТ-оборудования правильно / Хабр (habr.com) , хотя в таких статьях никто не напишет, как срезать углы и экономить по-чёрному, на этом рынке тоже есть игроки типа "мамой клянусь", и даже у крупняка есть всякие скелеты в шкафах.

 

Первой проблемой на практике обычно оказывался вес. Стойка занимает квадратный метр и оборудование в ней может весить больше тонны, а ведь еще сам вес стойки и вес проводов. 10 стоек - уже до 15 тонн, а еще плюс вес блоков охлаждения и питания. Уже на этом этапе запланированное помещение может отлететь, не будучи рассчитанным на такую весовую нагрузку, или потребовать достаточно дорогостоящих работ по укреплению. Потому ЦОДы давно предпочитают строить с нуля, или осваивать бывшие заводы (но там свои проблемы). 

[elbek]

Цитата

Первой проблемой на практике обычно оказывался вес. Стойка занимает квадратный метр и оборудование в ней может весить больше тонны, а ведь еще сам вес стойки и вес проводов. 10 стоек - уже до 15 тонн, а еще плюс вес блоков охлаждения и питания. Уже на этом этапе запланированное помещение может отлететь, не будучи рассчитанным на такую весовую нагрузку, или потребовать достаточно дорогостоящих работ по укреплению. Потому ЦОДы давно предпочитают строить с нуля, или осваивать бывшие заводы (но там свои проблемы). 

Дело в том, что пока только земля, есть шанс все с 0-я планировать, проектировать правильно. я точно не потяну, так как тут методом тыка не получится ))) ставки слишком высоки. надо будет пригласить инженеров по постройке ЦОД_ов. Ну допустим, помещение построили, нужны расчеты коммуникации. Как вообще интернетом решают вопрос? какой скорость нужно и наверно минимум 2 линии (разные провайдеры) + какой то пул IP адресов, чтоб клиентам раздать.

[jffulcrum]

Со связью варианта 2, вернее. полтора:

1. Зазывать к себе провайдеров, выдавая им место для узлов и софинансируя прокладку оптики. Самим работать агентами по продажам.

2. Заводить своего провайдера, получая лицензии (пошлина - миллион за каждую на три года, а надо минимум две - передача данных и телематика, а если выделенки между локациями продавать, то еще и за лицензию на предоставление каналов связи) и весь связанный геморрой - СОРМ, Яровая, Ревизор, ТСПУ, КИИ, налог сбор в пользу госоператора  и горы отчётности за каждый роутер, каждый IP-адрес, каждый рубль от клиента и каждый переданный байт.

 

К слову, за операторов ЦОД уже тоже взялись, требуя от них включения в реестр и отчётности, и, например, отрезая от оказания некоторых услуг, вроде хостинга под VOIP. Скоро тоже будет "занимайте очередь на изнасилование с пятницы, чтобы в субботу пораньше освободиться".

[Связной (С)]

Попробуйте начать с микро-ЦОД, запросите текущую цену на такое решение для начала.

 

 

 

[RialCom.ru]

9 часов назад, elbek сказал:

Недавно поступило предложение (пока чисто гипотетически) построить мини датацентр, для размещение серверов (аренда серверов, площадка для размещения серверов).

У кого есть или был опыт работы в датацентрах? Какие минимальные вложения нужны? какие оборудование и программное обеспечение нужны и какой минимальный штат должен быть?
А также интересует какая линия связи надо иметь?

имхо начните с электроснабжения - есть ли такая площадка с рациональным тарифом

подтянуть несколько ВОЛС бывает много проще, чем присоединиться к электроснабжению нормального уровня надежности

[RialCom.ru]

9 часов назад, elbek сказал:

jffulcrum

 

Сами сервера покупаем б/у, для своих нужд.  )))))
Теперь как быть? с чего начать? Мне просто попросили поинтересоваться вообще какие требования, какие мощностей нужны?
 

опять же мое мнение

если у Вас есть своих десяток стоек с приличным потреблением - построить под свое размещение и попытаться сдать еще половину может и выйдет целесообразным

но при условии рационального подхода в технической политике  и расходованию средств

ну и огромный плюс - некоторая независимость и свобода

[jffulcrum]

10 часов назад, elbek сказал:

Дело в том, что пока только земля, есть шанс все с 0-я планировать, проектировать правильно. я точно не потяну,

Дам немного практических советов, что спрашивать с проектантов и строителей:

- угрозы подтопления, причем не только внешняя, но и внутренняя - протечки. Никаких важных вещей в цоколях, да и первый этаж лучше целиком отвести под офис, ресеп, клиентские зоны, склады и зоны погрузки. Подстанция, батареи, чилеры - все агрегаты на фундаментах-возвышениях, метр от уровня земли минимум.

- безбарьерная среда - никаких порогов, тонну железа на рохле прокатить с рампы до лифта и с лифта до машзала должно быть без каких-либо препятствий и подъемов.

- помнить про вес, смотреть, как и в каком количестве сделаны колонны-распорки, как вписаны в планировку (хотя, можно и просто красить хорошей краской)

- лобой завезенный агрегат должно быть способным вывезти, включая, например, весь контейнер с Д/Г. Чтобы потом никаких "демоны, замуровали!"

[Saab95]

В 07.10.2024 в 22:05, elbek сказал:

У кого есть или был опыт работы в датацентрах? Какие минимальные вложения нужны? какие оборудование и программное обеспечение нужны и какой минимальный штат должен быть?

 

10 лет назад строили здание мини ДС. Размер 13х20 метров, 3 этажа. Монолитный фундамент с подвалом, перекрытие пустотными плитами с нагрузкой 1800кг на квадратный метр (такие плиты может сделать любой завод под заказ, который производит плиты перекрытий). Стены из кирпичной кладки толщиной 2.5 полуторных кирпича, с армированием.

 

Внутреннее пространство каждого этажа 2 отсека шириной 6 метров, стойки стоят у стен и один ряд по середине.

 

Крыша так же бетонные плиты, сверху техническое помещение и перекрытие 2-мя уровнями профлиста, поэтому протечки на верхнем не приведут к протечкам на технический этаж.

 

Кондиционирование и вентиляция через каналы по зданию, один мощный охладитель на все. В случае поломки возможна просто вентиляция на улицу.

 

Электропитание - 2 линии 10 киловольт, установлены 2 маленьких трансформатора.

 

Интернет - оптика от 3-х сотовых операторов.

 

Штат - 3 человека технических специалиста (администратора), которые круглые сутки (посменно) дежурят. Так же штат охраны.

 

В 07.10.2024 в 22:12, jffulcrum сказал:

Никакие мини ЦОД не окупаются, это утопия.

Конечно, все строилось для своего размещения, что бы не арендовать здания.

 

[Ivan_83]

On 10/7/2024 at 10:26 PM, elbek said:

Ну вот хочется понять с чего начинать, как понять какой обьем окупит себя через 2 года?

Подозреваю что никакой 🙂

[straus]

23 часа назад, Saab95 сказал:

Электропитание - 2 линии 10 киловольт, установлены 2 маленьких трансформатора.

Это сразу аттестованный свыше 1000 В персонал, и не в единичном количестве. Плюс периодическое подтверждение группы по электробезопасности будут проверять строго. Владение распредсетью 10 кВ имеет смысл только при больших мощностях и больших сетях. Ибо там в нормативке много такого, чего нет до 1000 В.

[witch]

Обычно высокая сторона это ответственность сбытовой компании.  допуски да, обязательно. 3 человека если память не изменяет.... 2 оперативника и 1 оператор.

PS Про ДГУ и АВР не забудьте....

Edited October 10, 2024 by witch

[RialCom.ru]

ну только надо понимать, что 10кв и выше это ответственное электроснабжение для профессионального потребления

а 220/380 для утюгов и зарядки ноутбуков вот этовот все

[Saab95]

22 часа назад, straus сказал:

Это сразу аттестованный свыше 1000 В персонал, и не в единичном количестве. Плюс периодическое подтверждение группы по электробезопасности будут проверять строго. Владение распредсетью 10 кВ имеет смысл только при больших мощностях и больших сетях.

Только так можно подключить гарантированное энергоснабжение. К вам ставят столбы или закапывают в землю кабель и подключают к ближайшему распределительному узлу. Вся сеть и трансформатор ответственность энергоснабжающей компании. С трансформатора уже выходят линии 220/380 для потребителя.

 

Если интересоваться просто про 220/380, то не смогут дать нужной мощности, т.к. потребуется тянуть линию до ближайшей ТП, которая может быть далеко + могут быть чаще плановые отключения электричества.

 

8 часов назад, witch сказал:

Про ДГУ и АВР не забудьте.

Именно по этой причине ДЦ нужно строить за городом, там проще и с электричеством, и с ценами на землю, и нет ограничений на установку генераторов, как в городе.

[skn99]

Часто вижу перед глазами цод сделанный GreenMDC, поставленный в более менее правильном месте, на 10 шкафов, с ибд, геной, 2-мя вводами, в шкафах всякие сервера, схд и т.д. В документах итого около 200млн. за матчасть и подведённые коммуникации.

[straus]

В 10.10.2024 в 20:36, Saab95 сказал:

К вам ставят столбы или закапывают в землю кабель и подключают к ближайшему распределительному узлу. Вся сеть и трансформатор ответственность энергоснабжающей компании. С трансформатора уже выходят линии 220/380 для потребителя.

Надо чётко формулировать, чтобы не могло быть двойного толкования. То есть, в твоём случае постройка линий и ТП за счёт заказчика, с последующей передачей на баланс энергосбытовой компании. Такой вариант действительно реальный.

Но также можно взять два ввода с разных ТП, которые сами запитаны кольцами. Ещё лучше, если эти ТП будут запитаны от разных ПС. В крупных городах это вполне могут быть соседние ТП.

[RialCom.ru]

у вас тут у каждого свои "варианты и термины" один другого чуднее

 

думаю энергетики не смогут правильно растолковать что там кто хочет подключить/присоединить

[jffulcrum]

К энергетикам нынче надо въезжать на "Бентли" прямо в офис сквозь двери, выскочив, немедленно начинать избивать всех встречных мешком с баблом, чтобы купюры просыпались при каждом ударе, пока не доберетесь до главного, этому сразу с разворота чемоданом с золотыми слитками по рылу. Иначе в последние годы подключить хоть что-то выше 3 категории не выглядит возможным:

 

Скрытый текст

Топ-менеджеры вымогали 100 млн за подключение к электричеству // Новости НТВ

Инженер «Крымэнерго» попался на взятке 1,8 млн рублей за подключение завода к электричеству - KP.RU

За взятку в 200 тысяч начальник филиала «Ставэлектросети» получил 7 лет строгого режима

В Калужской области инженер брал взятки за подключение домовладений к электросети

Ведущий инженер «Россетей Тюмень» задержан по подозрению в получении взяток за подключение | Деловой квартал DK.RU — новости Тюмени

 

[RialCom.ru]

а не пробовали туда через портал техприсоединения подать по форме?

да, по срокам не в один день

но в рамках регламента или чуть дольше и все по нормативным расценкам

 

 

[jffulcrum]

Пробовали тут через региональное единое окно для предпринимателей, получилось как-то так: https://rutube.ru/video/881ba0d01e7b272a65856be572daec11/

 

 

[RialCom.ru]

бывает и так, но если все в рамках их регламента - принимают и подключают, увеличивают мощности, согласовывают

по моему личному опыту за 30 лет предпринимательства- и электричество, и газ и водоснабжение в разных городах подключали, согласования делали

отказывают почти всегда, если в документах или заявлении что то не соответствует необходимым требованиям