Jump to content
Калькуляторы

Создание кластера Windows Server 2019 из 3 нод с СХД Storage Spaces Direct (S2D)

Периодически возникает необходимость что нибудь запускать под Windows. Так как мы в МосЛайн все Линуксовые, то Винда стоит только на рабочих компах. В свое время пытались перейти на десктопный линукс, но решили, что проще поставить Винду, чем обучать персонал. Работа под Линукс вызывала слишком много вопросов, а с Виндой все умели по умолчанию. Теперь примерно так же доросли до серверных задач. Мы конечно подняли 1С на Линукс, но каждый раз инженеры 1С выпадают от такой конфигурации в осадок. Винду тоже не помешало бы настроить под контроллер домена и что там еще в этой Винде есть. Так как теперь можно там VPS настроить, то и совсем хорошо. А уж распеределенная СХД Storage Spaces Direct (S2D) вообще интересно. Честно говоря до сих пор Линуксовую Ceph до ума не довели. Посему решили собрать кластер из 3 нод. Честно говоря эта Серверная Винда для нас зверюга новая. По этому хотелось бы сразу найти людей с опытом эксплуатации кластеров и S2D. Не хочется начинать с нуля и разбираться в тонкостях. Благодарность наша не будет иметь границ, в пределах разумного! Готовы будем потом поделиться тут опытом реализации этого проекта.

Share this post


Link to post
Share on other sites

Вас интересует исключительно СХД или вы хотите получить все в одной коробке? Чтобы собрать кластер из 3-х нод в котором будут жить хранилище+база+1С+AD и так далее?

Share this post


Link to post
Share on other sites

Опыт есть, и он вам сообщает: разбираться в тонкостях придется. Особенно если хотите S2D, https://docs.microsoft.com/ru-ru/windows-server/storage/storage-spaces/storage-spaces-direct-hardware-requirements  Там масса ограничений и масса способов выстрелить в ногу, в т.ч. неявно обозначенных в документации, например нельзя миксовать в пул диски с разным размером сектора, нельзя использовать NVME драйвер от производителя (а это порой само по себе проблема), внешние полки поддерживаются с таким количеством условий, что это пока только отдельные SKU Fujitsu, вручную полированные японскими девственницами, по соответствующей цене (+100% к SKU без нужной сертификации). Аналогичная хрень с сетевой частью, сначала для RDMA была ROCE рекомендована, этой Roce наплодили кучу версий, поддержка в коммутаторах в зависимости от фазы Луны, потом MS переобулась в полёте, теперь рекомендован iWARP, а реализации с Roce стали выхватывать проблем при обновлениях. Если у вас опыта нет, лучше начать с классики - FC/ISCSI полки, обычный 10G без извращенных удовольствий джентльменов, за классикой в эксплуатации не требуется перманентно бегать вокруг с ведром и тряпкой, подтирая отходы жизнедеятельности.

Share this post


Link to post
Share on other sites
В 03.09.2020 в 14:19, FATHER_FBI сказал:

Вас интересует исключительно СХД или вы хотите получить все в одной коробке? Чтобы собрать кластер из 3-х нод в котором будут жить хранилище+база+1С+AD и так далее?

Хотим получить все в одной коробке. Все сервисы под винду должны жить в виртуалках на этом кластере. В том числе всякие контроллеры домена и другая хрень. Я не очень силен в виндовых сервисах, но парк десктопных компов так увеличился, что надо тоже делать централизованное управление. К 1С к примеру хочется прикрутить терминал сервер, что бы все крутилось внутри сервера, а не бегало по сети.

Share this post


Link to post
Share on other sites
В 03.09.2020 в 15:00, jffulcrum сказал:

Опыт есть, и он вам сообщает: разбираться в тонкостях придется. Особенно если хотите S2D, https://docs.microsoft.com/ru-ru/windows-server/storage/storage-spaces/storage-spaces-direct-hardware-requirements  Там масса ограничений и масса способов выстрелить в ногу, в т.ч. неявно обозначенных в документации, например нельзя миксовать в пул диски с разным размером сектора, нельзя использовать NVME драйвер от производителя (а это порой само по себе проблема), внешние полки поддерживаются с таким количеством условий, что это пока только отдельные SKU Fujitsu, вручную полированные японскими девственницами, по соответствующей цене (+100% к SKU без нужной сертификации). Аналогичная хрень с сетевой частью, сначала для RDMA была ROCE рекомендована, этой Roce наплодили кучу версий, поддержка в коммутаторах в зависимости от фазы Луны, потом MS переобулась в полёте, теперь рекомендован iWARP, а реализации с Roce стали выхватывать проблем при обновлениях. Если у вас опыта нет, лучше начать с классики - FC/ISCSI полки, обычный 10G без извращенных удовольствий джентльменов, за классикой в эксплуатации не требуется перманентно бегать вокруг с ведром и тряпкой, подтирая отходы жизнедеятельности.

Мы прошли долгую эволюцию. Пробовали iSCSI, FC, SAS. Честно говоря, внешние хранилища нас не порадовали. Они тоже дохнут. И когда они дохнут, то восстановить их почти не реально. А еще у них низкая пропускная способность и большие задержки. По этому мы пришли к распределенным СХД. Отказоустойчивость виртуалки реализуется кластером. Но, когда виртуалка перескочила на другой сервер, то за ней должен переместиться диск. Внешний диск упирается в скорость интерфейса. Даже FC не так быстр, особенно когда он делится на всех, а стоит как звездолет. Хотим попробовать S2D. Не получится S2D, поставим полку с FC. Пока планируем на сервер поставить 4 HD SAS 10TB (меньше не нашли) и 2 NVME 1TB (samsung pro больше не делает) под кеш. И по одному NVME 1TB для системы и сервисов. Вроде как по требованиям MS должно хватить. 10% под кеш маловато, но так получилось. Это минимально допустимо. Как запихнуть 3 NVME в 1U сервер HP360, который не умеет делить pcie шину я расскажу только за пиво, уж больно много клеток мозга было потрачено на эту задачу.

Share this post


Link to post
Share on other sites

Ну тогда я бы посоветовал взять как подложку более зрелое решение вроде Nutanix, а уже на ней - ВМ с виндой. 

 

9 минут назад, AlexPan сказал:

2 NVME 1TB (samsung pro больше не делает)

 

Samsung норм, а вот с Micron были проблемы с SS

Share this post


Link to post
Share on other sites

Мы рассматривали в свое время Nutanix, но что то не завелось. С железом не дружило. Спецов с опытом, что бы обменяться, тоже почти нет.

 

Могу сказать, что мы параллельно запускаем кластер с Ceph и Nebula, но это совсем другая история!

Share this post


Link to post
Share on other sites

@AlexPan ну ладно, я предупредил, что все сырое как дрова и вендор переобувается в полёте. Сам Storage пул уже создали, компоненты кластера поставили? Что в сетевой части, карты и свитч?

Share this post


Link to post
Share on other sites

Честно говоря пока только готовимся. Может даже кому нибудь дали бы порулить! Я уже говорил, что мы Линуксоиды и в этой винде, как свинья в апельсинах...

 

По сетевой части все хорошо. Каждый сервер имеет 4x10G-T интерфейса, которые попарно идут в 2 свитча Juniper 4550. Вернее 2 ноды идут в 2 свитча в одном ЦОД, а 1 нода идет в 2 свитча в другом ЦОД. 2 свитча соединены 128G. Пары свитчей соединены между собой 2 линками DWDM по 4x10G. Там для каждого соединения 2x10G из одного DWDM и 2x10G из другого DWDM. Короче, везде с запасом!

Share this post


Link to post
Share on other sites
41 минуту назад, AlexPan сказал:

4x10G-T интерфейса

Модель контроллера?

 

41 минуту назад, AlexPan сказал:

2 свитча Juniper 4550

Не нахожу у них в features поддержки PFC, без нее ROCE не будет нормально работать. Будем надеяться, что у ваших карточек есть iWarp, иначе вам нужны 4600

 

41 минуту назад, AlexPan сказал:

Я уже говорил, что мы Линуксоиды и в этой винде, как свинья в апельсинах...

О-о, вы познаете Могучий АДъ ака Power Shell. Вы в нём будете долбить команды так, что Linux покажется легкой прогулкой, ибо всё S2D настраивается нормально пока только с консоли. Запасайтесь клавиатурами.

Share this post


Link to post
Share on other sites

Там 2 карточки.

1. 700699-B21 HP Ethernet 10Gb 2-port 561FLR-T Adapter

2. Обычная карточка Intel OEM PCI-Express X540-T2 10G Dual RJ45 Ports Ethernet Network Adapter

Share this post


Link to post
Share on other sites
18 часов назад, AlexPan сказал:

Мы рассматривали в свое время Nutanix, но что то не завелось. С железом не дружило. Спецов с опытом, что бы обменяться, тоже почти нет.

Вроде как на офф сайте все внятно расписано, главное условие это наличие хотя бы одного ССД на 200ГБ и диски должны быть включены в HBA

Share this post


Link to post
Share on other sites

Даже если поставить Nutanix, то это не решит вопрос где разворачивать всякие контроллеры домена и другую виндовую автоматизацию...

Share this post


Link to post
Share on other sites
10 часов назад, AlexPan сказал:

Обычная карточка Intel OEM PCI-Express X540-T2 10G Dual RJ45 Ports Ethernet Network Adapter

https://ark.intel.com/content/www/us/en/ark/products/68677/intel-ethernet-server-bypass-adapter-x540-t2.html - нет iWarp поддержки. В общем, собрать попробовать можно, но в продакшен не пойдет, можно напороться на отвалы пулов по таймаутам.

Share this post


Link to post
Share on other sites
20 часов назад, jffulcrum сказал:

https://ark.intel.com/content/www/us/en/ark/products/68677/intel-ethernet-server-bypass-adapter-x540-t2.html - нет iWarp поддержки. В общем, собрать попробовать можно, но в продакшен не пойдет, можно напороться на отвалы пулов по таймаутам.

Действительно!

Эти Intel® Ethernet Адаптеры в настоящее время Поддержка iWARP:

Intel® Сетевой адаптер Ethernet X722-DA2

Intel® Сетевой адаптер Ethernet X722-DA4

 

И засада даже не в том, что адаптер надо покупать, а в том, что они все только под SFP+ и 10G-T не поддерживают! Ставить еще 2 Джуна с оптическими портами вообще не хочется!

 

Видимо надо смотреть модули SFP+ с подключением медного кабеля.

Share this post


Link to post
Share on other sites
В 04.09.2020 в 18:51, AlexPan сказал:

2 NVME 1TB (samsung pro больше не делает) под кеш

ставить десктопные ssd на сервера ИМХО не самая лучшая идея

Share this post


Link to post
Share on other sites
12 минут назад, edo сказал:

ставить десктопные ssd на сервера ИМХО не самая лучшая идея

Pro не совсем десктопные. По скорости отличные. По надежности тоже вполне устраивают. А какие именно вы предлагаете использовать?

Share this post


Link to post
Share on other sites
4 часа назад, AlexPan сказал:

Видимо надо смотреть модули SFP+ с подключением медного кабеля.

Там конский ценник https://shop.nag.ru/catalog/01891.moduli-sfp/23654.snr-sfpt

Или вы хотите оптику в медь перевести? Тогда это только 10ГБ медиаконверторы

Edited by FATHER_FBI

Share this post


Link to post
Share on other sites
В 06.09.2020 в 19:31, AlexPan сказал:

Pro не совсем десктопные. По скорости отличные. По надежности тоже вполне устраивают. А какие именно вы предлагаете использовать?

которые с защитой по питанию (читай серверные). это даёт быстрый sync, на некоторых нагрузках это критично

 

https://docs.google.com/spreadsheets/d/1E9-eXjzsKboiCCX-0u0r5fAjjufLKayaut_FOPxYZjc/edit?hl=en#gid=0

смотреть столбец juornal iops. разрыв между условной 1000 iops для десктопных и 30000 iops для серверных сразу бросается в глаза (есть и исключения, но общая картина именно такая)

Share this post


Link to post
Share on other sites
В 03.09.2020 в 11:07, AlexPan сказал:

Периодически возникает необходимость что нибудь запускать под Windows. Так как мы в МосЛайн все Линуксовые, то Винда стоит только на рабочих компах. В свое время пытались перейти на десктопный линукс, но решили, что проще поставить Винду, чем обучать персонал. Работа под Линукс вызывала слишком много вопросов, а с Виндой все умели по умолчанию. Теперь примерно так же доросли до серверных задач. Мы конечно подняли 1С на Линукс, но каждый раз инженеры 1С выпадают от такой конфигурации в осадок. Винду тоже не помешало бы настроить под контроллер домена и что там еще в этой Винде есть. Так как теперь можно там VPS настроить, то и совсем хорошо. А уж распеределенная СХД Storage Spaces Direct (S2D) вообще интересно. Честно говоря до сих пор Линуксовую Ceph до ума не довели. Посему решили собрать кластер из 3 нод. Честно говоря эта Серверная Винда для нас зверюга новая. По этому хотелось бы сразу найти людей с опытом эксплуатации кластеров и S2D. Не хочется начинать с нуля и разбираться в тонкостях. Благодарность наша не будет иметь границ, в пределах разумного! Готовы будем потом поделиться тут опытом реализации этого проекта.

Добрый день причастным.

Спасибо за обсуждение.

Сам пришел к такому решению, и хотел нагуглить, вдруг кто чего делал.

 

В итоге получилось что, или из за iWARP не срослось? Думаю поднимать сервера в кластере на амд и софтовом рейде 10 на NVMe PCIe 4.0 5Gb/s read/write. За счет рейда TBW будет 1500Тб, что на первое время должно хватит.

Share this post


Link to post
Share on other sites

Все в итоге получилось. Работает отменно. Сейчас хочу еще 3 сервера в кластер включить. Изначально планировался кластер на винде из 3 серверов. Кластер на linux из 3 серверов. Кластер на Linux в лабе для пробования разных решений. Из всего сделан и работает только виндовый. С линуксовыми инженеры все мозги по полу размазывают. А мне не кластеры нужны, мне сервисы на этих кластерах нужны. А тут то дисковую подсистему не понятно на чем делать, то другое не сростается. Короче, не умеют они кластеры делать. Взяли человека который умеет, так он вместо сборки кластера занимается уже не первый месяц изучением как их собирать. Гиблое дело! Короче, решили собрать все на винде и виртуалки под Линуксом тоже на нем запускать! Прелесть именно в том, что надо просто взять и развернуть, а не собирать из дерьма и палок. 

Share this post


Link to post
Share on other sites
6 часов назад, AlexPan сказал:

Все в итоге получилось. Работает отменно. Сейчас хочу еще 3 сервера в кластер включить. Изначально планировался кластер на винде из 3 серверов. Кластер на linux из 3 серверов. Кластер на Linux в лабе для пробования разных решений. Из всего сделан и работает только виндовый. С линуксовыми инженеры все мозги по полу размазывают. А мне не кластеры нужны, мне сервисы на этих кластерах нужны. А тут то дисковую подсистему не понятно на чем делать, то другое не сростается. Короче, не умеют они кластеры делать. Взяли человека который умеет, так он вместо сборки кластера занимается уже не первый месяц изучением как их собирать. Гиблое дело! Короче, решили собрать все на винде и виртуалки под Линуксом тоже на нем запускать! Прелесть именно в том, что надо просто взять и развернуть, а не собирать из дерьма и палок. 

Отличные новости!  А сеть на Ethernet X722-DA4 и коммутаторах с оптикой, или через переходники все заработало?

Edited by Comgold

Share this post


Link to post
Share on other sites
В 03.09.2020 в 11:07, AlexPan сказал:

Так как мы в МосЛайн все Линуксовые

 

12 часов назад, AlexPan сказал:

С линуксовыми инженеры все мозги по полу размазывают

 

12 часов назад, AlexPan сказал:

Прелесть именно в том, что надо просто взять и развернуть, а не собирать из дерьма и палок. 

OMG

 

что же у вас там за инженеры такие? возьмите толкового студента, он вам за несколько дней поднимет кластер на proxmox. это если он этот проксмокс первый раз видит, если не первый — через пару часов уже можно будет виртуалки запускать.

Share this post


Link to post
Share on other sites

Добрый день!
Только закончили поднимать S2D, пока для теста 2 ноды на старых Supermicro на каждой по 2 карточки 10Gb SPF+ с поддержкой RDMA, 4 SAS диска по 4ТБ и 2 SSD SAS диска по 960Гб, воткнуто всё в Arista DCS-7050S-64-F, RDMA заработало без всяких настроек и танцев с бубном, при нагрузке скорость записи на диск 1320 Мб/с, чтения 1540Мб/с, что значительно быстрее нашей HP6300 которая стоит как самолёт :( . Единственный минус который пока есть это при переходе роли SOFS с ноды на ноду перезапускаются сайты которые лежат в общей папке, но возможно так и должно быть :)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now