Создание кластера Windows Server 2019 из 3 нод с СХД Storage Spaces Direct (S2D)

[AlexPan]

Периодически возникает необходимость что нибудь запускать под Windows. Так как мы в МосЛайн все Линуксовые, то Винда стоит только на рабочих компах. В свое время пытались перейти на десктопный линукс, но решили, что проще поставить Винду, чем обучать персонал. Работа под Линукс вызывала слишком много вопросов, а с Виндой все умели по умолчанию. Теперь примерно так же доросли до серверных задач. Мы конечно подняли 1С на Линукс, но каждый раз инженеры 1С выпадают от такой конфигурации в осадок. Винду тоже не помешало бы настроить под контроллер домена и что там еще в этой Винде есть. Так как теперь можно там VPS настроить, то и совсем хорошо. А уж распеределенная СХД Storage Spaces Direct (S2D) вообще интересно. Честно говоря до сих пор Линуксовую Ceph до ума не довели. Посему решили собрать кластер из 3 нод. Честно говоря эта Серверная Винда для нас зверюга новая. По этому хотелось бы сразу найти людей с опытом эксплуатации кластеров и S2D. Не хочется начинать с нуля и разбираться в тонкостях. Благодарность наша не будет иметь границ, в пределах разумного! Готовы будем потом поделиться тут опытом реализации этого проекта.

[FATHER_FBI]

Вас интересует исключительно СХД или вы хотите получить все в одной коробке? Чтобы собрать кластер из 3-х нод в котором будут жить хранилище+база+1С+AD и так далее?

[jffulcrum]

Опыт есть, и он вам сообщает: разбираться в тонкостях придется. Особенно если хотите S2D, https://docs.microsoft.com/ru-ru/windows-server/storage/storage-spaces/storage-spaces-direct-hardware-requirements  Там масса ограничений и масса способов выстрелить в ногу, в т.ч. неявно обозначенных в документации, например нельзя миксовать в пул диски с разным размером сектора, нельзя использовать NVME драйвер от производителя (а это порой само по себе проблема), внешние полки поддерживаются с таким количеством условий, что это пока только отдельные SKU Fujitsu, вручную полированные японскими девственницами, по соответствующей цене (+100% к SKU без нужной сертификации). Аналогичная хрень с сетевой частью, сначала для RDMA была ROCE рекомендована, этой Roce наплодили кучу версий, поддержка в коммутаторах в зависимости от фазы Луны, потом MS переобулась в полёте, теперь рекомендован iWARP, а реализации с Roce стали выхватывать проблем при обновлениях. Если у вас опыта нет, лучше начать с классики - FC/ISCSI полки, обычный 10G без извращенных удовольствий джентльменов, за классикой в эксплуатации не требуется перманентно бегать вокруг с ведром и тряпкой, подтирая отходы жизнедеятельности.

[AlexPan]

В 03.09.2020 в 14:19, FATHER_FBI сказал:

Вас интересует исключительно СХД или вы хотите получить все в одной коробке? Чтобы собрать кластер из 3-х нод в котором будут жить хранилище+база+1С+AD и так далее?

Хотим получить все в одной коробке. Все сервисы под винду должны жить в виртуалках на этом кластере. В том числе всякие контроллеры домена и другая хрень. Я не очень силен в виндовых сервисах, но парк десктопных компов так увеличился, что надо тоже делать централизованное управление. К 1С к примеру хочется прикрутить терминал сервер, что бы все крутилось внутри сервера, а не бегало по сети.

[AlexPan]

В 03.09.2020 в 15:00, jffulcrum сказал:

Опыт есть, и он вам сообщает: разбираться в тонкостях придется. Особенно если хотите S2D, https://docs.microsoft.com/ru-ru/windows-server/storage/storage-spaces/storage-spaces-direct-hardware-requirements  Там масса ограничений и масса способов выстрелить в ногу, в т.ч. неявно обозначенных в документации, например нельзя миксовать в пул диски с разным размером сектора, нельзя использовать NVME драйвер от производителя (а это порой само по себе проблема), внешние полки поддерживаются с таким количеством условий, что это пока только отдельные SKU Fujitsu, вручную полированные японскими девственницами, по соответствующей цене (+100% к SKU без нужной сертификации). Аналогичная хрень с сетевой частью, сначала для RDMA была ROCE рекомендована, этой Roce наплодили кучу версий, поддержка в коммутаторах в зависимости от фазы Луны, потом MS переобулась в полёте, теперь рекомендован iWARP, а реализации с Roce стали выхватывать проблем при обновлениях. Если у вас опыта нет, лучше начать с классики - FC/ISCSI полки, обычный 10G без извращенных удовольствий джентльменов, за классикой в эксплуатации не требуется перманентно бегать вокруг с ведром и тряпкой, подтирая отходы жизнедеятельности.

Мы прошли долгую эволюцию. Пробовали iSCSI, FC, SAS. Честно говоря, внешние хранилища нас не порадовали. Они тоже дохнут. И когда они дохнут, то восстановить их почти не реально. А еще у них низкая пропускная способность и большие задержки. По этому мы пришли к распределенным СХД. Отказоустойчивость виртуалки реализуется кластером. Но, когда виртуалка перескочила на другой сервер, то за ней должен переместиться диск. Внешний диск упирается в скорость интерфейса. Даже FC не так быстр, особенно когда он делится на всех, а стоит как звездолет. Хотим попробовать S2D. Не получится S2D, поставим полку с FC. Пока планируем на сервер поставить 4 HD SAS 10TB (меньше не нашли) и 2 NVME 1TB (samsung pro больше не делает) под кеш. И по одному NVME 1TB для системы и сервисов. Вроде как по требованиям MS должно хватить. 10% под кеш маловато, но так получилось. Это минимально допустимо. Как запихнуть 3 NVME в 1U сервер HP360, который не умеет делить pcie шину я расскажу только за пиво, уж больно много клеток мозга было потрачено на эту задачу.

[jffulcrum]

Ну тогда я бы посоветовал взять как подложку более зрелое решение вроде Nutanix, а уже на ней - ВМ с виндой. 

 

9 минут назад, AlexPan сказал:

2 NVME 1TB (samsung pro больше не делает)

 

Samsung норм, а вот с Micron были проблемы с SS

[AlexPan]

Мы рассматривали в свое время Nutanix, но что то не завелось. С железом не дружило. Спецов с опытом, что бы обменяться, тоже почти нет.

 

Могу сказать, что мы параллельно запускаем кластер с Ceph и Nebula, но это совсем другая история!

[jffulcrum]

@AlexPan ну ладно, я предупредил, что все сырое как дрова и вендор переобувается в полёте. Сам Storage пул уже создали, компоненты кластера поставили? Что в сетевой части, карты и свитч?

[AlexPan]

Честно говоря пока только готовимся. Может даже кому нибудь дали бы порулить! Я уже говорил, что мы Линуксоиды и в этой винде, как свинья в апельсинах...

 

По сетевой части все хорошо. Каждый сервер имеет 4x10G-T интерфейса, которые попарно идут в 2 свитча Juniper 4550. Вернее 2 ноды идут в 2 свитча в одном ЦОД, а 1 нода идет в 2 свитча в другом ЦОД. 2 свитча соединены 128G. Пары свитчей соединены между собой 2 линками DWDM по 4x10G. Там для каждого соединения 2x10G из одного DWDM и 2x10G из другого DWDM. Короче, везде с запасом!

[jffulcrum]

41 минуту назад, AlexPan сказал:

4x10G-T интерфейса

Модель контроллера?

 

41 минуту назад, AlexPan сказал:

2 свитча Juniper 4550

Не нахожу у них в features поддержки PFC, без нее ROCE не будет нормально работать. Будем надеяться, что у ваших карточек есть iWarp, иначе вам нужны 4600

 

41 минуту назад, AlexPan сказал:

Я уже говорил, что мы Линуксоиды и в этой винде, как свинья в апельсинах...

О-о, вы познаете Могучий АДъ ака Power Shell. Вы в нём будете долбить команды так, что Linux покажется легкой прогулкой, ибо всё S2D настраивается нормально пока только с консоли. Запасайтесь клавиатурами.

[AlexPan]

Там 2 карточки.

1. 700699-B21 HP Ethernet 10Gb 2-port 561FLR-T Adapter

2. Обычная карточка Intel OEM PCI-Express X540-T2 10G Dual RJ45 Ports Ethernet Network Adapter

[FATHER_FBI]

18 часов назад, AlexPan сказал:

Мы рассматривали в свое время Nutanix, но что то не завелось. С железом не дружило. Спецов с опытом, что бы обменяться, тоже почти нет.

Вроде как на офф сайте все внятно расписано, главное условие это наличие хотя бы одного ССД на 200ГБ и диски должны быть включены в HBA

[AlexPan]

Даже если поставить Nutanix, то это не решит вопрос где разворачивать всякие контроллеры домена и другую виндовую автоматизацию...

[jffulcrum]

10 часов назад, AlexPan сказал:

Обычная карточка Intel OEM PCI-Express X540-T2 10G Dual RJ45 Ports Ethernet Network Adapter

https://ark.intel.com/content/www/us/en/ark/products/68677/intel-ethernet-server-bypass-adapter-x540-t2.html - нет iWarp поддержки. В общем, собрать попробовать можно, но в продакшен не пойдет, можно напороться на отвалы пулов по таймаутам.

[AlexPan]

20 часов назад, jffulcrum сказал:

https://ark.intel.com/content/www/us/en/ark/products/68677/intel-ethernet-server-bypass-adapter-x540-t2.html - нет iWarp поддержки. В общем, собрать попробовать можно, но в продакшен не пойдет, можно напороться на отвалы пулов по таймаутам.

Действительно!

Эти Intel® Ethernet Адаптеры в настоящее время Поддержка iWARP:

Intel® Сетевой адаптер Ethernet X722-DA2

Intel® Сетевой адаптер Ethernet X722-DA4

 

И засада даже не в том, что адаптер надо покупать, а в том, что они все только под SFP+ и 10G-T не поддерживают! Ставить еще 2 Джуна с оптическими портами вообще не хочется!

 

Видимо надо смотреть модули SFP+ с подключением медного кабеля.

[edo]

В 04.09.2020 в 18:51, AlexPan сказал:

2 NVME 1TB (samsung pro больше не делает) под кеш

ставить десктопные ssd на сервера ИМХО не самая лучшая идея

[AlexPan]

12 минут назад, edo сказал:

ставить десктопные ssd на сервера ИМХО не самая лучшая идея

Pro не совсем десктопные. По скорости отличные. По надежности тоже вполне устраивают. А какие именно вы предлагаете использовать?

[FATHER_FBI]

4 часа назад, AlexPan сказал:

Видимо надо смотреть модули SFP+ с подключением медного кабеля.

Там конский ценник https://shop.nag.ru/catalog/01891.moduli-sfp/23654.snr-sfpt

Или вы хотите оптику в медь перевести? Тогда это только 10ГБ медиаконверторы

Edited September 6, 2020 by FATHER_FBI

[AlexPan]

1 минуту назад, FATHER_FBI сказал:

Там конский ценник https://shop.nag.ru/catalog/01891.moduli-sfp/23654.snr-sfpt

У китайцев это стоит $40

[edo]

В 06.09.2020 в 19:31, AlexPan сказал:

Pro не совсем десктопные. По скорости отличные. По надежности тоже вполне устраивают. А какие именно вы предлагаете использовать?

которые с защитой по питанию (читай серверные). это даёт быстрый sync, на некоторых нагрузках это критично

 

https://docs.google.com/spreadsheets/d/1E9-eXjzsKboiCCX-0u0r5fAjjufLKayaut_FOPxYZjc/edit?hl=en#gid=0

смотреть столбец juornal iops. разрыв между условной 1000 iops для десктопных и 30000 iops для серверных сразу бросается в глаза (есть и исключения, но общая картина именно такая)

[Comgold]

В 03.09.2020 в 11:07, AlexPan сказал:

Периодически возникает необходимость что нибудь запускать под Windows. Так как мы в МосЛайн все Линуксовые, то Винда стоит только на рабочих компах. В свое время пытались перейти на десктопный линукс, но решили, что проще поставить Винду, чем обучать персонал. Работа под Линукс вызывала слишком много вопросов, а с Виндой все умели по умолчанию. Теперь примерно так же доросли до серверных задач. Мы конечно подняли 1С на Линукс, но каждый раз инженеры 1С выпадают от такой конфигурации в осадок. Винду тоже не помешало бы настроить под контроллер домена и что там еще в этой Винде есть. Так как теперь можно там VPS настроить, то и совсем хорошо. А уж распеределенная СХД Storage Spaces Direct (S2D) вообще интересно. Честно говоря до сих пор Линуксовую Ceph до ума не довели. Посему решили собрать кластер из 3 нод. Честно говоря эта Серверная Винда для нас зверюга новая. По этому хотелось бы сразу найти людей с опытом эксплуатации кластеров и S2D. Не хочется начинать с нуля и разбираться в тонкостях. Благодарность наша не будет иметь границ, в пределах разумного! Готовы будем потом поделиться тут опытом реализации этого проекта.

Добрый день причастным.

Спасибо за обсуждение.

Сам пришел к такому решению, и хотел нагуглить, вдруг кто чего делал.

 

В итоге получилось что, или из за iWARP не срослось? Думаю поднимать сервера в кластере на амд и софтовом рейде 10 на NVMe PCIe 4.0 5Gb/s read/write. За счет рейда TBW будет 1500Тб, что на первое время должно хватит.

[AlexPan]

Все в итоге получилось. Работает отменно. Сейчас хочу еще 3 сервера в кластер включить. Изначально планировался кластер на винде из 3 серверов. Кластер на linux из 3 серверов. Кластер на Linux в лабе для пробования разных решений. Из всего сделан и работает только виндовый. С линуксовыми инженеры все мозги по полу размазывают. А мне не кластеры нужны, мне сервисы на этих кластерах нужны. А тут то дисковую подсистему не понятно на чем делать, то другое не сростается. Короче, не умеют они кластеры делать. Взяли человека который умеет, так он вместо сборки кластера занимается уже не первый месяц изучением как их собирать. Гиблое дело! Короче, решили собрать все на винде и виртуалки под Линуксом тоже на нем запускать! Прелесть именно в том, что надо просто взять и развернуть, а не собирать из дерьма и палок. 

[Comgold]

6 часов назад, AlexPan сказал:

Все в итоге получилось. Работает отменно. Сейчас хочу еще 3 сервера в кластер включить. Изначально планировался кластер на винде из 3 серверов. Кластер на linux из 3 серверов. Кластер на Linux в лабе для пробования разных решений. Из всего сделан и работает только виндовый. С линуксовыми инженеры все мозги по полу размазывают. А мне не кластеры нужны, мне сервисы на этих кластерах нужны. А тут то дисковую подсистему не понятно на чем делать, то другое не сростается. Короче, не умеют они кластеры делать. Взяли человека который умеет, так он вместо сборки кластера занимается уже не первый месяц изучением как их собирать. Гиблое дело! Короче, решили собрать все на винде и виртуалки под Линуксом тоже на нем запускать! Прелесть именно в том, что надо просто взять и развернуть, а не собирать из дерьма и палок. 

Отличные новости!  А сеть на Ethernet X722-DA4 и коммутаторах с оптикой, или через переходники все заработало?

Edited February 23, 2021 by Comgold

[edo]

В 03.09.2020 в 11:07, AlexPan сказал:

Так как мы в МосЛайн все Линуксовые

 

12 часов назад, AlexPan сказал:

С линуксовыми инженеры все мозги по полу размазывают

 

12 часов назад, AlexPan сказал:

Прелесть именно в том, что надо просто взять и развернуть, а не собирать из дерьма и палок. 

OMG

 

что же у вас там за инженеры такие? возьмите толкового студента, он вам за несколько дней поднимет кластер на proxmox. это если он этот проксмокс первый раз видит, если не первый — через пару часов уже можно будет виртуалки запускать.

[Alex Frolov]

Добрый день!
Только закончили поднимать S2D, пока для теста 2 ноды на старых Supermicro на каждой по 2 карточки 10Gb SPF+ с поддержкой RDMA, 4 SAS диска по 4ТБ и 2 SSD SAS диска по 960Гб, воткнуто всё в Arista DCS-7050S-64-F, RDMA заработало без всяких настроек и танцев с бубном, при нагрузке скорость записи на диск 1320 Мб/с, чтения 1540Мб/с, что значительно быстрее нашей HP6300 которая стоит как самолёт :( . Единственный минус который пока есть это при переходе роли SOFS с ноды на ноду перезапускаются сайты которые лежат в общей папке, но возможно так и должно быть :)