Jump to content
Калькуляторы

Создание кластера Windows Server 2019 из 3 нод с СХД Storage Spaces Direct (S2D)

8 часов назад, edo сказал:

 

 

OMG

 

что же у вас там за инженеры такие? возьмите толкового студента, он вам за несколько дней поднимет кластер на proxmox. это если он этот проксмокс первый раз видит, если не первый — через пару часов уже можно будет виртуалки запускать.

Ну, примерно так они кластером и занимаются. А давайте вот так, а давайте вот сяк. А давайте proxmox... Давайте! А какую файловую систему будем ставить? Ну давайте такую. А там настроек мульен. Давайте еще пару месяцев будем разбираться. В начале всегда все просто, а как начинают делать, то полная жопа огурцов! Промышленный кластер и proxmox на домашнем компе - несколько разные задачи!!!

Share this post


Link to post
Share on other sites
1 час назад, RialCom.ru сказал:

так вроде PRX там можно купить поддержку

Можно попроще перефразировать... Что есть PRX и поддержку чего там можно купить?

Share this post


Link to post
Share on other sites
6 минут назад, RialCom.ru сказал:

A Proxmox VE Subscription

Как система виртуализации Proxmox не самый убогий вариант, хотя и лучшим назвать не получится. Вот только для виртуалок еще нужна дисковая подсистема. Так как я уже видел дохлую полку, то одину железную хранилку больше не хочется. Всякие распределенные системы типа Ceph зело задумчивы, что для кластера смертельно! Ну и какие варианты? Вариантов конечно море, но все это сборный компот. Будет оно работать или не будет - вот в чем вопрос! Nutanix был бы вариантом, если бы не космический ценник! А у винды есть готовый комплект, который можно поставить и возрадоваться! Не думал, что когда нибудь стану адептом винды, однако мне полученный вариант в принципе понравился...

Share this post


Link to post
Share on other sites
14 часов назад, Alex Frolov сказал:

Добрый день!
Только закончили поднимать S2D, пока для теста 2 ноды на старых Supermicro на каждой по 2 карточки 10Gb SPF+ с поддержкой RDMA, 4 SAS диска по 4ТБ и 2 SSD SAS диска по 960Гб, воткнуто всё в Arista DCS-7050S-64-F, RDMA заработало без всяких настроек и танцев с бубном, при нагрузке скорость записи на диск 1320 Мб/с, чтения 1540Мб/с, что значительно быстрее нашей HP6300 которая стоит как самолёт :( . Единственный минус который пока есть это при переходе роли SOFS с ноды на ноду перезапускаются сайты которые лежат в общей папке, но возможно так и должно быть :)

В продакшн рекомендуется минимум 4 ноды. Бренды минимально такую конфигурацию при продаже готовы поддерживать. На реддите есть описания краша S2D из двух нод. А если сопоставить IOPS, которую мне даст сервер на AMD и NVMе и S2D, с ценами на брендовые схд с такими же IOPS, то 4 вин датацентра и сервера за полтора ляма влезают с большим запасом.

Share this post


Link to post
Share on other sites
2 часа назад, AlexPan сказал:

Всякие распределенные системы типа Ceph зело задумчивы

да вроде как не так уж и «зело». конечно, если сравнивать с локальным накопителем, то не особо быстро, но задержки не выше 1мс и сотни тысяч iops вполне доступны

https://yourcmc.ru/git/vitalif/vitastor#user-content-example-comparison-with-ceph например, описан тестовый конфиг, ничего фантастического

 

S2D ЕМНИП очень проигрывает цефу в плане гибкости расширения. но может выигрывать в производительности, не тестировал.

Share this post


Link to post
Share on other sites
9 часов назад, AlexPan сказал:

Всякие распределенные системы типа Ceph зело задумчивы,

У Ceph задумчивость вылазит когда из одной шкуры начинают кроить семь шапок - пытаются и клиентов и OSD лепить на GE портах, и, самое действенное в плане просадок, набивать дисками HDD как можно бОльше емкости. С внедрением производителями дисков технологии SMR получается реально адская смертельная комба. потому диски лучше ставить поменьше, но побольше. Если придерживаться правила что порты обязательно 10G и выше на всей цепочке, под OSD набивать SSD (можно намутить вполне эффективные рабочие схемы с медленными HDD + кэширование на быстрых SSD (при этом под каждый пул можно, в зависимости от профиля работы с данными использовать свою политику кежирования)), то и с отзывчивостью и с производительностью все будет отлично.

Share this post


Link to post
Share on other sites

как вариант бюджетной схд - пару Synology зеркальных связать 10г и можно да же физически разнести, SSD кеш и дешманские диски дают вполне нормальный результат по скорости

iSCSI вполне пригодное внешнее хранилище

Share this post


Link to post
Share on other sites

У Ceph проблемы в основном с большим количеством мелких файлов на ней вылезают, если хостить только ВМ, то обычно норм на современном железе, а вот с контейнерами снова начнутся проблемы. Но в принципе на интенсивной записи проблемы с любой распределенным хранилищем можно поймать. У меня вот S2D на всплеске в 30000 IOPS сказал "кря" и ушёл в оффлайн, с падением всего, даже несмотря на NVME-кеши. Надо в Hyper-V лимиты задавать для машин, способных на такой выброс, типа SQL.

 

4 часа назад, RialCom.ru сказал:

как вариант бюджетной схд - пару Synology зеркальных связать 10г и можно да же физически разнести, SSD кеш и дешманские диски дают вполне нормальный результат по скорости

iSCSI вполне пригодное внешнее хранилище

так себе решение, недаром Synology для интересующихся вопросом стала чистые iSCSI SAN решения делать, вроде UC3200. Вот только цена там уже почти как у взрослых, чудес не бывает. Есть в эксплуатации iSCSI полки RS816, 3618 именно как дешман-хранилище - на последнюю пытались активную стору Exchange положить - при первом же применении политики к сторе получили i/o timeout, теперь только архивные хранятся. Вот UC3200 показала себя оч.хорошо, но там внутри другое железо, другая ОС, другая реализация RAID - ну так и 600К рупий за саму полку без дисков.

Share this post


Link to post
Share on other sites

так я и предлагаю бюджетное, не требующее большого опыта - практически из коробки все взлетает

у нас под архив как раз используется

Share this post


Link to post
Share on other sites
7 часов назад, jffulcrum сказал:

У меня вот S2D на всплеске в 30000 IOPS сказал "кря" и ушёл в оффлайн, с падением всего, даже несмотря на NVME-кеши. Надо в Hyper-V лимиты задавать для машин, способных на такой выброс, типа SQL.

А можно поподробнее, на каком железе было S2D. 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now