[AlexPan]

8 часов назад, edo сказал:

 

 

OMG

 

что же у вас там за инженеры такие? возьмите толкового студента, он вам за несколько дней поднимет кластер на proxmox. это если он этот проксмокс первый раз видит, если не первый — через пару часов уже можно будет виртуалки запускать.

Ну, примерно так они кластером и занимаются. А давайте вот так, а давайте вот сяк. А давайте proxmox... Давайте! А какую файловую систему будем ставить? Ну давайте такую. А там настроек мульен. Давайте еще пару месяцев будем разбираться. В начале всегда все просто, а как начинают делать, то полная жопа огурцов! Промышленный кластер и proxmox на домашнем компе - несколько разные задачи!!!

[RialCom.ru]

так вроде PRX там можно купить поддержку

[AlexPan]

1 час назад, RialCom.ru сказал:

так вроде PRX там можно купить поддержку

Можно попроще перефразировать... Что есть PRX и поддержку чего там можно купить?

[RialCom.ru]

A Proxmox VE Subscription

[AlexPan]

6 минут назад, RialCom.ru сказал:

A Proxmox VE Subscription

Как система виртуализации Proxmox не самый убогий вариант, хотя и лучшим назвать не получится. Вот только для виртуалок еще нужна дисковая подсистема. Так как я уже видел дохлую полку, то одину железную хранилку больше не хочется. Всякие распределенные системы типа Ceph зело задумчивы, что для кластера смертельно! Ну и какие варианты? Вариантов конечно море, но все это сборный компот. Будет оно работать или не будет - вот в чем вопрос! Nutanix был бы вариантом, если бы не космический ценник! А у винды есть готовый комплект, который можно поставить и возрадоваться! Не думал, что когда нибудь стану адептом винды, однако мне полученный вариант в принципе понравился...

[Comgold]

14 часов назад, Alex Frolov сказал:

Добрый день!
Только закончили поднимать S2D, пока для теста 2 ноды на старых Supermicro на каждой по 2 карточки 10Gb SPF+ с поддержкой RDMA, 4 SAS диска по 4ТБ и 2 SSD SAS диска по 960Гб, воткнуто всё в Arista DCS-7050S-64-F, RDMA заработало без всяких настроек и танцев с бубном, при нагрузке скорость записи на диск 1320 Мб/с, чтения 1540Мб/с, что значительно быстрее нашей HP6300 которая стоит как самолёт :( . Единственный минус который пока есть это при переходе роли SOFS с ноды на ноду перезапускаются сайты которые лежат в общей папке, но возможно так и должно быть :)

В продакшн рекомендуется минимум 4 ноды. Бренды минимально такую конфигурацию при продаже готовы поддерживать. На реддите есть описания краша S2D из двух нод. А если сопоставить IOPS, которую мне даст сервер на AMD и NVMе и S2D, с ценами на брендовые схд с такими же IOPS, то 4 вин датацентра и сервера за полтора ляма влезают с большим запасом.

[edo]

2 часа назад, AlexPan сказал:

Всякие распределенные системы типа Ceph зело задумчивы

да вроде как не так уж и «зело». конечно, если сравнивать с локальным накопителем, то не особо быстро, но задержки не выше 1мс и сотни тысяч iops вполне доступны

https://yourcmc.ru/git/vitalif/vitastor#user-content-example-comparison-with-ceph например, описан тестовый конфиг, ничего фантастического

 

S2D ЕМНИП очень проигрывает цефу в плане гибкости расширения. но может выигрывать в производительности, не тестировал.

[taf_321]

9 часов назад, AlexPan сказал:

Всякие распределенные системы типа Ceph зело задумчивы,

У Ceph задумчивость вылазит когда из одной шкуры начинают кроить семь шапок - пытаются и клиентов и OSD лепить на GE портах, и, самое действенное в плане просадок, набивать дисками HDD как можно бОльше емкости. С внедрением производителями дисков технологии SMR получается реально адская смертельная комба. потому диски лучше ставить поменьше, но побольше. Если придерживаться правила что порты обязательно 10G и выше на всей цепочке, под OSD набивать SSD (можно намутить вполне эффективные рабочие схемы с медленными HDD + кэширование на быстрых SSD (при этом под каждый пул можно, в зависимости от профиля работы с данными использовать свою политику кежирования)), то и с отзывчивостью и с производительностью все будет отлично.

[RialCom.ru]

как вариант бюджетной схд - пару Synology зеркальных связать 10г и можно да же физически разнести, SSD кеш и дешманские диски дают вполне нормальный результат по скорости

iSCSI вполне пригодное внешнее хранилище

[jffulcrum]

У Ceph проблемы в основном с большим количеством мелких файлов на ней вылезают, если хостить только ВМ, то обычно норм на современном железе, а вот с контейнерами снова начнутся проблемы. Но в принципе на интенсивной записи проблемы с любой распределенным хранилищем можно поймать. У меня вот S2D на всплеске в 30000 IOPS сказал "кря" и ушёл в оффлайн, с падением всего, даже несмотря на NVME-кеши. Надо в Hyper-V лимиты задавать для машин, способных на такой выброс, типа SQL.

 

4 часа назад, RialCom.ru сказал:

как вариант бюджетной схд - пару Synology зеркальных связать 10г и можно да же физически разнести, SSD кеш и дешманские диски дают вполне нормальный результат по скорости

iSCSI вполне пригодное внешнее хранилище

так себе решение, недаром Synology для интересующихся вопросом стала чистые iSCSI SAN решения делать, вроде UC3200. Вот только цена там уже почти как у взрослых, чудес не бывает. Есть в эксплуатации iSCSI полки RS816, 3618 именно как дешман-хранилище - на последнюю пытались активную стору Exchange положить - при первом же применении политики к сторе получили i/o timeout, теперь только архивные хранятся. Вот UC3200 показала себя оч.хорошо, но там внутри другое железо, другая ОС, другая реализация RAID - ну так и 600К рупий за саму полку без дисков.

[RialCom.ru]

так я и предлагаю бюджетное, не требующее большого опыта - практически из коробки все взлетает

у нас под архив как раз используется

[Comgold]

7 часов назад, jffulcrum сказал:

У меня вот S2D на всплеске в 30000 IOPS сказал "кря" и ушёл в оффлайн, с падением всего, даже несмотря на NVME-кеши. Надо в Hyper-V лимиты задавать для машин, способных на такой выброс, типа SQL.

А можно поподробнее, на каком железе было S2D. 

[Alex A]

По Nutanix , есть два дешевых варианта: 1. Взять БУ 2. Взять новый как услугу.

 

 

[jffulcrum]

В 25.02.2021 в 21:59, Comgold сказал:

А можно поподробнее, на каком железе было S2D. 

6 нод Xeon W2265, 2 х NVME от Micron как кеш , 2х SATA SSD от Отсасунг , 2х HDD Toshiba, двухпортовые NIC HPE на Cavium чипах с iWARP. В общем-то, все честно - 30К IOPS оно врядли способно держать.

 

Повторять сетап не советую, ибо:

 

- процы такие - патаму что "Адыс Эсс", но в приниципе и для других приложений с выраженной зависимостью от IPS одного ядра, типа классической Java (без Tomcat) деваться некуда. Если у вас такого нет - вкладывайтесь в металлы ну или в Бобруйск Рязань

- NVME Micron - показали себя не очень. Ситуацию могло бы улучшить использование их фирменного NVME драйвера, но S2D такое не поддерживает. Берите Intel DC линейку, природу не обмануть

- SSD Отсасунг - ну в общем то оно самое. хорошего в принципе не жди, особенно если TRIM не работает (а он в S2D, как выяснилось, не работает). На что менять, даже не знаю пока, нужен новый стенд и эксперименты

- NIC такие экзотические - очень не хотелось Intel 700, да и по деньгам в них не влезали. Если есть бабло - берите Intel или Mellanox. Потому как мой в девичестве Brocade, потом QLogic, потом Cavium, сейчас вообще х.з. кто, лень в википедию лезть. Стабильности и перспективам развития драйверов такая передастия очень способствует, как понимаете.

[Comgold]

16 часов назад, jffulcrum сказал:

6 нод Xeon W2265, 2 х NVME от Micron как кеш , 2х SATA SSD от Отсасунг , 2х HDD Toshiba, двухпортовые NIC HPE на Cavium чипах с iWARP. В общем-то, все честно - 30К IOPS оно врядли способно держать.

 

Повторять сетап не советую, ибо:

 

- процы такие - патаму что "Адыс Эсс", но в приниципе и для других приложений с выраженной зависимостью от IPS одного ядра, типа классической Java (без Tomcat) деваться некуда. Если у вас такого нет - вкладывайтесь в металлы ну или в Бобруйск Рязань

- NVME Micron - показали себя не очень. Ситуацию могло бы улучшить использование их фирменного NVME драйвера, но S2D такое не поддерживает. Берите Intel DC линейку, природу не обмануть

- SSD Отсасунг - ну в общем то оно самое. хорошего в принципе не жди, особенно если TRIM не работает (а он в S2D, как выяснилось, не работает). На что менять, даже не знаю пока, нужен новый стенд и эксперименты

- NIC такие экзотические - очень не хотелось Intel 700, да и по деньгам в них не влезали. Если есть бабло - берите Intel или Mellanox. Потому как мой в девичестве Brocade, потом QLogic, потом Cavium, сейчас вообще х.з. кто, лень в википедию лезть. Стабильности и перспективам развития драйверов такая передастия очень способствует, как понимаете.

Спасибо за информацию. Склоняюсь к 16 ядерному эпику. Дешевые нвме самсунг - 20 штук в pcie16 слоты с адаптерами. Мать супермикро. Сетевухи интел. С восьмиканальной памятью по идее все в сумме должно неплохо шелестеть. И по деньгам не сильно дорого. Нвме придется менять почаще. Но конские ценники на серверные нвме тоже не вдохновляют.

Осталось дождаться доставки памяти, посмотрю на общую скорость. Пока собираю стенд на 32 ядерном тредрипере. Что из этой затеи получится отпишусь.

[edo]

В 03.03.2021 в 03:11, Comgold сказал:

Но конские ценники на серверные нвме тоже не вдохновляют.

разве? ЕМНИП цена за терабайт примерно одинаковая

 

при этом быстрый fsync (иногда это очень нужно) и стабильная производительность

 

 

В 02.03.2021 в 10:14, jffulcrum сказал:

- NVME Micron - показали себя не очень

а что именно не очень? есть такие, правда под linux (поэтому ни о каких драйверах от производителя речь не идёт), проблем нет

В 02.03.2021 в 10:14, jffulcrum сказал:

- SSD Отсасунг - ну в общем то оно самое

аналогично

В 02.03.2021 в 10:14, jffulcrum сказал:

особенно если TRIM не работает

подождите, вы сейчас о десктопных накопителях? на производительность dc накопителей trim обычно особо не влияет

[edo]

В 02.03.2021 в 10:14, jffulcrum сказал:

2 х NVME от Micron как кеш , 2х SATA SSD от Отсасунг

кэш для sata ssd? но зачем, latency у nvme практически не отличается

[jffulcrum]

18 часов назад, edo сказал:

а что именно не очень?

IOPS дают в базе вдвое меньше, чем Intel того же класса. Стоят при этом не вдвое.

 

18 часов назад, edo сказал:

подождите, вы сейчас о десктопных накопителях?

860 PRO, да.

 

18 часов назад, edo сказал:

кэш для sata ssd? но зачем, latency у nvme практически не отличается

Посчитали, что обычные SSD слишком быстро сточатся без NVME кеша.

[Comgold]

В 09.03.2021 в 02:42, edo сказал:

разве? ЕМНИП цена за терабайт примерно одинаковая

 

Я пытался собрать НР на NVMe. Там все не очень по скорости. В PCIe только RAID1 одна карта. В остальных вариантах рейд контроллеры не вытягивают по скорости. Потому что PCIe 3.0 вчерашний день. На Эпике с PCIE 4.0 поставить 20  NVMe в слоты и менять когда сточатся. У меня 1с ут с ячеистым складом. Там полумеры не помогуть.

[oller]

1 Ceph - скорость никакая!
2 Все в одной коробке это Vmware+vsan (microsoft в цене дороже сильно потому что нужный функционал в редакции датацентр с лицензиями и на ядра и на клиентов так еще и управлялка нормальная стоит денег немеренных ну и не слышал чтобы виндовый сервер аптайм года два хотябы имел!!!)
3 Nutanix - отсутсвие экспертов удурчает как минимум и жесткая зависимость от саппорта вендора
4 proxmox -хотите глюков-велком, любое обновление требует очень много чего, а нарваться на перезагрузку хаотичную кластера вообще без проблем почитайте telegramm канал, а точнее подпишитесь и месяцок почитайте вопросы, волосы дыбом встанут, от потери сетей до требований отрубить все

 

по NVME

я сишу на M2 самсунгов

U2 ценник космос и в первую очередь на hba и отсутсвие корзинок как класс

IOPS  - не ими едиными!

SSD SamSung pro как кэш к ZFS (а это 24*7 дрюканий) за год просел на 30% так что не так уж и плох он, только вот при линейной нагрузке исчерпаете 512MB кешь и выйдет тыква))) поэтому минимальный серверный PM серии

 

 

Все SQL вон из виртуализации, одна боль, особенно когда запрос тупо кладет оставшиеся виртуалки, мониторинг так и сыпет как ему херово

вообще всю высокую нагрузку из виртов!

 

HP как понял берут других производителей, уже проверенных и вешают шильдик с прошивкой

по чипам и характеристикам видно какое старье.

Изменено 12 марта, 2021 пользователем oller

[taf_321]

5 часов назад, oller сказал:

1 Ceph - скорость никакая!

Если собирать из говна и палок, да еще когда на ноды OSD что-то еще навешивают, то да. Выше я об этом говорил.

 

5 часов назад, oller сказал:

4 proxmox -хотите глюков-велком, любое обновление требует очень много чего, а нарваться на перезагрузку хаотичную кластера вообще без проблем почитайте telegramm канал, а точнее подпишитесь и месяцок почитайте вопросы, волосы дыбом встанут, от потери сетей до требований отрубить все

Расскажите как вы это делаете. Обновление всегда проходит в режиме "согнать все VM с ноды на соседей, apt-get update && apt-get dist-upgrade && apt-get autoremove, перегружаем, загоняем VM взад, повторяем для следующей ноды", процесс масштабируем горизонтально, главное чтобы было куда перемещать на VM и СТ на время работ. Работает всегда без сбоев на всем пути с 4.0 до текущей 6.3. Некоторое разнообразие происходит при мажорных обновлениях Ceph, но тоже все работы проходят без чудес и остановки сервисов.

[oller]

3 часа назад, taf_321 сказал:

Если собирать из говна и палок

вопрос в технологии, вы изначально ограничите скорость

Это все равно что сравнивать ZFS c Ext4, где у ZFS в перфомансе нет шансов!

 

3 часа назад, taf_321 сказал:

Расскажите как вы это делаете.

Почитайте телеграмм канал, не полинитесь;) я на проксмосе уже 5 лет и нахватался всего

3 часа назад, taf_321 сказал:

загоняем VM взад

Часто с простоем, раз в год стабильно ТРЕБУЕТСЯ обновление всего кластера, ну это исключая когда ваша нода как ресетом в ребут ушла и читая форум реккомендации обновиться и отрубить любые HA и прочее, а как вам ошибка с 14 Ubuntu, ну есть такой легаси у нас, где бывает потеря разделов в Proxmoxe - задиагностируйся называется))) Т.е. раздел есть-ребут-таблицы разделов нет, откатываем снапшот с ОЗУ - ребут -таблица на месте!!! -мистика и только. На форумах любая проблема решается первоначально обновлением кластера!!!! Не забудем что после ребута нескольких нод легко можно не найти кластер и если вы без HA можете получить не работающую виртуалку - Нет кворума) 

Как то было после обновления потеря PCI-E проброса с через месяц выкаткой решения, Недавнее обновление ломало сеть виндовую, меняя тип сети. оттестить все очень сложно, ты думаешь что проверив все работает, но после получаешь тыкву!

Конкурирующие IO не слышал proxmox, тупо ложит все

Инкрементальный бекап только завезли в глубокой демке, но отдельным продуктом и с клиентами только для Debian(и никаких убунт и rpm based)

А так если есть желание каждые полгода заглядывать под капот и рыть непокладая рук-велком в Proxmox

 

 

 

PS кластер был из 10 нод + 2 кластера 3 и 5 нод

Да, не забудьте что при обязательном обновлении вам нужно будет думать куда девать CEPH)))) или Gluster или DRBD, ибо новая версия пакета все сломает с неизвестными перспективами, т.е. вам нужна полноценная миграция, а не простой как вы говорите apt-get dist-upgrade 

 

PS конечно есть камикадзе, которые грейдят CEPH на живую - удачи им ! Для неверующих что удачи, загляните в простыню конфига цепха с частью не комментированных опций

 

бекапы штатные становящиеся зомби это стандарт раз в год, отсюда миграции и вывод из оборота с ресетом через IPMI!!!

Утечки памяти вообще вечная тема, он тупо не сбрасывает кеш и к примеру на машинке 512GB ОЗУ, а реально занято виртами 128GB, миграция не возможна без "echo 3 > /proc/sys/vm/drop_caches". Вообще крайне аккуратно нужно с любыми кешами в Proxmox иначе под капот будете лезть еще чаще

Что еще забыл? Да много чего по мелочам и не только

 

Если что сижу еще со 2й версии;) на днях остатки кластера обновил до последних, но это не upgrade со второй изначально, а переустановленный 4й и далее upgrade с муками обновления corosync и постоянным чтением changelog и изучением документации по обновлению к каждой вышедшей версии

 

Кластер нужно часто обновлять весь, т/е/ не одну ноду, одна нода может в лучшем случае не дать мигрироваться, в худшем бывали случаи просто выключение машинки во время миграции без предупреждения (при базе данных может быть оргазмом)

 

 

Почитайте Телегу, она одна из самых активных в рунете, наверное от качества продукта видать)))

Изменено 12 марта, 2021 пользователем oller

[oller]

Да винда на проксмоксе работает медленее гораздо чем на Hypper-V томже или Vmware, ну правда загнал я ее на совсем древнее железо

[taf_321]

Не знаю что вы за пять лет нахватались на проксмоксе, но вижу что ничего хорошего.

 

Такое подозрение, что мы пользуемся совершенно разными продуктами, по странному стечению обстоятельств имеющие вназвании одинаковые буквосочетания. У меня есть в эксплуатации 14-я бубунта с элтексовским NMS/ACS внутри, работает, разделы не теряет. Не прибитые к хостовому железу виртуалки _без_ простоя мигрируют с ноды на ноду, когда надо провести работы на ноже или отбалансировать нагрузку. Кворум у кластера не теряется, ноды после ребута в кластер всегда возвращаются. Виртуалки с виндой (и семерка, и десятка, и серверные 2016-2018) сеть не теряют, хотя кластер под ними сменился с 5.0 до последней 6.3. Бэкапы в проксе это да. Хотя решается сриптецом килобайт на 5. Даже им пользовался некоторое время. но потом решил делать бэкапы в ином ключе.

 

Проводил живое обновление CEPH с версии 0.80 кажется. Там одно серьезное требование - внимательное чтение достаточно простой инструкции официальной документации. Может быть причина того, что у меня работает в том что я таки смотрю документацию, а не некую "телегу", где клубятся "знатоки"?

1 час назад, oller сказал:

в худшем бывали случаи просто выключение машинки во время миграции без предупреждения 

Вы извините, но при чем тут кластер, если у вас проблемы с железом?

[oller]

12 минут назад, taf_321 сказал:

вас проблемы с железом?

Проблемы с миграцией  с одной версии пакетов ноды на другие версии пакетов после обновления

нет проблем с железом

 

Проблема с виндами не у меня была - это в чате проксмокса у группы пользователей

 

 

но потом решил делать бэкапы в ином ключе   - все так решают по иному!

 

Кворум у кластера не теряется - почитайте чат а))) прям я такой один и других нет)

 

а так шикарно, что у вас все хорошо, я за это безумно рад!!!

 

PS спор бессмысленен!

считаю нужно закончить с ним

это мой отзыв, у каждого свой путь