Jump to content
Калькуляторы

Кластер для виртуальных серверов и samba

кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки?

Share this post


Link to post
Share on other sites

Наврядли кто-то даст детальный совет без четких технических требований и сопутствующих деталей.

P.S. raid внутри виртуалки по определению будет жрать больше проца из-за накладных расходов виртуализации

Share this post


Link to post
Share on other sites

Отдельно хранилище виртуалок через NFS. А сами хосты, один только ssd, для загрузки ос.

Share this post


Link to post
Share on other sites

кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки?

Будет работать.

Крутил 5 виртуалок (sql,samba,dc,pdc,шлюз) на одном SATA 4ТБ на другом SATA был сам proxmox и бекапы на нем хранил, AMD FX8120 и 16ГБ оперативы. диски с виртуалками были под DRBD.

samba для 1С в моем случае сильно тормозила. перенес 1С на зеркало SSD.От DRBD отказался совсем. И т.к. диски вылетали часто, то пришлось железный RAID поставить и сервак нормальный с горячей заменой дисков )).

Вся проблема будет в IOPS которые нужны виртуалкам. cacti будет рисовать картинки для какого числа портов и как часто? zabbix тоже рисует картинки.

ВОбщем если куча обращений к RAID будет, то iowait высокий вылезет ну и тормоза соответственно будут у всех виртуалок на этом RAID.

используйте virtio дрова для дисков и сетевух. cache=writeback для дисков при добавлении дисков в виртуалки. в виртуалки можно пробрасывать целиком раздел диска.

производительность виртуалки linux по iops почти не просядет по сравнению с хостовым линукс. Виртуалка centos5 жрала процессор сильнее чем centos6 при прокачке сетевого трафика через нее. видимо сетевой стек у Co6 более оптимальный.

 

Для тестов IOPS утилита fio под Linux Вам в помощь. sqlio под Win.

Edited by QWE

Share this post


Link to post
Share on other sites

Cacti рисует графики, опрос раз в 5 минут, заббих графики создаёт при необходимости, через вкладку последние данные

 

Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой

 

Сервак стоечный, горячая замена есть

Share this post


Link to post
Share on other sites

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

Share this post


Link to post
Share on other sites

Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой

Ждал что в 4 ой ветке DRBD из каробки будет заводится - не свершилось его выкинули совсем из проксмокс - конфликты с разрабами DRBD.

а так - DRBD два раза выручала. да и сам переезд виртуалок "мгновенный".

DRBD по сети отберет IOPS ы. может быть новая версия DRBD не сожрет IOPS ы - не знаю.

Share this post


Link to post
Share on other sites

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена

дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно.

админка тупо запускает виртуалку через kvm со списком ключей и параметров.

Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии.

DRBD на одинаковых разделах запускается.

Edited by QWE

Share this post


Link to post
Share on other sites

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена

дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно.

админка тупо запускает виртуалку через kvm со списком ключей и параметров.

Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии.

DRBD на одинаковых разделах запускается.

 

понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox)

Share this post


Link to post
Share on other sites

 

 

понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox)

drbd в виртуалке - только для тестов?

как соберете drbd в хосте, тестаните на iops раздел поверх drbd и раздел поверх диска для сравнения. в тестах fio обращайте внимание на latency

Share this post


Link to post
Share on other sites

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

Share this post


Link to post
Share on other sites

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

я для DRBD на 3 версии pm делал режим pri-sec и последствия сплит брайн как бы уходят.

Все виртуалки соотвественно прибиты к одной ноде на которой pri. Для миникластера сойдет.

Важно даже не HA иметь, а возможность быстро запуститься на резервной ноде с актуальными данными.

Share this post


Link to post
Share on other sites

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Share this post


Link to post
Share on other sites

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Связку с УПСом для Zfs видимо нужно настраивать.

Share this post


Link to post
Share on other sites

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Связку с УПСом для Zfs видимо нужно настраивать.

 

Зачем?

Share this post


Link to post
Share on other sites

плохо zfs при отключении питания. как и xfs.

 

аа, ну с этим норм, ИБП почти 2 дня держит

Share this post


Link to post
Share on other sites

плохо zfs при отключении питания. как и xfs.

 

Пруфы есть?

У меня на FreeBSD ZFS работает больше 5 лет.

Пока что главные враги ZFS - аппаратные RAID и производители винтов.

Share this post


Link to post
Share on other sites

Пока что главные враги ZFS - аппаратные RAID

гхм... а как аппаратный рейд может мешать zfs?

Share this post


Link to post
Share on other sites

ну и живую миграцию попробовать говорят если железо разное то все плохо

Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер, 2 - влезало в хост по памяти, 3 - был одинаковый набор дисковых накопителей. У меня данные размещаются в хранилище на CEPH, перекидка виртуалки с ноды на ноду занимает от 30 до 80 мс, что-то заподозрить успевает только работающий внутри виртуалки ntpd.

Share this post


Link to post
Share on other sites

Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер

читал, что в kvm можно делать live migration даже между intel и amd

Share this post


Link to post
Share on other sites

 

читал, что в kvm можно делать live migration даже между intel и amd

Если для виртуалки процессор указан как kvm64, то да, без проблем прыгает с ноды на ноду с разными процессорами. Но там тоже надо следить за количеством имеющихся и запрашиваемых ядер.

Share this post


Link to post
Share on other sites

таков вопрос, можно ли сначала сделать один сервер, на нем все поднять, а потом перевести сервис на него и поднять второй? может есть какой мануал?

Share this post


Link to post
Share on other sites

т.е. у меня сейчас все на 1 linux сервере, я на второй накатываю proxmox и на него все накатываю

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this