Перейти к содержимому
Калькуляторы

Кластер для виртуальных серверов и samba

кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

возможно

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Наврядли кто-то даст детальный совет без четких технических требований и сопутствующих деталей.

P.S. raid внутри виртуалки по определению будет жрать больше проца из-за накладных расходов виртуализации

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Отдельно хранилище виртуалок через NFS. А сами хосты, один только ssd, для загрузки ос.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки?

Будет работать.

Крутил 5 виртуалок (sql,samba,dc,pdc,шлюз) на одном SATA 4ТБ на другом SATA был сам proxmox и бекапы на нем хранил, AMD FX8120 и 16ГБ оперативы. диски с виртуалками были под DRBD.

samba для 1С в моем случае сильно тормозила. перенес 1С на зеркало SSD.От DRBD отказался совсем. И т.к. диски вылетали часто, то пришлось железный RAID поставить и сервак нормальный с горячей заменой дисков )).

Вся проблема будет в IOPS которые нужны виртуалкам. cacti будет рисовать картинки для какого числа портов и как часто? zabbix тоже рисует картинки.

ВОбщем если куча обращений к RAID будет, то iowait высокий вылезет ну и тормоза соответственно будут у всех виртуалок на этом RAID.

используйте virtio дрова для дисков и сетевух. cache=writeback для дисков при добавлении дисков в виртуалки. в виртуалки можно пробрасывать целиком раздел диска.

производительность виртуалки linux по iops почти не просядет по сравнению с хостовым линукс. Виртуалка centos5 жрала процессор сильнее чем centos6 при прокачке сетевого трафика через нее. видимо сетевой стек у Co6 более оптимальный.

 

Для тестов IOPS утилита fio под Linux Вам в помощь. sqlio под Win.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Cacti рисует графики, опрос раз в 5 минут, заббих графики создаёт при необходимости, через вкладку последние данные

 

Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой

 

Сервак стоечный, горячая замена есть

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой

Ждал что в 4 ой ветке DRBD из каробки будет заводится - не свершилось его выкинули совсем из проксмокс - конфликты с разрабами DRBD.

а так - DRBD два раза выручала. да и сам переезд виртуалок "мгновенный".

DRBD по сети отберет IOPS ы. может быть новая версия DRBD не сожрет IOPS ы - не знаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена

дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно.

админка тупо запускает виртуалку через kvm со списком ключей и параметров.

Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии.

DRBD на одинаковых разделах запускается.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена

дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно.

админка тупо запускает виртуалку через kvm со списком ключей и параметров.

Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии.

DRBD на одинаковых разделах запускается.

 

понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

 

понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox)

drbd в виртуалке - только для тестов?

как соберете drbd в хосте, тестаните на iops раздел поверх drbd и раздел поверх диска для сравнения. в тестах fio обращайте внимание на latency

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

я для DRBD на 3 версии pm делал режим pri-sec и последствия сплит брайн как бы уходят.

Все виртуалки соотвественно прибиты к одной ноде на которой pri. Для миникластера сойдет.

Важно даже не HA иметь, а возможность быстро запуститься на резервной ноде с актуальными данными.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Связку с УПСом для Zfs видимо нужно настраивать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Связку с УПСом для Zfs видимо нужно настраивать.

 

Зачем?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

плохо zfs при отключении питания. как и xfs.

 

аа, ну с этим норм, ИБП почти 2 дня держит

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

плохо zfs при отключении питания. как и xfs.

 

Пруфы есть?

У меня на FreeBSD ZFS работает больше 5 лет.

Пока что главные враги ZFS - аппаратные RAID и производители винтов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пока что главные враги ZFS - аппаратные RAID

гхм... а как аппаратный рейд может мешать zfs?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну и живую миграцию попробовать говорят если железо разное то все плохо

Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер, 2 - влезало в хост по памяти, 3 - был одинаковый набор дисковых накопителей. У меня данные размещаются в хранилище на CEPH, перекидка виртуалки с ноды на ноду занимает от 30 до 80 мс, что-то заподозрить успевает только работающий внутри виртуалки ntpd.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер

читал, что в kvm можно делать live migration даже между intel и amd

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

читал, что в kvm можно делать live migration даже между intel и amd

Если для виртуалки процессор указан как kvm64, то да, без проблем прыгает с ноды на ноду с разными процессорами. Но там тоже надо следить за количеством имеющихся и запрашиваемых ядер.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

таков вопрос, можно ли сначала сделать один сервер, на нем все поднять, а потом перевести сервис на него и поднять второй? может есть какой мануал?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

т.е. у меня сейчас все на 1 linux сервере, я на второй накатываю proxmox и на него все накатываю

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.