[fractal]

кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки?

[RialCom.ru]

возможно

[nuclearcat]

Наврядли кто-то даст детальный совет без четких технических требований и сопутствующих деталей.

P.S. raid внутри виртуалки по определению будет жрать больше проца из-за накладных расходов виртуализации

[BETEPAH]

Отдельно хранилище виртуалок через NFS. А сами хосты, один только ssd, для загрузки ос.

[QWE]

кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки?

Будет работать.

Крутил 5 виртуалок (sql,samba,dc,pdc,шлюз) на одном SATA 4ТБ на другом SATA был сам proxmox и бекапы на нем хранил, AMD FX8120 и 16ГБ оперативы. диски с виртуалками были под DRBD.

samba для 1С в моем случае сильно тормозила. перенес 1С на зеркало SSD.От DRBD отказался совсем. И т.к. диски вылетали часто, то пришлось железный RAID поставить и сервак нормальный с горячей заменой дисков )).

Вся проблема будет в IOPS которые нужны виртуалкам. cacti будет рисовать картинки для какого числа портов и как часто? zabbix тоже рисует картинки.

ВОбщем если куча обращений к RAID будет, то iowait высокий вылезет ну и тормоза соответственно будут у всех виртуалок на этом RAID.

используйте virtio дрова для дисков и сетевух. cache=writeback для дисков при добавлении дисков в виртуалки. в виртуалки можно пробрасывать целиком раздел диска.

производительность виртуалки linux по iops почти не просядет по сравнению с хостовым линукс. Виртуалка centos5 жрала процессор сильнее чем centos6 при прокачке сетевого трафика через нее. видимо сетевой стек у Co6 более оптимальный.

 

Для тестов IOPS утилита fio под Linux Вам в помощь. sqlio под Win.

Edited July 8, 2017 by QWE

[fractal]

Cacti рисует графики, опрос раз в 5 минут, заббих графики создаёт при необходимости, через вкладку последние данные

 

Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой

 

Сервак стоечный, горячая замена есть

[fractal]

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

[QWE]

Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой

Ждал что в 4 ой ветке DRBD из каробки будет заводится - не свершилось его выкинули совсем из проксмокс - конфликты с разрабами DRBD.

а так - DRBD два раза выручала. да и сам переезд виртуалок "мгновенный".

DRBD по сети отберет IOPS ы. может быть новая версия DRBD не сожрет IOPS ы - не знаю.

[QWE]

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена

дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно.

админка тупо запускает виртуалку через kvm со списком ключей и параметров.

Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии.

DRBD на одинаковых разделах запускается.

Edited July 8, 2017 by QWE

[fractal]

сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку

 

ну и живую миграцию попробовать говорят если железо разное то все плохо

миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена

дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно.

админка тупо запускает виртуалку через kvm со списком ключей и параметров.

Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии.

DRBD на одинаковых разделах запускается.

 

понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox)

[QWE]

 

 

понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox)

drbd в виртуалке - только для тестов?

как соберете drbd в хосте, тестаните на iops раздел поверх drbd и раздел поверх диска для сравнения. в тестах fio обращайте внимание на latency

[paindrug]

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

[QWE]

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

я для DRBD на 3 версии pm делал режим pri-sec и последствия сплит брайн как бы уходят.

Все виртуалки соотвественно прибиты к одной ноде на которой pri. Для миникластера сойдет.

Важно даже не HA иметь, а возможность быстро запуститься на резервной ноде с актуальными данными.

[fractal]

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

[QWE]

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Связку с УПСом для Zfs видимо нужно настраивать.

[fractal]

Осторожнее с drbd - можно поймать splitbrain.

 

Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска.

 

HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума.

 

и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16

Связку с УПСом для Zfs видимо нужно настраивать.

 

Зачем?

[zhenya`]

плохо zfs при отключении питания. как и xfs.

[fractal]

плохо zfs при отключении питания. как и xfs.

 

аа, ну с этим норм, ИБП почти 2 дня держит

[vlad11]

плохо zfs при отключении питания. как и xfs.

 

Пруфы есть?

У меня на FreeBSD ZFS работает больше 5 лет.

Пока что главные враги ZFS - аппаратные RAID и производители винтов.

[edo]

Пока что главные враги ZFS - аппаратные RAID

гхм... а как аппаратный рейд может мешать zfs?

[taf_321]

ну и живую миграцию попробовать говорят если железо разное то все плохо

Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер, 2 - влезало в хост по памяти, 3 - был одинаковый набор дисковых накопителей. У меня данные размещаются в хранилище на CEPH, перекидка виртуалки с ноды на ноду занимает от 30 до 80 мс, что-то заподозрить успевает только работающий внутри виртуалки ntpd.

[edo]

Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер

читал, что в kvm можно делать live migration даже между intel и amd

[taf_321]

 

читал, что в kvm можно делать live migration даже между intel и amd

Если для виртуалки процессор указан как kvm64, то да, без проблем прыгает с ноды на ноду с разными процессорами. Но там тоже надо следить за количеством имеющихся и запрашиваемых ядер.

[fractal]

таков вопрос, можно ли сначала сделать один сервер, на нем все поднять, а потом перевести сервис на него и поднять второй? может есть какой мануал?

[fractal]

т.е. у меня сейчас все на 1 linux сервере, я на второй накатываю proxmox и на него все накатываю