fractal Опубликовано 8 июля, 2017 · Жалоба кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RialCom.ru Опубликовано 8 июля, 2017 · Жалоба возможно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 8 июля, 2017 · Жалоба Наврядли кто-то даст детальный совет без четких технических требований и сопутствующих деталей. P.S. raid внутри виртуалки по определению будет жрать больше проца из-за накладных расходов виртуализации Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BETEPAH Опубликовано 8 июля, 2017 · Жалоба Отдельно хранилище виртуалок через NFS. А сами хосты, один только ssd, для загрузки ос. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 8 июля, 2017 (изменено) · Жалоба кто подскажет есть ли возможность создать кластер из двух серверов - по процам разные, один i3, другой i5 на каждом по 32Gb памяти, 1 ssd 120Gb и 4x2Tb, смотрел в сторону proxmox ve, предполагаю на ssd ставить proxmox, на нее же виртуалку debian на которой будет крутится samba для samba подтянуть эти 4x2Tb в Raid10 под хранение, или поставить proxmox на ssd, через mdadm создать raid10 и уже на этот raid ставить виртуалки, cacti, zabbix, samba, windows server 2012 2 штуки? Будет работать. Крутил 5 виртуалок (sql,samba,dc,pdc,шлюз) на одном SATA 4ТБ на другом SATA был сам proxmox и бекапы на нем хранил, AMD FX8120 и 16ГБ оперативы. диски с виртуалками были под DRBD. samba для 1С в моем случае сильно тормозила. перенес 1С на зеркало SSD.От DRBD отказался совсем. И т.к. диски вылетали часто, то пришлось железный RAID поставить и сервак нормальный с горячей заменой дисков )). Вся проблема будет в IOPS которые нужны виртуалкам. cacti будет рисовать картинки для какого числа портов и как часто? zabbix тоже рисует картинки. ВОбщем если куча обращений к RAID будет, то iowait высокий вылезет ну и тормоза соответственно будут у всех виртуалок на этом RAID. используйте virtio дрова для дисков и сетевух. cache=writeback для дисков при добавлении дисков в виртуалки. в виртуалки можно пробрасывать целиком раздел диска. производительность виртуалки linux по iops почти не просядет по сравнению с хостовым линукс. Виртуалка centos5 жрала процессор сильнее чем centos6 при прокачке сетевого трафика через нее. видимо сетевой стек у Co6 более оптимальный. Для тестов IOPS утилита fio под Linux Вам в помощь. sqlio под Win. Изменено 8 июля, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 8 июля, 2017 · Жалоба Cacti рисует графики, опрос раз в 5 минут, заббих графики создаёт при необходимости, через вкладку последние данные Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой Сервак стоечный, горячая замена есть Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 8 июля, 2017 · Жалоба сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку ну и живую миграцию попробовать говорят если железо разное то все плохо Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 8 июля, 2017 · Жалоба Почему от drbd отказался? Мне хочется чтобы при выходе из строя одного сервера автоматом все перетекало на другой Ждал что в 4 ой ветке DRBD из каробки будет заводится - не свершилось его выкинули совсем из проксмокс - конфликты с разрабами DRBD. а так - DRBD два раза выручала. да и сам переезд виртуалок "мгновенный". DRBD по сети отберет IOPS ы. может быть новая версия DRBD не сожрет IOPS ы - не знаю. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 8 июля, 2017 (изменено) · Жалоба сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку ну и живую миграцию попробовать говорят если железо разное то все плохо миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно. админка тупо запускает виртуалку через kvm со списком ключей и параметров. Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии. DRBD на одинаковых разделах запускается. Изменено 8 июля, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 8 июля, 2017 · Жалоба сейчас у меня основной сервак основной упал, жду запчастей, на нем был debian, система на ssd, программный рейд 10 под все, samba виртуалки (zabbix, основной dc) в zabbix 16000, устройств 4900, свыше 150000 элементов данных, к сожалению сдох БП, все перенес на резерв, vmware системы на 500 ГБ, жесткие прокинул в виртуалку, на виртуалке опять же debian поднял raid10, пока просадок не заметил, вот думаю сделать raid сразу в системе и потестировать прокинув его в виртуалку ну и живую миграцию попробовать говорят если железо разное то все плохо миграция и причем тут железо разное ? главное чтобы конфигурации с точки зрения - числа разделов дисков,их объема, сетевых карт, объем оперативки была одинаковая. Используемые ядра процессора для виртуалок так же настраиваются в админке. админка проксмокс не оперирует железом как таковым, а работает с сущностями - имена дисков (разделов), LVM (группы, тома), имена сетевых устройств и т.д. вот это важно. админка тупо запускает виртуалку через kvm со списком ключей и параметров. Вы же все равно должны иметь по мощностям две железки примерно одинаковые , по крайней мере резервная должна вытянуть задачи основной в случае ее аварии. DRBD на одинаковых разделах запускается. понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 9 июля, 2017 · Жалоба понятно, спасибо, буду пробовать, drbd вроде собрался без проблем на виртуалке (решил потестить и попрактиковаться с proxmox) drbd в виртуалке - только для тестов? как соберете drbd в хосте, тестаните на iops раздел поверх drbd и раздел поверх диска для сравнения. в тестах fio обращайте внимание на latency Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
paindrug Опубликовано 9 июля, 2017 · Жалоба Осторожнее с drbd - можно поймать splitbrain. Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска. HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 9 июля, 2017 · Жалоба Осторожнее с drbd - можно поймать splitbrain. Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска. HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума. я для DRBD на 3 версии pm делал режим pri-sec и последствия сплит брайн как бы уходят. Все виртуалки соотвественно прибиты к одной ноде на которой pri. Для миникластера сойдет. Важно даже не HA иметь, а возможность быстро запуститься на резервной ноде с актуальными данными. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 9 июля, 2017 · Жалоба Осторожнее с drbd - можно поймать splitbrain. Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска. HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума. и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 9 июля, 2017 · Жалоба Осторожнее с drbd - можно поймать splitbrain. Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска. HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума. и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16 Связку с УПСом для Zfs видимо нужно настраивать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 9 июля, 2017 · Жалоба Осторожнее с drbd - можно поймать splitbrain. Я бы присмотрелся к proxmox 5 - свежевышедший, там на базе zfs есть онлайн миграции, да и плюшек у zfs много, только оперативной памяти ей нужно по 1ГБ на 1ТБ объема диска. HA на двух серверах у вас все равно не заработает, но есть хак - использовать raspbery или что-то похожее для кворума. и так 5-я версия, памяти хватит, у меня 32Гб задействовано всего 16 Связку с УПСом для Zfs видимо нужно настраивать. Зачем? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 10 июля, 2017 · Жалоба плохо zfs при отключении питания. как и xfs. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 10 июля, 2017 · Жалоба плохо zfs при отключении питания. как и xfs. аа, ну с этим норм, ИБП почти 2 дня держит Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 10 июля, 2017 · Жалоба плохо zfs при отключении питания. как и xfs. Пруфы есть? У меня на FreeBSD ZFS работает больше 5 лет. Пока что главные враги ZFS - аппаратные RAID и производители винтов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 10 июля, 2017 · Жалоба Пока что главные враги ZFS - аппаратные RAID гхм... а как аппаратный рейд может мешать zfs? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 11 июля, 2017 · Жалоба ну и живую миграцию попробовать говорят если железо разное то все плохо Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер, 2 - влезало в хост по памяти, 3 - был одинаковый набор дисковых накопителей. У меня данные размещаются в хранилище на CEPH, перекидка виртуалки с ноды на ноду занимает от 30 до 80 мс, что-то заподозрить успевает только работающий внутри виртуалки ntpd. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 11 июля, 2017 · Жалоба Главное, чтобы учитывались три вещи: 1 - одинаковый процессор по типу и по количеству ядер читал, что в kvm можно делать live migration даже между intel и amd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 12 июля, 2017 · Жалоба читал, что в kvm можно делать live migration даже между intel и amd Если для виртуалки процессор указан как kvm64, то да, без проблем прыгает с ноды на ноду с разными процессорами. Но там тоже надо следить за количеством имеющихся и запрашиваемых ядер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 13 июля, 2017 · Жалоба таков вопрос, можно ли сначала сделать один сервер, на нем все поднять, а потом перевести сервис на него и поднять второй? может есть какой мануал? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fractal Опубликовано 13 июля, 2017 · Жалоба т.е. у меня сейчас все на 1 linux сервере, я на второй накатываю proxmox и на него все накатываю Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...