Перейти к содержимому
Калькуляторы

Shared storage и две ноды

Всех с наступающим новым годом, коллеги! Нужен ваш совет. Имеется два сервера и СХД (infortrend Dual controller ) подключение по FC 16G с multipath.   Каждые сервер имеет Raid1 из SSD, чтобы хранить саму систему Proxmox и ОС VM. На схд выделен один LUN который виден обоим серверам 40Тб. Задача следущая, нужно заливать файлики через обе ноды. Чтобы каждая нода имела доступ к общей директории (которая располагается на СХД) и  2-я нода не подралась за место. Изучал clvm , gfs2 ,ceph. Нужен практический совет. Размер файлов по 50кб, но их дохрена. На схд настроен RAID10  из 16 SAS, нужна высокая производительность  на запись. 

 

Screenshot 2018-12-31 at 14.48.20.png

Изменено пользователем roysbike

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. Надо во что-то коммерческое лезть, строго оговаривая задачу без прикрас. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 минуту назад, jffulcrum сказал:

Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. 

Какие варианты еще можно предложить ? Чтобы гонять именно через FC 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, jffulcrum сказал:

Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю.

спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Выбрал пока ocfs2  на две ноды. Работает пока отлично. Тестирую

 

 mkfs.ocfs2 -N 2 -v -Jblock64 -L archive   /dev/dm-2

 

 

На сервере1

#node1
cluster:
	heartbeat_mode = local
	node_count = 2
	name = archive

node:
	number = 1
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.108
	name = node1

node:
	number = 2
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.106
	name = node2

 

На сервере2

 

#node2
cluster:
	heartbeat_mode = local
	node_count = 2
	name = archive

node:
	number = 1
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.108
	name = node1

node:
	number = 2
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.106
	name = node2

 

 

#fstab на двух нодах

 

#/dev/dm-2  /mnt/ocfs2   ocfs2  defaults   0 0

 

 

Думаю сделать теперь lvm поверх ocsf2

Изменено пользователем roysbike

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас