Jump to content
Калькуляторы

Shared storage и две ноды

Всех с наступающим новым годом, коллеги! Нужен ваш совет. Имеется два сервера и СХД (infortrend Dual controller ) подключение по FC 16G с multipath.   Каждые сервер имеет Raid1 из SSD, чтобы хранить саму систему Proxmox и ОС VM. На схд выделен один LUN который виден обоим серверам 40Тб. Задача следущая, нужно заливать файлики через обе ноды. Чтобы каждая нода имела доступ к общей директории (которая располагается на СХД) и  2-я нода не подралась за место. Изучал clvm , gfs2 ,ceph. Нужен практический совет. Размер файлов по 50кб, но их дохрена. На схд настроен RAID10  из 16 SAS, нужна высокая производительность  на запись. 

 

Screenshot 2018-12-31 at 14.48.20.png

Edited by roysbike

Share this post


Link to post
Share on other sites

Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. Надо во что-то коммерческое лезть, строго оговаривая задачу без прикрас. 

Share this post


Link to post
Share on other sites
1 минуту назад, jffulcrum сказал:

Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. 

Какие варианты еще можно предложить ? Чтобы гонять именно через FC 

Share this post


Link to post
Share on other sites

Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю.

Share this post


Link to post
Share on other sites
2 минуты назад, jffulcrum сказал:

Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю.

спасибо!

Share this post


Link to post
Share on other sites

Выбрал пока ocfs2  на две ноды. Работает пока отлично. Тестирую

 

 mkfs.ocfs2 -N 2 -v -Jblock64 -L archive   /dev/dm-2

 

 

На сервере1

#node1
cluster:
	heartbeat_mode = local
	node_count = 2
	name = archive

node:
	number = 1
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.108
	name = node1

node:
	number = 2
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.106
	name = node2

 

На сервере2

 

#node2
cluster:
	heartbeat_mode = local
	node_count = 2
	name = archive

node:
	number = 1
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.108
	name = node1

node:
	number = 2
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.106
	name = node2

 

 

#fstab на двух нодах

 

#/dev/dm-2  /mnt/ocfs2   ocfs2  defaults   0 0

 

 

Думаю сделать теперь lvm поверх ocsf2

Edited by roysbike

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now