Shared storage и две ноды

[roysbike]

Всех с наступающим новым годом, коллеги! Нужен ваш совет. Имеется два сервера и СХД (infortrend Dual controller ) подключение по FC 16G с multipath.   Каждые сервер имеет Raid1 из SSD, чтобы хранить саму систему Proxmox и ОС VM. На схд выделен один LUN который виден обоим серверам 40Тб. Задача следущая, нужно заливать файлики через обе ноды. Чтобы каждая нода имела доступ к общей директории (которая располагается на СХД) и  2-я нода не подралась за место. Изучал clvm , gfs2 ,ceph. Нужен практический совет. Размер файлов по 50кб, но их дохрена. На схд настроен RAID10  из 16 SAS, нужна высокая производительность  на запись. 

 

Edited December 31, 2018 by roysbike

[jffulcrum]

Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. Надо во что-то коммерческое лезть, строго оговаривая задачу без прикрас. 

[roysbike]

1 минуту назад, jffulcrum сказал:

Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. 

Какие варианты еще можно предложить ? Чтобы гонять именно через FC 

[jffulcrum]

Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю.

[roysbike]

2 минуты назад, jffulcrum сказал:

Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю.

спасибо!

[vlad11]

ZFS over iSCSI или ZFS over NFS.

[jffulcrum]

@vlad11 С ZFS я видел реализации dual-active, а топикстартеру нужен active-active

[roysbike]

Выбрал пока ocfs2  на две ноды. Работает пока отлично. Тестирую

 

 mkfs.ocfs2 -N 2 -v -Jblock64 -L archive   /dev/dm-2

 

 

На сервере1

#node1
cluster:
	heartbeat_mode = local
	node_count = 2
	name = archive

node:
	number = 1
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.108
	name = node1

node:
	number = 2
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.106
	name = node2

 

На сервере2

 

#node2
cluster:
	heartbeat_mode = local
	node_count = 2
	name = archive

node:
	number = 1
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.108
	name = node1

node:
	number = 2
	cluster = archive
	ip_port = 7777
	ip_address = 172.30.23.106
	name = node2

 

 

#fstab на двух нодах

 

#/dev/dm-2  /mnt/ocfs2   ocfs2  defaults   0 0

 

 

Думаю сделать теперь lvm поверх ocsf2

Edited January 4, 2019 by roysbike