roysbike Опубликовано 31 декабря, 2018 (изменено) · Жалоба Всех с наступающим новым годом, коллеги! Нужен ваш совет. Имеется два сервера и СХД (infortrend Dual controller ) подключение по FC 16G с multipath. Каждые сервер имеет Raid1 из SSD, чтобы хранить саму систему Proxmox и ОС VM. На схд выделен один LUN который виден обоим серверам 40Тб. Задача следущая, нужно заливать файлики через обе ноды. Чтобы каждая нода имела доступ к общей директории (которая располагается на СХД) и 2-я нода не подралась за место. Изучал clvm , gfs2 ,ceph. Нужен практический совет. Размер файлов по 50кб, но их дохрена. На схд настроен RAID10 из 16 SAS, нужна высокая производительность на запись. Изменено 31 декабря, 2018 пользователем roysbike Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 31 декабря, 2018 · Жалоба Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. Надо во что-то коммерческое лезть, строго оговаривая задачу без прикрас. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 31 декабря, 2018 · Жалоба 1 минуту назад, jffulcrum сказал: Честно говоря, все варианты жопа в вашем случае. CLVM сдохнет на мелких файлах, вернее не он сам, а его менеджер блокировок (DLM). GlusterFS на куче мелких файлов положит CPU на переключениях контекста, ибо userspace. Ceph затрахает СХД своими проверками и беспричинными перестроениями топологии, плюс готовьтесь в ноды напихать отдельных SSD по журнал/метаданные OSD, и опять-таки, на куче мелких файлов именно OSD и ляжет первым. Какие варианты еще можно предложить ? Чтобы гонять именно через FC Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 31 декабря, 2018 · Жалоба Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 31 декабря, 2018 · Жалоба 2 минуты назад, jffulcrum сказал: Мне тут со стороны произнесли что-то вроде OCFS2 . Возможно, после праздников дадут посмотреть на рабочую систему под 2 млн файлов. Конфиги не обещаю. спасибо! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 31 декабря, 2018 · Жалоба ZFS over iSCSI или ZFS over NFS. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 31 декабря, 2018 · Жалоба @vlad11 С ZFS я видел реализации dual-active, а топикстартеру нужен active-active Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 4 января, 2019 (изменено) · Жалоба Выбрал пока ocfs2 на две ноды. Работает пока отлично. Тестирую mkfs.ocfs2 -N 2 -v -Jblock64 -L archive /dev/dm-2 На сервере1 #node1 cluster: heartbeat_mode = local node_count = 2 name = archive node: number = 1 cluster = archive ip_port = 7777 ip_address = 172.30.23.108 name = node1 node: number = 2 cluster = archive ip_port = 7777 ip_address = 172.30.23.106 name = node2 На сервере2 #node2 cluster: heartbeat_mode = local node_count = 2 name = archive node: number = 1 cluster = archive ip_port = 7777 ip_address = 172.30.23.108 name = node1 node: number = 2 cluster = archive ip_port = 7777 ip_address = 172.30.23.106 name = node2 #fstab на двух нодах #/dev/dm-2 /mnt/ocfs2 ocfs2 defaults 0 0 Думаю сделать теперь lvm поверх ocsf2 Изменено 4 января, 2019 пользователем roysbike Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...