[alibek]

Столкнулся тут с одной проблемой.

Тех.поддержка Нага помочь не может. Тех.поддержка вендора может и может помочь, но мой аккаунт пока не подтвердили.

 

Суть проблемы.

Есть две СХД. Первая NetApp E5400 с интерфейсами 8xFC 2/4/8G и 4xISCSI 1/10G, емкостью 24 ТБ. Вторая NetApp E2700 с интерфейсом 4xISCSI 1G (впоследствии будет 4xISCSI 10G, но не сейчас).

Есть сервер, работающий с E5400, подключенный по FC. На нем специальный софт постоянно пишет на СХД довольно много данных. Теперь мне надо переключить сервер на E2700.

Первоначальный сценарий был такой — останавливаем специальный софт, копируем все данные с E5400 на E2700, затем в настройках софта изменяем букву диска и запускаем софт, после чего сервер работает уже с E2700. Но копирование 24 ТБ по гигабитному линку займет около 3 суток, останавливать софт на такой срок нельзя.

У меня была мысль соединить между собой СХД (например по SAS-интерфейсу, это примерно 12 Гбит/с) и провести копирование томов средствами СХД, не гоняя трафик через сервер. Но Наг с этим сценарием ничего посоветовать не смог, а на NetApp я пока не могу создать тикет.

Если такой способ невыполним, у меня есть вторая идея — подключить к серверу обе СХД, найти софт, который умеет синхронизировать данные между двумя дисками, запустить этот софт и после того, как данные в целом будут синхронизированы между собой, остановить специальный софт, досинхронизировать данные и перенастроить софт на второй диск.

 

Лучше всего конечно первый вариант. Но с NetApp я пока знаком мало и не представляю, как это сделать. Наг утверждает, что это невозможно. Мне кажется, что способ все же должен быть.

Если первый вариант невозможен, тогда остается только второй (других идей у меня нет). Тогда просьба посоветовать софт, которым можно это сделать.

Сервера под Windows, поэтому rsync не подойдет. И софт нужен бесплатный, потому что это операция разовая.

[vlad11]

cwRsync — реализация rsync под Windows

[teplik]

Запустить скрипт, собирающий список файлов с их md5, сделать копирование, остановить софт1, запустить скрипт ещё раз, посмотреть что изменилось, докопировать и запустить софт2.

[alibek]

Запустить скрипт, собирающий список файлов с их md5

Повторяю по словам.

Копирование выполняется трое суток.

Вычисление md5 вообще неделю займет.

 

cwRsync — реализация rsync под Windows

Это не реализация под Windows, это портирование через cygwin. Соответственно медленно и ненадежно.

Я пока использую FreeFileSync, но работает не очень хорошо. Но лучше, чем cwRsync.

[SergeiK]

Первое, что надо сделать, это объединить 4х1G в эзерченнел и получить 4G, что, в реальности, позволит сохранить время до суток.

У сервера-то сетевые - 10G? Или 4xG?

 

Второе - верно говорят, очень вряд ли будут меняться все 24Т данных, реальных изменений будет сильно меньше.

Поэтому будет правильно сначала скопировать все, что есть, а потом дописать только изменения.

С учетом, того, что на основной системе интерфейсы побыстрее, то считывание данных и оценка необходимых изменений будет сильно быстрее, чем запись.

Можно повторить дважды, тогда третья будет еще быстрее.

Конечно, если это все - активные таблицы БД, то все сложнее, но об этом ничего не заявлено.

 

Возможно, сделать подобную синхронизацию можно средствами NetApp, но не через SAS, а по iSCSI.

[teplik]

md5 на 10-20(%) медленнее md4, используемого в rsync. Т.е. 5.5 дней md4, против 7 у md5. Полагаю оба вариванта не подходят.

Можно примонтировать по nfs/smb каталог с данными и пользоваться родным rsync. Подозреваю, это тоже не вариант.

Есть вариант посмотреть у всех ли файлов меняется время последнего изменения при остановке софта, но надеяться на это я бы не стал.

[st_re]

В вендах есть робокопи.. вполне себе замена rsync-у. правда не умеет файлы измененные досинкивать, только переписать еще раз целиком. (еще была какято xcopy, пофичастее но, насколько я помню, платная. типа шареваре, т.е. на 1 раз возможно пойдет) Данные как хранятcя? Вариантов может быть от 1 файл на все и до 100500 файлов. И сколько из них (файлов) меняется за трое суток? Если файлов много и меняются не все (ведь никто же не мешает вашему софту менять по 1 байту во всех файлах раз в час), то раза 3-4 пустить робокопи по живому и потом остановив пустить последний раз.

 

А вообще резервного копирования этого вашего хозяйства у вас нету ? А здря. рейд совсем не гос страх, гарантий не дает.

[alibek]

Файлов и каталогов под 2 миллиона.

 

Первое, что надо сделать, это объединить 4х1G в эзерченнел и получить 4G, что, в реальности, позволит сохранить время до суток.

У сервера-то сетевые - 10G? Или 4xG?

СХД не позволяет объединять интерфейсы. Правда в iSCSI можно настроить соединение, как многоадресное.

На сервере 2x1G.

 

Возможно, сделать подобную синхронизацию можно средствами NetApp, но не через SAS, а по iSCSI.

Я не нашел в СХД возможности подключиться по iSCSI. Помоему там только хост, но не клиент.

 

robocopy кстати посмотрю, я про нее забыл.

[st_re]

Да, и есть информация о способое хранения? Файлы меняются или старые стираются а новые записываются. Если второе, то робокопи скорее всего то что нужно. (не забыть про флаги стирать то, что пропало на источнике)

 

Мне так кажется что даже если файлы менятся частичтно, но если мы упираемся в общение с конечным устройством, то рсинковые фичи, которые позволяют поправить только измененные части только будут тормозить. проще переписать файл целиком чем сначала считать поменялось ли что и где. рсинк хорош когда клиентсервер (через rsh или ssh), и канал между серверами сильно тоньше чем чтение диска, а так только дольше будет.

 

Главное чтобы время изменения файла менялось :)

[alibek]

Это видеоархив. Представляет собой файлы по 15 МБ, распределенные по подкаталогам. Файл пишется до 15 МБ с обновлением даты/времени, потом не трогается. Устаревшие файлы удаляются.

Также есть несколько индексных файлов (сейчас это 3 файла по 120 ГБ), которые обновляются. Но их можно скопировать после остановки софта, там длительность копирования терпимая.

 

В принципе, FreeFileSync не так уж и плох - он поддерживает синхронизацию в режиме зеркала и не так уж медленно копирует (в среднем 80 МБ/с, что для гигабитного линка неплохо). Посмотрю как он на выходных отработает.

[vlad11]

Есть еще SyncToy.

[SergeiK]

Файлов и каталогов под 2 миллиона.

 

Первое, что надо сделать, это объединить 4х1G в эзерченнел и получить 4G, что, в реальности, позволит сохранить время до суток.

У сервера-то сетевые - 10G? Или 4xG?

СХД не позволяет объединять интерфейсы. Правда в iSCSI можно настроить соединение, как многоадресное.

На сервере 2x1G.

Я не верю, что у нет такой опции. Но, если реально нет - лучше сразу на помойку.

По нетапу не спец, но 5 лет назад участвовал в проекте, где как раз нетап, как раз 2х4х1G интерфейсы собирались в 2x4G канала.

 

Вообще, если это видео, которое не меняется, вообще не вижу проблем с переездом.

Переместить архивное видео, потом дотянуть набежавшее, повторить нужное количество раз и за 15 минут полностью все переключить.

[Ivan_83]

ViceVersa

[alibek]

ViceVersa

Судя по скриншотам и описаниям, она не работает в режиме постоянной синхронизации, а осуществляет синхронизацию по запуску.

То есть ничем принципиально от FreeFileSync не отличается.

[joesm]

Как пишет софт не известно, но не проще остановить софт. Создать структуру каталогов, скопирать индексные файлы на новое хранилище. Запустить софт с новым хранилищем.

В результате все новые записи будут писаться на новое хранилище, индексные файлы обновлятся текущей инфой. Не будет работать только видеоархив.

Дальше просто копировать все файлы кроме индексов на новое хранилище.