Перейти к содержимому
Калькуляторы

Копирование файлов между FreeBSD и Linux

Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой.

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Посоветуйте, чем лучше копировать?

С помощью scp, подключив том по NFS или еще как?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Лучше без шифрования, если в пределах локалки, серверам будет легче. Монтируйте nfs и копируйте, хотя я бы rsync использовал

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой.

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Посоветуйте, чем лучше копировать?

С помощью scp, подключив том по NFS или еще как?

rsync поверх ssh

в rsync можно еще скорость ограничить, чтобы на серверах параллельно работать можно было.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да мне бы как раз побыстрее.

Подмонтировал NFS, трансфер примерно 400 Мбит/с. Хотя линки гигабитные и CPU не перегружен.

С предоставлением сервисов проблем быть не должно — для сервисов другой интерфейс используется.

 

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Кстати, не могу. На разделе не хватает места для tar.

А насколько я понял, tar не умеет перемещать файлы в архив (в моей версии ключ --remove-files не принимается).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

rsync наше все, шифрование только отключите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не обязательно tar создавать, можно выходной файл tar закинуть в пайп для scp/ssh.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В свое время были сложности именно с НФС между фрей и линуксом (6 редхат, фря, не помню типа 9.х). Без тюнингов скорость сильно низкая выходила. В общем для одноразово лучше рсинк. (тар целиком гонять - при обрыве придется еще раз гонять. рсинк с приемлимым оверхедом сможет продолжить.)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой.

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Посоветуйте, чем лучше копировать?

С помощью scp, подключив том по NFS или еще как?

экспортировать по iscsi. остальные варианты будут сильно медленнее.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет.

На NFS было 400 Мбит/с, помоему неплохой результат.

 

А как это должно выглядеть, кстати?

У них ведь файловые системы разные. Нужно отключать том, монтировать по iscsi, они ФС друг другу не запорят?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет.

На NFS было 400 Мбит/с, помоему неплохой результат.

 

400MBit/s - это вы достигли скорости десктопного НМЖД, можно сесть и успокоиться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dd через ssh и pipe не вариант?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек.

 

НМЖД какой?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0

 

Звучит, конечно, фантастично, что на этой паре вы получили практически гигабит. Прямо вот файлик льете гигабайт на 60 и показывает 100 мегабайт/с?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я максимум 70-ку выжимал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно, за то время, пока тут обсуждается эта тема, сколько раз можно было уже скопировать диск любым обсуждаемым способом? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Все уже давно скопировалось.

Но на будущее можно что-то интересное узнать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

уже давно sata диски за 100M/s перескачили

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

уже давно sata диски за 100M/s перескачили

 

Не забывайте про размер физического блока и про произвольный доступ к данным.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

vlad11

И как это связано с линейным копированием? 100Мб/с десктопные диски уже лет 5 как выдают, а современные на 2-3Тб уже к 200 подошли.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет.

обычный десктопный винт даёт гигабит полосы на линейном чтении.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.