Jump to content
Калькуляторы

Копирование файлов между FreeBSD и Linux

Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой.

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Посоветуйте, чем лучше копировать?

С помощью scp, подключив том по NFS или еще как?

Share this post


Link to post
Share on other sites

Лучше без шифрования, если в пределах локалки, серверам будет легче. Монтируйте nfs и копируйте, хотя я бы rsync использовал

Share this post


Link to post
Share on other sites

Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой.

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Посоветуйте, чем лучше копировать?

С помощью scp, подключив том по NFS или еще как?

rsync поверх ssh

в rsync можно еще скорость ограничить, чтобы на серверах параллельно работать можно было.

Share this post


Link to post
Share on other sites

Да мне бы как раз побыстрее.

Подмонтировал NFS, трансфер примерно 400 Мбит/с. Хотя линки гигабитные и CPU не перегружен.

С предоставлением сервисов проблем быть не должно — для сервисов другой интерфейс используется.

 

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Кстати, не могу. На разделе не хватает места для tar.

А насколько я понял, tar не умеет перемещать файлы в архив (в моей версии ключ --remove-files не принимается).

Share this post


Link to post
Share on other sites

rsync наше все, шифрование только отключите.

Share this post


Link to post
Share on other sites

Не обязательно tar создавать, можно выходной файл tar закинуть в пайп для scp/ssh.

Share this post


Link to post
Share on other sites

В свое время были сложности именно с НФС между фрей и линуксом (6 редхат, фря, не помню типа 9.х). Без тюнингов скорость сильно низкая выходила. В общем для одноразово лучше рсинк. (тар целиком гонять - при обрыве придется еще раз гонять. рсинк с приемлимым оверхедом сможет продолжить.)

Share this post


Link to post
Share on other sites

Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой.

Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar.

Посоветуйте, чем лучше копировать?

С помощью scp, подключив том по NFS или еще как?

экспортировать по iscsi. остальные варианты будут сильно медленнее.

Share this post


Link to post
Share on other sites

iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет.

На NFS было 400 Мбит/с, помоему неплохой результат.

 

А как это должно выглядеть, кстати?

У них ведь файловые системы разные. Нужно отключать том, монтировать по iscsi, они ФС друг другу не запорят?

Share this post


Link to post
Share on other sites

iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет.

На NFS было 400 Мбит/с, помоему неплохой результат.

 

400MBit/s - это вы достигли скорости десктопного НМЖД, можно сесть и успокоиться.

Share this post


Link to post
Share on other sites

dd через ssh и pipe не вариант?

Share this post


Link to post
Share on other sites

Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек.

Share this post


Link to post
Share on other sites

Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек.

 

НМЖД какой?

Share this post


Link to post
Share on other sites

SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0

 

Звучит, конечно, фантастично, что на этой паре вы получили практически гигабит. Прямо вот файлик льете гигабайт на 60 и показывает 100 мегабайт/с?

Share this post


Link to post
Share on other sites

Интересно, за то время, пока тут обсуждается эта тема, сколько раз можно было уже скопировать диск любым обсуждаемым способом? :)

Share this post


Link to post
Share on other sites

Все уже давно скопировалось.

Но на будущее можно что-то интересное узнать.

Share this post


Link to post
Share on other sites

уже давно sata диски за 100M/s перескачили

Share this post


Link to post
Share on other sites

уже давно sata диски за 100M/s перескачили

 

Не забывайте про размер физического блока и про произвольный доступ к данным.

Share this post


Link to post
Share on other sites

vlad11

И как это связано с линейным копированием? 100Мб/с десктопные диски уже лет 5 как выдают, а современные на 2-3Тб уже к 200 подошли.

Share this post


Link to post
Share on other sites

iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет.

обычный десктопный винт даёт гигабит полосы на линейном чтении.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this