alibek Posted March 30, 2016 Posted March 30, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? Вставить ник Quote
orlik Posted March 30, 2016 Posted March 30, 2016 Лучше без шифрования, если в пределах локалки, серверам будет легче. Монтируйте nfs и копируйте, хотя я бы rsync использовал Вставить ник Quote
Tau Posted March 30, 2016 Posted March 30, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? rsync поверх ssh в rsync можно еще скорость ограничить, чтобы на серверах параллельно работать можно было. Вставить ник Quote
alibek Posted March 30, 2016 Author Posted March 30, 2016 Да мне бы как раз побыстрее. Подмонтировал NFS, трансфер примерно 400 Мбит/с. Хотя линки гигабитные и CPU не перегружен. С предоставлением сервисов проблем быть не должно — для сервисов другой интерфейс используется. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Кстати, не могу. На разделе не хватает места для tar. А насколько я понял, tar не умеет перемещать файлы в архив (в моей версии ключ --remove-files не принимается). Вставить ник Quote
Megas Posted March 30, 2016 Posted March 30, 2016 rsync наше все, шифрование только отключите. Вставить ник Quote
uxcr Posted March 30, 2016 Posted March 30, 2016 Не обязательно tar создавать, можно выходной файл tar закинуть в пайп для scp/ssh. Вставить ник Quote
st_re Posted March 30, 2016 Posted March 30, 2016 В свое время были сложности именно с НФС между фрей и линуксом (6 редхат, фря, не помню типа 9.х). Без тюнингов скорость сильно низкая выходила. В общем для одноразово лучше рсинк. (тар целиком гонять - при обрыве придется еще раз гонять. рсинк с приемлимым оверхедом сможет продолжить.) Вставить ник Quote
^rage^ Posted March 31, 2016 Posted March 31, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? экспортировать по iscsi. остальные варианты будут сильно медленнее. Вставить ник Quote
alibek Posted March 31, 2016 Author Posted March 31, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. На NFS было 400 Мбит/с, помоему неплохой результат. А как это должно выглядеть, кстати? У них ведь файловые системы разные. Нужно отключать том, монтировать по iscsi, они ФС друг другу не запорят? Вставить ник Quote
tartila Posted March 31, 2016 Posted March 31, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. На NFS было 400 Мбит/с, помоему неплохой результат. 400MBit/s - это вы достигли скорости десктопного НМЖД, можно сесть и успокоиться. Вставить ник Quote
Ivan_83 Posted March 31, 2016 Posted March 31, 2016 Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек. Вставить ник Quote
tartila Posted March 31, 2016 Posted March 31, 2016 Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек. НМЖД какой? Вставить ник Quote
Ivan_83 Posted March 31, 2016 Posted March 31, 2016 SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0 Вставить ник Quote
tartila Posted March 31, 2016 Posted March 31, 2016 SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0 Звучит, конечно, фантастично, что на этой паре вы получили практически гигабит. Прямо вот файлик льете гигабайт на 60 и показывает 100 мегабайт/с? Вставить ник Quote
vop Posted April 1, 2016 Posted April 1, 2016 Интересно, за то время, пока тут обсуждается эта тема, сколько раз можно было уже скопировать диск любым обсуждаемым способом? :) Вставить ник Quote
alibek Posted April 1, 2016 Author Posted April 1, 2016 Все уже давно скопировалось. Но на будущее можно что-то интересное узнать. Вставить ник Quote
agr Posted April 1, 2016 Posted April 1, 2016 уже давно sata диски за 100M/s перескачили Вставить ник Quote
vlad11 Posted April 1, 2016 Posted April 1, 2016 уже давно sata диски за 100M/s перескачили Не забывайте про размер физического блока и про произвольный доступ к данным. Вставить ник Quote
kayot Posted April 2, 2016 Posted April 2, 2016 vlad11 И как это связано с линейным копированием? 100Мб/с десктопные диски уже лет 5 как выдают, а современные на 2-3Тб уже к 200 подошли. Вставить ник Quote
^rage^ Posted April 4, 2016 Posted April 4, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. обычный десктопный винт даёт гигабит полосы на линейном чтении. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.