alibek Posted March 30, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
orlik Posted March 30, 2016 Лучше без шифрования, если в пределах локалки, серверам будет легче. Монтируйте nfs и копируйте, хотя я бы rsync использовал Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Tau Posted March 30, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? rsync поверх ssh в rsync можно еще скорость ограничить, чтобы на серверах параллельно работать можно было. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted March 30, 2016 Да мне бы как раз побыстрее. Подмонтировал NFS, трансфер примерно 400 Мбит/с. Хотя линки гигабитные и CPU не перегружен. С предоставлением сервисов проблем быть не должно — для сервисов другой интерфейс используется. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Кстати, не могу. На разделе не хватает места для tar. А насколько я понял, tar не умеет перемещать файлы в архив (в моей версии ключ --remove-files не принимается). Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vop Posted March 30, 2016 scp -r smb Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Megas Posted March 30, 2016 rsync наше все, шифрование только отключите. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
uxcr Posted March 30, 2016 Не обязательно tar создавать, можно выходной файл tar закинуть в пайп для scp/ssh. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
st_re Posted March 30, 2016 В свое время были сложности именно с НФС между фрей и линуксом (6 редхат, фря, не помню типа 9.х). Без тюнингов скорость сильно низкая выходила. В общем для одноразово лучше рсинк. (тар целиком гонять - при обрыве придется еще раз гонять. рсинк с приемлимым оверхедом сможет продолжить.) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
^rage^ Posted March 31, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? экспортировать по iscsi. остальные варианты будут сильно медленнее. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted March 31, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. На NFS было 400 Мбит/с, помоему неплохой результат. А как это должно выглядеть, кстати? У них ведь файловые системы разные. Нужно отключать том, монтировать по iscsi, они ФС друг другу не запорят? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 31, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. На NFS было 400 Мбит/с, помоему неплохой результат. 400MBit/s - это вы достигли скорости десктопного НМЖД, можно сесть и успокоиться. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vex Posted March 31, 2016 dd через ssh и pipe не вариант? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted March 31, 2016 Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 31, 2016 Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек. НМЖД какой? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted March 31, 2016 SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 31, 2016 SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0 Звучит, конечно, фантастично, что на этой паре вы получили практически гигабит. Прямо вот файлик льете гигабайт на 60 и показывает 100 мегабайт/с? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
pppoetest Posted April 1, 2016 Я максимум 70-ку выжимал. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
theurs Posted April 1, 2016 конвейер из tar + zstd + nc Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vop Posted April 1, 2016 Интересно, за то время, пока тут обсуждается эта тема, сколько раз можно было уже скопировать диск любым обсуждаемым способом? :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted April 1, 2016 Все уже давно скопировалось. Но на будущее можно что-то интересное узнать. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
agr Posted April 1, 2016 уже давно sata диски за 100M/s перескачили Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vlad11 Posted April 1, 2016 уже давно sata диски за 100M/s перескачили Не забывайте про размер физического блока и про произвольный доступ к данным. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kayot Posted April 2, 2016 vlad11 И как это связано с линейным копированием? 100Мб/с десктопные диски уже лет 5 как выдают, а современные на 2-3Тб уже к 200 подошли. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
^rage^ Posted April 4, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. обычный десктопный винт даёт гигабит полосы на линейном чтении. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
