alibek Опубликовано 30 марта, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
orlik Опубликовано 30 марта, 2016 Лучше без шифрования, если в пределах локалки, серверам будет легче. Монтируйте nfs и копируйте, хотя я бы rsync использовал Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tau Опубликовано 30 марта, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? rsync поверх ssh в rsync можно еще скорость ограничить, чтобы на серверах параллельно работать можно было. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 30 марта, 2016 Да мне бы как раз побыстрее. Подмонтировал NFS, трансфер примерно 400 Мбит/с. Хотя линки гигабитные и CPU не перегружен. С предоставлением сервисов проблем быть не должно — для сервисов другой интерфейс используется. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Кстати, не могу. На разделе не хватает места для tar. А насколько я понял, tar не умеет перемещать файлы в архив (в моей версии ключ --remove-files не принимается). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 30 марта, 2016 scp -r smb Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Megas Опубликовано 30 марта, 2016 rsync наше все, шифрование только отключите. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
uxcr Опубликовано 30 марта, 2016 Не обязательно tar создавать, можно выходной файл tar закинуть в пайп для scp/ssh. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 30 марта, 2016 В свое время были сложности именно с НФС между фрей и линуксом (6 редхат, фря, не помню типа 9.х). Без тюнингов скорость сильно низкая выходила. В общем для одноразово лучше рсинк. (тар целиком гонять - при обрыве придется еще раз гонять. рсинк с приемлимым оверхедом сможет продолжить.) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 31 марта, 2016 Мне нужно будет скопировать несколько сот ГБ с одного сервера на другой. Количество файлов большое (за сотню тысяч), но я могу предварительно перегнать их в tar. Посоветуйте, чем лучше копировать? С помощью scp, подключив том по NFS или еще как? экспортировать по iscsi. остальные варианты будут сильно медленнее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 31 марта, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. На NFS было 400 Мбит/с, помоему неплохой результат. А как это должно выглядеть, кстати? У них ведь файловые системы разные. Нужно отключать том, монтировать по iscsi, они ФС друг другу не запорят? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tartila Опубликовано 31 марта, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. На NFS было 400 Мбит/с, помоему неплохой результат. 400MBit/s - это вы достигли скорости десктопного НМЖД, можно сесть и успокоиться. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vex Опубликовано 31 марта, 2016 dd через ssh и pipe не вариант? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 31 марта, 2016 Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tartila Опубликовано 31 марта, 2016 Дома по rsync бэкаплюсь с десктопа на сервант, скорость до 100 мегаБАЙТ/сек. НМЖД какой? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 31 марта, 2016 SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tartila Опубликовано 31 марта, 2016 SAMSUNG HD204UI, WDC WD30EFRX-68AX9N0 Звучит, конечно, фантастично, что на этой паре вы получили практически гигабит. Прямо вот файлик льете гигабайт на 60 и показывает 100 мегабайт/с? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 1 апреля, 2016 Я максимум 70-ку выжимал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
theurs Опубликовано 1 апреля, 2016 конвейер из tar + zstd + nc Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 1 апреля, 2016 Интересно, за то время, пока тут обсуждается эта тема, сколько раз можно было уже скопировать диск любым обсуждаемым способом? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 1 апреля, 2016 Все уже давно скопировалось. Но на будущее можно что-то интересное узнать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
agr Опубликовано 1 апреля, 2016 уже давно sata диски за 100M/s перескачили Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 1 апреля, 2016 уже давно sata диски за 100M/s перескачили Не забывайте про размер физического блока и про произвольный доступ к данным. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 2 апреля, 2016 vlad11 И как это связано с линейным копированием? 100Мб/с десктопные диски уже лет 5 как выдают, а современные на 2-3Тб уже к 200 подошли. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 4 апреля, 2016 iSCSI без тюнинга (jumbo-фреймы, офлоады) мне кажется ничего хорошего не покажет. обычный десктопный винт даёт гигабит полосы на линейном чтении. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
