rsyncでメモリオーバーして、sshとtarの組み合わせで代用する

大量なファイルをrsyncでコピーしようとすると、メモリが足りていますか?今日は下記のエラーに遭遇しました。

頼りになっているrsyncがダメであれば、別の手段でやってみるしかありません。

まずはscpを試しました。理論上で行けるのですが、何よりも時間がかかりまして、一個のファイルは1秒か2秒かかります。十数万のファイルがあるので、数日かかります。これは待てません。

次はtarで圧縮ファイルを作ってローカルにコピーしてから展開する。まあ…いかにも大変普通な方法ですね。

無事開始しました。待とう。…… やっぱり普通過ぎます。

rsyncなら、ローカルにパッケージを作らず大量のファイルを転送できるのに、tarでいけないかなぁ~

よし、やります。

tarに圧縮データをstdoutに書き出させます。sshでデータを取り寄せて、ローカルでまたtarで直接に展開します。いけそう。

最終に、次のコマンドになりました。

成功!!

Leave a Reply

Your email address will not be published. Required fields are marked *