Amazon S3への大容量ファイルアップロード — 重要なNetDrive設定
NetDriveで数GBのファイルをAmazon S3にコピーしていますか？5GB以上のマルチパート対応、アップロードモード、帯域制限、キャッシュサイズなど、大容量転送の設定を解説します。
レンダーファームが午前2時に60GBのシーンキャッシュを書き出し、それを必要とするアーティストは、帰宅前にS3バケットに接続されたドライブレターへファイルをドラッグします。朝になって気になるのは、ファイルが届いたかどうか、そしてアップロードがオフィスの回線を占有して他の人に迷惑をかけなかったかどうかです。大きなオブジェクトはドキュメントのフォルダとは挙動が異なり、いくつかのNetDrive設定がその出来を左右します。
大きなファイルも落ち着いてアップロード
NetDrive を使えば Google Drive、OneDrive、S3、SFTP、WebDAV などが Windows と macOS でネイティブドライブとして表示されます — 同期も、まるごとダウンロードも不要です。
- NetDrive 3.5.434から5GB以上のAmazon S3ファイルに対応
- バックグラウンドアップロードでエクスプローラーとFinderが快適なまま
- ドライブごとの帯域・キャッシュ制御
無料トライアル。永久ライセンスとサブスクリプションプランあり。
5GBという数字を知っておくべき理由
Amazon S3は、1回のアップロードリクエストで最大5GBまで受け付けます。それより大きいファイルは分割して送る必要があり、S3オブジェクト全体では最大5TBまで可能です。詳しくはAWSのオブジェクトアップロードに関するドキュメントを参照してください。NetDriveはバージョン3.5.434（2018年5月）で5GB以上のS3ファイルへの対応を追加したため、S3に接続したドライブレターには、40GBのアーカイブもスプレッドシートと同じように置けます。手作業で分割する必要はありません。
まずアップロードモードを選ぶ
ドライブごとにアップロードモードがあります。Asynchronousではコピーがすぐに返り、ファイルはバックグラウンドのキューでアップロードを終えるので、60GBの転送中もファイルマネージャーが固まりません。Synchronousはアップロードが実際に完了するまで待つため、次の処理の前にオブジェクトの存在が必要なスクリプトに向いています。
大きなファイルを手でドラッグする場合は非同期のままにして、アップロードキューで進行状況を確認します。自動化ジョブの場合は、そのドライブだけ同期に切り替えます。詳しい比較はNetDriveのバックグラウンドアップロードモードにあります。
オフィスの回線を使えるままにする
大きなアップロードは、使える帯域をすべて使い切ります。NetDriveのカスタム帯域設定を使えば、1つの転送がビデオ会議や他の人の通信を圧迫しません。勤務時間中は回線速度より低く制限し、夜間の実行では上げてください。詳細はNetDriveの帯域制限をご覧ください。
ローカルキャッシュに注意する
NetDriveはマウントしたドライブにローカルキャッシュを使います。3.16.589以降、キャッシュサイズは設定項目で、100GBから1TBまで選べます。数十GB単位の単一ファイルを頻繁に書き込むなら、キャッシュを置くディスクに十分な空きがあることを確認し、収まるサイズを選んでください。トレードオフはNetDriveのキャッシュサイズオプションで解説しています。
実践チェックリスト
- NetDriveを開き、ドライブマネージャーでS3ドライブを選択します。
- ドライブの設定を開き、アップロードモードが用途に合っているか確認します。手作業なら非同期、スクリプトなら同期です。
- 回線を他の人と共有しているなら帯域制限を設定します。
- キャッシュがある場所のディスク空き容量を確認し、最大のファイルに合うキャッシュサイズを選びます。
- ドライブへファイルをコピーし、完了までアップロードキューを見守ります。
- ローカルの元ファイルを削除する前に、バケットの一覧またはファイルブラウザーでバケットを開いて確認します。
知っておくべき制限
NetDriveにはオフラインモードがないため、ドライブを使い続けるにはプロバイダーへの接続が必要です。巨大なアップロードの速度は、上り回線とS3リージョンが許す範囲に左右されます。アップロードが権限エラーで失敗する場合は、S3 Access Deniedエラーの解決を参照してください。
まとめ
S3への大容量アップロードは、適切なモードを選び、帯域を妥当に制限し、キャッシュに余裕を残すことがほとんどです。まだバケットを接続していないなら、WindowsでAmazon S3をマウントまたはmacOSでから始めましょう。
— Jay, NetDrive