向 Amazon S3 上传大文件 — 关键的 NetDrive 设置
通过 NetDrive 把数 GB 的文件复制到 Amazon S3?了解 5 GB 以上分段上传支持、上传模式、带宽限制和缓存大小等大文件上传设置。
渲染农场在凌晨 2 点生成了一个 60 GB 的场景缓存,需要它的美术师下班前把它拖到一个由 S3 存储桶支撑的盘符上。到了早上,问题是文件到了没有,以及这段时间里上传是否占满了办公室的网络,影响了其他人。大对象的表现和一个文档文件夹不同,而几个 NetDrive 设置决定了效果好坏。

大文件,从容上传
NetDrive 让 Google Drive、OneDrive、S3、SFTP、WebDAV 等在 Windows 和 macOS 上显示为本地驱动器 — 无需同步,无需完整下载。
- 自 NetDrive 3.5.434 起支持 5 GB 及以上的 Amazon S3 文件
- 后台上传让资源管理器和 Finder 保持流畅
- 按驱动器设置带宽和缓存
免费试用。提供终身与订阅方案。
为什么要记住 5 GB 这个数字
Amazon S3 的单次上传请求最大为 5 GB。更大的文件必须分段发送,而 S3 对象整体最大可达 5 TB,详见 AWS 关于上传对象的文档。NetDrive 在版本 3.5.434(2018 年 5 月)中加入了对 5 GB 及以上 S3 文件的支持,因此由 S3 支撑的盘符可以像接收电子表格一样接收 40 GB 的压缩包。无需手动拆分任何内容。

先选择上传模式
每个驱动器都有上传模式。Asynchronous 会让复制操作立即返回,文件从后台队列继续完成上传,因此在 60 GB 传输期间文件管理器不会卡住。Synchronous 会等到上传真正完成,适合必须确认对象已存在才能执行下一步的脚本。
如果是手动拖入大文件,请保持异步,并在上传队列中查看进度。对于自动化任务,只把那一个驱动器切换为同步即可。完整对比见NetDrive 的后台上传模式。

保持办公网络可用
大文件上传会占用它能找到的所有带宽。NetDrive 提供自定义带宽设置,避免一次传输挤占视频通话和其他人的流量。工作时间把它限制在线路速度以下,夜间运行时再调高。详情见 NetDrive 的带宽限制。
留意本地缓存
NetDrive 为已挂载的驱动器使用本地缓存。自 3.16.589 起,缓存大小可以设置,可选范围从 100 GB 到 1 TB。如果你经常上传几十 GB 的单个文件,请确保存放缓存的磁盘有充足余量,并选择合适的大小。取舍之处见 NetDrive 的缓存大小选项。
实用检查清单
- 打开 NetDrive,在 Drive Manager 中选择 S3 驱动器。
- 打开驱动器设置,确认上传模式符合用途:手动操作用异步,脚本用同步。
- 如果有其他人共用网络,设置带宽限制。
- 检查缓存所在位置的可用磁盘空间,并选择能容纳最大文件的缓存大小。
- 把文件复制到驱动器,然后观察上传队列直到完成。
- 删除本地原件之前,在存储桶列表中核实,或通过文件浏览器打开存储桶。

需要了解的限制
NetDrive 没有离线模式,因此驱动器需要与提供商保持连接才能继续工作。超大文件上传的速度只取决于你的上行线路和 S3 区域。如果上传因权限错误失败,请参阅修复 S3 Access Denied 错误。
总结
S3 大文件上传主要取决于选对模式、合理限制带宽,并给缓存留足空间。如果你还没有连接存储桶,可以从在 Windows 上挂载 Amazon S3 或在 macOS 上开始。
— Jay, NetDrive