数据科学团队如何使用 NetDrive — 把云端数据集变成本地驱动器
分析师和机器学习工程师如何用 NetDrive 将 S3、Google Cloud Storage、Azure Blob 或 MinIO 挂载为驱动器,并在 Notebook 与桌面工具中打开数据集。
一位分析师需要打开团队存储桶里一个 6 GB 的 CSV 文件。她常用的桌面 BI 工具没有对应的连接器,Notebook 需要的是文件路径,而负责这个存储桶的数据工程师也不想每周都发一次性的导出链接。最简单的办法,就是给她一个指向存储桶的盘符。

把对象存储中的数据集变成驱动器
NetDrive 让 Google Drive、OneDrive、S3、SFTP、WebDAV 等在 Windows 和 macOS 上显示为本地驱动器 — 无需同步,无需完整下载。
- 挂载 S3、Google Cloud Storage、Azure Blob 或 MinIO
- 使用只读驱动器,分析师无法改动源数据
- 支持 Windows 和 macOS,任何能打开文件的应用都可使用
免费试用。提供终身与订阅方案。
为什么挂载的驱动器适合数据工作
许多日常工具只认文件路径:电子表格应用、桌面可视化软件、图片查看器,以及为本地 data/ 文件夹编写的脚本。NetDrive 会挂载对象存储,让这些工具像读取普通驱动器一样读取它。数据仍留在存储桶中,人们只打开自己需要的内容。
NetDrive 支持 Amazon S3 和 S3 兼容存储(Wasabi、MinIO)、Google Cloud Storage、Azure Blob Storage 以及 Azure File Storage。如果你的数据集分布在多个云上,可以把每个云分别挂载为独立的驱动器,并排使用。

用只读驱动器保护源数据
向原始数据存储桶开放较广的访问权限时,最令人担心的是不小心把文件保存到错误的文件夹。NetDrive 可以将驱动器挂载为只读,分析师可以打开、复制和分析文件,但无法覆盖或删除原始文件。把写入权限留给数据管道或数据工程师,其他人则使用只读挂载。更多内容见 Read-Only Drive in NetDrive。
如果还需要一个存放结果的存储桶,请将它作为普通驱动器单独挂载,这样输出文件会落在可写入、且与源数据分开的位置。
设置步骤
- 打开 NetDrive,点击 Add Drive。
- 选择存储类型,例如 Amazon S3、Google Cloud Storage 或 Azure Blob Storage。
- 输入凭据,使用权限限定在该存储桶的账户,并采用只具备必要权限的密钥。
- 选择挂载选项,源数据驱动器请选择只读。
- 挂载驱动器,然后在资源管理器或 Finder 中打开。
各服务商的详细指南:Mount Google Cloud Storage on Windows、Mount Azure Blob on macOS 和 Mount MinIO on Windows。

实用习惯
使用最小权限密钥。 挂载驱动器的安全性取决于背后的凭据。请为挂载单独创建范围受限的密钥,不要重复使用管理员密钥。
数据到达后刷新。 如果数据管道在有人打开文件夹时写入了新文件,可使用 NetDrive 的强制刷新文件夹来查看,详见 Force Folder Refresh。
大型列表需要时间。 包含大量对象的超大存储桶,列出内容可能较慢。Fix Slow S3 Directory Listing 介绍了有效的办法。
留意缓存。 NetDrive 会在本地缓存你访问过的文件。如果分析师一次打开很多大文件,建议了解一下缓存大小选项(100 GB 到 1 TB)。

了解局限
NetDrive 是挂载工具,不是数据处理引擎,也不是批量传输工具:它的作用是让桌面应用能够访问云端文件。它没有离线模式,因此工作时需要连接到存储。它也没有客户端加密功能,静态数据的保护请依靠服务商提供的控制措施。对于在服务器上运行的自动化管道,请使用平台原生的存储工具,而将 NetDrive 留给在桌面应用中工作的人。
总结
对于主要使用桌面工具的分析师和机器学习工程师来说,以只读方式挂载团队存储桶,可以省去反复发送导出链接的麻烦,并保护源数据安全。先从一个存储桶、一把受限密钥和一个只读驱动器开始,再根据团队需要逐步增加。
— Robin, NetDrive