数据科学团队如何使用 NetDrive — 把云端数据集变成本地驱动器

阅读时间 5 分钟 use-case object-storage data-science
Robin
RobinDeveloper Advocate
分析师和机器学习工程师如何用 NetDrive 将 S3、Google Cloud Storage、Azure Blob 或 MinIO 挂载为驱动器,并在 Notebook 与桌面工具中打开数据集。

一位分析师需要打开团队存储桶里一个 6 GB 的 CSV 文件。她常用的桌面 BI 工具没有对应的连接器,Notebook 需要的是文件路径,而负责这个存储桶的数据工程师也不想每周都发一次性的导出链接。最简单的办法,就是给她一个指向存储桶的盘符。

NetDrive drive manager showing Google Drive, S3 and pCloud mounted as drive lettersMounted clouds appearing as native drives in Windows File Explorer

把对象存储中的数据集变成驱动器

NetDrive 让 Google Drive、OneDrive、S3、SFTP、WebDAV 等在 Windows 和 macOS 上显示为本地驱动器 — 无需同步,无需完整下载。

  • 挂载 S3、Google Cloud Storage、Azure Blob 或 MinIO
  • 使用只读驱动器,分析师无法改动源数据
  • 支持 Windows 和 macOS,任何能打开文件的应用都可使用
WindowsmacOS
下载 NetDrive →

免费试用。提供终身与订阅方案。

为什么挂载的驱动器适合数据工作

许多日常工具只认文件路径:电子表格应用、桌面可视化软件、图片查看器,以及为本地 data/ 文件夹编写的脚本。NetDrive 会挂载对象存储,让这些工具像读取普通驱动器一样读取它。数据仍留在存储桶中,人们只打开自己需要的内容。

NetDrive 支持 Amazon S3 和 S3 兼容存储(Wasabi、MinIO)、Google Cloud Storage、Azure Blob Storage 以及 Azure File Storage。如果你的数据集分布在多个云上,可以把每个云分别挂载为独立的驱动器,并排使用。

NetDrive 驱动器管理器,列出同时挂载的多个云存储驱动器

用只读驱动器保护源数据

向原始数据存储桶开放较广的访问权限时,最令人担心的是不小心把文件保存到错误的文件夹。NetDrive 可以将驱动器挂载为只读,分析师可以打开、复制和分析文件,但无法覆盖或删除原始文件。把写入权限留给数据管道或数据工程师,其他人则使用只读挂载。更多内容见 Read-Only Drive in NetDrive。

如果还需要一个存放结果的存储桶,请将它作为普通驱动器单独挂载,这样输出文件会落在可写入、且与源数据分开的位置。

设置步骤

  1. 打开 NetDrive,点击 Add Drive。
  2. 选择存储类型,例如 Amazon S3、Google Cloud Storage 或 Azure Blob Storage。
  3. 输入凭据,使用权限限定在该存储桶的账户,并采用只具备必要权限的密钥。
  4. 选择挂载选项,源数据驱动器请选择只读。
  5. 挂载驱动器,然后在资源管理器或 Finder 中打开。

各服务商的详细指南:Mount Google Cloud Storage on Windows、Mount Azure Blob on macOS 和 Mount MinIO on Windows。

NetDrive 中提供挂载操作的驱动器条目

实用习惯

使用最小权限密钥。 挂载驱动器的安全性取决于背后的凭据。请为挂载单独创建范围受限的密钥,不要重复使用管理员密钥。

数据到达后刷新。 如果数据管道在有人打开文件夹时写入了新文件,可使用 NetDrive 的强制刷新文件夹来查看,详见 Force Folder Refresh。

大型列表需要时间。 包含大量对象的超大存储桶,列出内容可能较慢。Fix Slow S3 Directory Listing 介绍了有效的办法。

留意缓存。 NetDrive 会在本地缓存你访问过的文件。如果分析师一次打开很多大文件,建议了解一下缓存大小选项(100 GB 到 1 TB)。

NetDrive 中用于显示新写入文件的刷新文件夹选项

了解局限

NetDrive 是挂载工具,不是数据处理引擎,也不是批量传输工具:它的作用是让桌面应用能够访问云端文件。它没有离线模式,因此工作时需要连接到存储。它也没有客户端加密功能,静态数据的保护请依靠服务商提供的控制措施。对于在服务器上运行的自动化管道,请使用平台原生的存储工具,而将 NetDrive 留给在桌面应用中工作的人。

总结

对于主要使用桌面工具的分析师和机器学习工程师来说,以只读方式挂载团队存储桶,可以省去反复发送导出链接的麻烦,并保护源数据安全。先从一个存储桶、一把受限密钥和一个只读驱动器开始,再根据团队需要逐步增加。

— Robin, NetDrive