資料科學團隊如何使用 NetDrive — 把雲端資料集變成本機磁碟機

閱讀時間 5 分鐘 use-case object-storage data-science
Robin
RobinDeveloper Advocate
分析師與機器學習工程師如何用 NetDrive 將 S3、Google Cloud Storage、Azure Blob 或 MinIO 掛載為磁碟機,並在 Notebook 與桌面工具中開啟資料集。

一位分析師需要開啟團隊儲存貯體裡一個 6 GB 的 CSV 檔案。她慣用的桌面 BI 工具沒有對應的連接器,Notebook 需要的是檔案路徑,而負責這個儲存貯體的資料工程師也不想每週都發一次性的匯出連結。最簡單的辦法,就是給她一個指向儲存貯體的磁碟機代號。

NetDrive drive manager showing Google Drive, S3 and pCloud mounted as drive lettersMounted clouds appearing as native drives in Windows File Explorer

把物件儲存中的資料集變成磁碟機

NetDrive 讓 Google Drive、OneDrive、S3、SFTP、WebDAV 等在 Windows 與 macOS 上顯示為原生磁碟機 — 不需同步,也不需完整下載。

  • 掛載 S3、Google Cloud Storage、Azure Blob 或 MinIO
  • 使用唯讀磁碟機,分析師無法更動來源資料
  • 支援 Windows 和 macOS,任何能開啟檔案的應用程式都可使用
WindowsmacOS
下載 NetDrive →

免費試用。提供終身與訂閱方案。

為什麼掛載的磁碟機適合資料工作

許多日常工具只認檔案路徑:試算表應用程式、桌面視覺化軟體、圖片檢視器,以及為本機 data/ 資料夾撰寫的指令碼。NetDrive 會掛載物件儲存,讓這些工具像讀取一般磁碟機一樣讀取它。資料仍留在儲存貯體中,大家只開啟自己需要的內容。

NetDrive 支援 Amazon S3 與 S3 相容儲存(Wasabi、MinIO)、Google Cloud Storage、Azure Blob Storage 以及 Azure File Storage。如果你的資料集分布在多個雲端,可以把每個雲端分別掛載為獨立的磁碟機,並排使用。

NetDrive 磁碟機管理員,列出同時掛載的多個雲端儲存磁碟機

用唯讀磁碟機保護來源資料

對原始資料儲存貯體開放較廣的存取權限時,最令人擔心的是不小心把檔案存到錯誤的資料夾。NetDrive 可以將磁碟機掛載為唯讀,分析師可以開啟、複製和分析檔案,但無法覆寫或刪除原始檔案。把寫入權限留給資料管線或資料工程師,其他人則使用唯讀掛載。更多內容請見 Read-Only Drive in NetDrive。

如果還需要一個存放結果的儲存貯體,請將它作為一般磁碟機單獨掛載,這樣輸出檔案會落在可寫入、且與來源資料分開的位置。

設定步驟

  1. 開啟 NetDrive,點選 Add Drive。
  2. 選擇儲存類型,例如 Amazon S3、Google Cloud Storage 或 Azure Blob Storage。
  3. 輸入憑證,使用權限限定在該儲存貯體的帳戶,並採用只具備必要權限的金鑰。
  4. 選擇掛載選項,來源資料磁碟機請選擇唯讀。
  5. 掛載磁碟機,然後在檔案總管或 Finder 中開啟。

各服務供應商的詳細指南:Mount Google Cloud Storage on Windows、Mount Azure Blob on macOS 和 Mount MinIO on Windows。

NetDrive 中提供掛載操作的磁碟機項目

實用習慣

使用最小權限金鑰。 掛載磁碟機的安全性取決於背後的憑證。請為掛載單獨建立範圍受限的金鑰,不要重複使用管理員金鑰。

資料抵達後重新整理。 如果資料管線在有人開啟資料夾時寫入了新檔案,可使用 NetDrive 的強制重新整理資料夾來查看,詳見 Force Folder Refresh。

大型清單需要時間。 包含大量物件的超大儲存貯體,列出內容可能較慢。Fix Slow S3 Directory Listing 介紹了有效的辦法。

留意快取。 NetDrive 會在本機快取你存取過的檔案。如果分析師一次開啟很多大型檔案,建議了解一下快取大小選項(100 GB 到 1 TB)。

NetDrive 中用於顯示新寫入檔案的重新整理資料夾選項

了解限制

NetDrive 是掛載工具,不是資料處理引擎,也不是大量傳輸工具:它的作用是讓桌面應用程式能夠存取雲端檔案。它沒有離線模式,因此作業時需要連線到儲存空間。它也沒有用戶端加密功能,靜態資料的保護請仰賴服務供應商提供的控管措施。對於在伺服器上執行的自動化管線,請使用平台原生的儲存工具,而將 NetDrive 留給在桌面應用程式中工作的人。

總結

對於主要使用桌面工具的分析師與機器學習工程師來說,以唯讀方式掛載團隊儲存貯體,可以省去反覆傳送匯出連結的麻煩,並保護來源資料安全。先從一個儲存貯體、一把受限金鑰和一個唯讀磁碟機開始,再依團隊需求逐步增加。

— Robin, NetDrive