データサイエンスチームのNetDrive活用 — クラウドのデータセットをローカルドライブに

読了目安 6 分 use-case object-storage data-science
Robin
RobinDeveloper Advocate
アナリストやMLエンジニアがNetDriveでS3、Google Cloud Storage、Azure Blob、MinIOをドライブとしてマウントし、ノートブックやデスクトップツールでデータセットを開く方法です。

あるアナリストが、チームのバケットにある6GBのCSVを開かなければなりません。普段使っているデスクトップのBIツールにはそのバケット用のコネクタがなく、ノートブックはファイルパスを要求し、バケットを管理するデータエンジニアは毎週使い捨てのエクスポートリンクを配りたくありません。いちばん手短な方法は、バケットを指すドライブレターを渡すことです。

NetDrive drive manager showing Google Drive, S3 and pCloud mounted as drive lettersMounted clouds appearing as native drives in Windows File Explorer

オブジェクトストレージのデータセットをドライブとして

NetDrive を使えば Google Drive、OneDrive、S3、SFTP、WebDAV などが Windows と macOS でネイティブドライブとして表示されます — 同期も、まるごとダウンロードも不要です。

  • S3、Google Cloud Storage、Azure Blob、MinIOをマウント
  • 読み取り専用ドライブで、アナリストが元データを変更できないように保護
  • ファイルを開けるどのアプリでも、WindowsとmacOSで利用可能
WindowsmacOS
NetDriveをダウンロード →

無料トライアル。永久ライセンスとサブスクリプションプランあり。

マウントしたドライブがデータ作業に向く理由

スプレッドシートアプリ、デスクトップの可視化ソフト、画像ビューア、ローカルの data/ フォルダ向けに書かれたスクリプトなど、日常的なツールの多くはファイルパスしか理解しません。NetDriveはオブジェクトストレージをマウントし、こうしたツールが他のドライブと同じように読めるようにします。データはバケットに残ったまま、必要なものだけを開きます。

NetDriveはAmazon S3とS3互換ストレージ(Wasabi、MinIO)、Google Cloud Storage、Azure Blob Storage、Azure File Storageに対応しています。データセットが複数のクラウドにまたがる場合は、それぞれを別のドライブとして並べてマウントできます。

複数のクラウドストレージドライブを同時にマウントしたNetDriveのドライブマネージャー

読み取り専用ドライブで元データを守る

生データのバケットに広い権限を与えるとき、いちばん怖いのは間違ったフォルダへの誤保存です。NetDriveではドライブを読み取り専用でマウントできるため、アナリストはファイルを開き、コピーし、分析できますが、元ファイルを上書き・削除することはできません。書き込み権限はパイプラインやデータエンジニアだけに残し、それ以外の人には読み取り専用マウントを渡しましょう。詳しくはRead-Only Drive in NetDriveをご覧ください。

結果用のバケットも欲しい場合は、通常のドライブとして別にマウントします。そうすれば出力は、元データとは別の書き込み可能な場所に保存されます。

セットアップ手順

  1. NetDriveを開き、Add Driveをクリックします。
  2. ストレージの種類を選びます。 例: Amazon S3、Google Cloud Storage、Azure Blob Storage。
  3. 認証情報を入力します。 バケットに限定したアカウントを使い、必要な権限だけを持つキーを使ってください。
  4. マウントオプションを選びます。 元データ用のドライブには読み取り専用を選びましょう。
  5. ドライブをマウントし、エクスプローラーまたはFinderで開きます。

プロバイダー別のガイド: Mount Google Cloud Storage on Windows、Mount Azure Blob on macOS、Mount MinIO on Windows。

マウント操作が利用できるNetDriveのドライブ項目

実践のコツ

最小権限のキーを使う。 マウントしたドライブの安全性は、その背後にある認証情報で決まります。管理者キーを使い回さず、マウント専用に範囲を絞ったキーを作成してください。

データが届いたら更新する。 誰かがフォルダを開いている間にパイプラインが新しいファイルを書き込んだ場合は、NetDriveの強制フォルダ更新で表示できます。Force Folder Refreshをご覧ください。

大きな一覧表示には時間がかかる。 オブジェクト数が非常に多い大規模なバケットは、一覧表示が遅くなることがあります。Fix Slow S3 Directory Listingで、効果のある対処を紹介しています。

キャッシュに注意する。 NetDriveはアクセスしたファイルをローカルにキャッシュします。アナリストが一度に大きなファイルを多数開くなら、cache size options(100GB〜1TB)を確認する価値があります。

新しく書き込まれたファイルを反映するためのNetDriveのフォルダ更新オプション

制限事項を知っておく

NetDriveはマウントツールであり、データ処理エンジンや大量転送ツールではありません。クラウド上のファイルにデスクトップアプリからアクセスできるようにするものです。オフラインモードはないため、作業にはストレージへの接続が必要です。クライアント側暗号化の機能もないため、保存データの保護にはプロバイダーの管理機能を利用してください。サーバー上で動く自動化パイプラインにはプラットフォーム標準のストレージツールを使い、NetDriveはデスクトップアプリで作業する人のために使い分けましょう。

まとめ

デスクトップツールで作業するアナリストやMLエンジニアにとって、チームのバケットを読み取り専用でマウントすれば、エクスポートリンクのやり取りが不要になり、元データも安全に保てます。まずはバケット1つ、範囲を絞ったキー、読み取り専用ドライブから始め、チームの必要に応じて増やしていきましょう。

— Robin, NetDrive

← 記事一覧 フォーラムで議論する →