Data-Science-Teams mit NetDrive — Cloud-Datensätze als lokales Laufwerk
So binden Analysten und ML-Engineers S3, Google Cloud Storage, Azure Blob oder MinIO per NetDrive als Laufwerk ein und öffnen Datensätze in Notebooks und Desktop-Tools.
Eine Analystin muss eine 6 GB große CSV-Datei öffnen, die in einem Team-Bucket liegt. Ihr bevorzugtes Desktop-BI-Tool hat keinen Connector dafür, das Notebook erwartet einen Dateipfad, und der Data Engineer, dem der Bucket gehört, möchte nicht jede Woche einmalige Export-Links verteilen. Der kürzeste Weg: ein Laufwerksbuchstabe, der auf den Bucket zeigt.
Datensätze im Objektspeicher, als Laufwerk
Mit NetDrive erscheinen Google Drive, OneDrive, S3, SFTP, WebDAV und mehr als native Laufwerke unter Windows und macOS — ohne Synchronisation, ohne vollständige Downloads.
- S3, Google Cloud Storage, Azure Blob oder MinIO einbinden
- Schreibgeschütztes Laufwerk, damit Analysten Quelldaten nicht verändern
- Unter Windows und macOS mit jeder App, die Dateien öffnet
Kostenlose Testversion. Lifetime- und Abo-Pläne verfügbar.
Warum ein eingebundenes Laufwerk zur Datenarbeit passt
Viele Alltagswerkzeuge verstehen nur Dateipfade: Tabellenkalkulationen, Desktop-Visualisierungssoftware, Bildbetrachter, ein Skript für einen lokalen data/-Ordner. NetDrive bindet Objektspeicher ein (Mount), sodass diese Tools ihn wie jedes andere Laufwerk lesen. Die Daten bleiben im Bucket; die Leute öffnen, was sie brauchen.
NetDrive unterstützt Amazon S3 und S3-kompatiblen Speicher (Wasabi, MinIO), Google Cloud Storage, Azure Blob Storage und Azure File Storage. Liegen Ihre Datensätze in mehreren Clouds, können Sie jede als eigenes Laufwerk nebeneinander einbinden.
Quelldaten mit einem schreibgeschützten Laufwerk schützen
Das Unangenehmste an breitem Zugriff auf einen Rohdaten-Bucket ist ein versehentliches Speichern im falschen Ordner. NetDrive kann ein Laufwerk schreibgeschützt einbinden: Analysten können Dateien öffnen, herauskopieren und auswerten, aber die Originale nicht überschreiben oder löschen. Schreibrechte bleiben bei der Pipeline oder dem Data Engineer, alle anderen bekommen das schreibgeschützte Laufwerk. Mehr dazu in Read-Only Drive in NetDrive.
Wenn Sie auch einen Bucket für Ergebnisse möchten, binden Sie ihn separat als normales Laufwerk ein. So landen Ausgaben an einem beschreibbaren Ort, getrennt von den Quelldaten.
Einrichtung
- Öffnen Sie NetDrive und klicken Sie auf Add Drive.
- Wählen Sie den Speichertyp, zum Beispiel Amazon S3, Google Cloud Storage oder Azure Blob Storage.
- Geben Sie die Zugangsdaten eines auf den Bucket beschränkten Kontos ein. Verwenden Sie einen Schlüssel mit genau den Berechtigungen, die gebraucht werden.
- Wählen Sie die Mount-Optionen, bei Laufwerken für Quelldaten auch „schreibgeschützt“.
- Binden Sie das Laufwerk ein und öffnen Sie es im Explorer oder Finder.
Anleitungen je Anbieter: Mount Google Cloud Storage on Windows, Mount Azure Blob on macOS und Mount MinIO on Windows.
Bewährte Gewohnheiten
Verwenden Sie einen Schlüssel mit minimalen Rechten. Ein eingebundenes Laufwerk ist nur so sicher wie die Zugangsdaten dahinter. Erstellen Sie einen eigenen, eng begrenzten Schlüssel für den Mount, statt einen Admin-Schlüssel wiederzuverwenden.
Aktualisieren, wenn Daten eintreffen. Schreibt eine Pipeline neue Dateien, während jemand einen Ordner geöffnet hat, zeigt die erzwungene Ordneraktualisierung von NetDrive sie an; siehe Force Folder Refresh.
Große Listings brauchen Zeit. Sehr große Buckets mit vielen Objekten können beim Auflisten langsam sein. Fix Slow S3 Directory Listing zeigt, was hilft.
Beachten Sie den Cache. NetDrive speichert Dateien, auf die Sie zugreifen, lokal im Cache. Öffnen Analysten in einer Sitzung viele große Dateien, lohnt sich ein Blick auf die cache size options (100 GB bis 1 TB).
Grenzen kennen
NetDrive ist ein Mount-Werkzeug, keine Datenverarbeitungs-Engine und kein Tool für Massenübertragungen: Es macht Cloud-Dateien für Desktop-Apps erreichbar. Es gibt keinen Offline-Modus, die Arbeit setzt also eine Verbindung zum Speicher voraus. Es gibt auch keine clientseitige Verschlüsselung, verlassen Sie sich für den Schutz ruhender Daten daher auf die Kontrollen Ihres Anbieters. Für automatisierte Pipelines auf Servern nutzen Sie die nativen Speicher-Tools Ihrer Plattform und setzen NetDrive für die Menschen ein, die in Desktop-Apps arbeiten.
Fazit
Für Analysten und ML-Engineers, die in Desktop-Tools arbeiten, erspart ein schreibgeschützter Mount des Team-Buckets das Export-Link-Ritual und schützt die Quelldaten. Beginnen Sie mit einem Bucket, einem eng begrenzten Schlüssel und einem schreibgeschützten Laufwerk, und ergänzen Sie weitere nach Bedarf des Teams.
— Robin, NetDrive