Équipes data science et NetDrive — vos datasets cloud comme lecteur local
Comment analystes et ingénieurs ML montent S3, Google Cloud Storage, Azure Blob ou MinIO comme lecteur avec NetDrive et ouvrent leurs datasets depuis des notebooks et outils de bureau.
Une analyste doit ouvrir un CSV de 6 Go qui se trouve dans un bucket d’équipe. L’outil de BI de bureau qu’elle préfère n’a pas de connecteur pour celui-ci, le notebook attend un chemin de fichier, et l’ingénieur data qui gère le bucket préfère ne pas distribuer chaque semaine des liens d’export ponctuels. Le chemin le plus court : lui donner une lettre de lecteur qui pointe vers le bucket.
Des datasets de stockage objet, comme un lecteur
Avec NetDrive, Google Drive, OneDrive, S3, SFTP, WebDAV et plus apparaissent comme des lecteurs natifs sur Windows et macOS — sans synchronisation ni téléchargement complet.
- Montez S3, Google Cloud Storage, Azure Blob ou MinIO
- Utilisez un lecteur en lecture seule pour protéger les données sources
- Fonctionne sous Windows et macOS avec toute application qui ouvre des fichiers
Essai gratuit. Licences à vie et abonnements disponibles.
Pourquoi un lecteur monté convient au travail sur les données
De nombreux outils courants ne comprennent que les chemins de fichiers : tableurs, logiciels de visualisation de bureau, visionneuses d’images, un script écrit pour un dossier local data/. NetDrive monte le stockage objet pour que ces outils le lisent comme n’importe quel autre lecteur. Les données restent dans le bucket ; chacun ouvre ce dont il a besoin.
NetDrive prend en charge Amazon S3 et le stockage compatible S3 (Wasabi, MinIO), Google Cloud Storage, Azure Blob Storage et Azure File Storage. Si vos datasets sont répartis sur plusieurs clouds, vous pouvez monter chacun comme un lecteur distinct, côte à côte.
Protéger les données sources avec un lecteur en lecture seule
Le plus inquiétant, quand on donne un large accès à un bucket de données brutes, c’est l’enregistrement accidentel dans le mauvais dossier. NetDrive peut monter un lecteur en lecture seule : les analystes peuvent ouvrir, copier et analyser les fichiers, mais pas écraser ni supprimer les originaux. Gardez l’accès en écriture pour le pipeline ou l’ingénieur data, et donnez à tous les autres le montage en lecture seule. Plus de détails dans Read-Only Drive in NetDrive.
Si vous voulez aussi un bucket pour les résultats, montez-le séparément comme lecteur normal : les sorties atterrissent ainsi dans un endroit accessible en écriture, distinct des sources.
Mise en place
- Ouvrez NetDrive et cliquez sur Add Drive.
- Choisissez le type de stockage, par exemple Amazon S3, Google Cloud Storage ou Azure Blob Storage.
- Saisissez les identifiants d’un compte limité au bucket. Utilisez une clé qui n’a que les permissions nécessaires.
- Choisissez les options de montage, dont la lecture seule pour les lecteurs de données sources.
- Montez le lecteur et ouvrez-le dans l’Explorateur ou le Finder.
Guides par fournisseur : Mount Google Cloud Storage on Windows, Mount Azure Blob on macOS et Mount MinIO on Windows.
Bonnes habitudes
Utilisez une clé à privilèges minimaux. Un lecteur monté n’est aussi sûr que les identifiants qui le sous-tendent. Créez une clé dédiée, aux droits limités, pour le montage plutôt que de réutiliser une clé d’administrateur.
Actualisez à l’arrivée des données. Si un pipeline écrit de nouveaux fichiers pendant qu’un dossier est ouvert, utilisez l’actualisation forcée des dossiers de NetDrive pour les voir ; consultez Force Folder Refresh.
Les grands listages prennent du temps. Les très gros buckets contenant de nombreux objets peuvent être lents à lister. Fix Slow S3 Directory Listing explique ce qui aide.
Surveillez le cache. NetDrive met en cache localement les fichiers que vous consultez. Si les analystes ouvrent beaucoup de gros fichiers en une session, les cache size options (de 100 Go à 1 To) méritent un coup d’œil.
Connaître les limites
NetDrive est un outil de montage, pas un moteur de traitement de données ni un outil de transfert en masse : il rend les fichiers cloud accessibles aux applications de bureau. Il n’a pas de mode hors ligne, le travail exige donc une connexion au stockage. Il n’offre pas non plus de chiffrement côté client ; appuyez-vous sur les contrôles de votre fournisseur pour protéger les données au repos. Pour les pipelines automatisés sur serveur, utilisez les outils de stockage natifs de votre plateforme et gardez NetDrive pour les personnes qui travaillent dans des applications de bureau.
Conclusion
Pour les analystes et ingénieurs ML qui vivent dans des outils de bureau, un montage en lecture seule du bucket d’équipe supprime le rituel des liens d’export et protège les données sources. Commencez par un bucket, une clé limitée et un lecteur en lecture seule, puis ajoutez-en selon les besoins de l’équipe.
— Robin, NetDrive