Monter Alibaba Cloud sur Linux — version expérimentale de NetDrive

Un pipeline de données tournant sur une machine Ubuntu doit lire des points de contrôle de modèle stockés dans un bucket Alibaba Cloud OSS, mais l’outillage de l’équipe attend un simple chemin de système de fichiers, pas un appel SDK câblé dans chaque script. Télécharger tout le bucket au préalable va à l’encontre du but recherché quand les points de contrôle atteignent des centaines de gigaoctets. La version Linux de NetDrive monte ce bucket OSS à un point de montage Ubuntu classique, si bien que l’appel open() d’un script d’entraînement accède directement à l’objet, comme il le ferait avec un bucket monté sur Windows ou macOS.

Monter Alibaba Cloud OSS sur Linux

Avec NetDrive, Google Drive, OneDrive, S3, SFTP, WebDAV et plus apparaissent comme des lecteurs natifs sur Windows et macOS — sans synchronisation ni téléchargement complet.

• Les buckets OSS apparaissent comme un point de montage Ubuntu classique
• Les fichiers sont diffusés à la demande — pas de client de synchronisation, pas de téléchargement complet du bucket au préalable
• Fonctionne en parallèle avec S3, Wasabi, Tencent Cloud et plus de 20 autres fournisseurs

WindowsmacOS

Télécharger NetDrive pour Linux →

Essai gratuit. Licences à vie et abonnements disponibles.

Pourquoi un point de montage l’emporte sur le SDK ici

Les outils propres d’Alibaba Cloud — le CLI ossutil ou les SDK OSS — fonctionnent bien quand un script est écrit spécifiquement pour les appeler. C’est moins adapté quand le consommateur est quelque chose qu’on ne contrôle pas : une tâche d’entraînement qui attend que torch.load() ouvre un chemin local, un grep sur un répertoire d’exports de logs, ou un outil hérité qui ne sera jamais réécrit pour parler une API de stockage objet. NetDrive résout ces lectures sur le bucket via le point de montage, si bien que tout ce qui ouvre des fichiers par chemin fonctionne sans modification.

Le support d’Alibaba Cloud existe dans NetDrive depuis la version 3.17.799 (novembre 2022), la même version qui a ajouté Tencent Cloud. La version actuelle, 3.19.7, est recommandée pour la version Linux comme pour toutes les autres plateformes.

Installer NetDrive sur Ubuntu

NetDrive pour Linux est distribué via GitHub plutôt que par les dépôts de paquets d’Ubuntu :

1. Allez sur github.com/NetDrive/installer et téléchargez la version correspondant à votre version d’Ubuntu.
2. Suivez les notes de version de ce dépôt pour installer le composant pilote dont NetDrive a besoin avant de pouvoir monter quoi que ce soit.
3. Installez le paquet NetDrive lui-même.
4. Lancez NetDrive. Le premier lancement charge le composant pilote, ce qui peut demander sudo.

La version minimale prise en charge est Ubuntu 16.04. Comme les mises à jour arrivent sous forme de releases GitHub plutôt que via apt upgrade, notez-le dans le runbook qui couvre la machine. Linux porte la même étiquette expérimentale que la page de comparaison de NetDrive applique de manière générale — Windows et macOS reçoivent l’essentiel des tests, donc un montage OSS sous Linux convient mieux à une machine de développement, un nœud d’entraînement ou un exécuteur CI qu’à une tâche de production non surveillée que vous n’avez pas testée vous-même au préalable.

Ce qu’il faut avant de se connecter

• AccessKey ID et AccessKey Secret — créez un utilisateur RAM limité aux permissions OSS dans la console Alibaba Cloud, puis générez une paire de clés pour cet utilisateur plutôt que d’utiliser la clé racine du compte.
• Endpoint OSS — l’endpoint spécifique à la région du bucket, tel que oss-cn-hangzhou.aliyuncs.com ou oss-us-west-1.aliyuncs.com, visible sur la page Overview du bucket.
• Nom du bucket — le nom exact du bucket à monter.

Étape par étape : connecter Alibaba Cloud sur Ubuntu

1. Ouvrez le Drive Manager de NetDrive et cliquez sur + Add Drive.
2. Sélectionnez Alibaba Cloud dans la liste des types de connexion.
3. Saisissez l’AccessKey ID et le Secret, l’endpoint OSS et le nom du bucket.
4. Définissez un point de montage — un chemin comme /mnt/oss-checkpoints, ou tout répertoire vide sur lequel vous avez un accès en écriture.
5. Cliquez sur Connect. NetDrive authentifie et monte le bucket à ce chemin.

Vérifier le montage avant d’en dépendre

Confirmez que le montage a bien eu lieu depuis un terminal plutôt que de vous fier uniquement à l’interface graphique :

# Confirm the mount is listed
mount | grep oss

# Or just try listing it
ls /mnt/oss-checkpoints

Si le listage revient vide au premier essai, laissez-lui un moment — un bucket contenant un grand nombre d’objets peut prendre quelques secondes pour peupler sa racine. S’il reste vide après ça, vérifiez d’abord la paire AccessKey et l’endpoint ; un endpoint régional mal assorti est la raison la plus courante pour laquelle une connexion OSS échoue à s’authentifier lors de la première tentative.

Pour les tâches à forte écriture — renvoyer un lot d’objets traités vers le bucket après une exécution — NetDrive met le transfert en file d’attente en arrière-plan plutôt que de bloquer le processus qui l’a déclenché.

Ce qu’il faut anticiper sur la version Linux

• Cadence de sortie séparée — le composant pilote Linux suit son propre calendrier, si bien qu’un correctif qui arrive sur Windows ou macOS n’atteint pas automatiquement Linux la même semaine.
• Pas d’intégration apt — l’installation et les mises à jour passent par des releases GitHub, pas par le gestionnaire de paquets par défaut d’Ubuntu.
• Windows et macOS sont les cibles éprouvées — les propres recommandations de NetDrive les traitent comme prêts pour la production ; Linux est étiqueté expérimental. Testez soigneusement sur votre propre matériel avant de faire dépendre une tâche de production non surveillée d’un montage OSS sous Linux.

Conclusion

Monter Alibaba Cloud OSS sous Ubuntu donne à une machine Linux le même accès de type lecteur que NetDrive fournit sous Windows et macOS, via un installateur hébergé sur GitHub plutôt que via apt. Pour le même fournisseur sur une plateforme plus largement testée, voir Mount Alibaba Cloud on Windows with NetDrive ou Mount Alibaba Cloud on macOS with NetDrive. Pour une vue d’ensemble de Linux, voir NetDrive on Ubuntu Linux.

— Alex, NetDrive