Alibaba Cloud unter Linux einbinden — NetDrives Experimental-Build

Eine Datenpipeline auf einer Ubuntu-Maschine muss Modell-Checkpoints lesen, die in einem Alibaba Cloud OSS-Bucket liegen, aber das Tooling des Teams erwartet einen normalen Dateisystempfad, keinen SDK-Aufruf in jedem Skript verdrahtet. Den gesamten Bucket vorher herunterzuladen, verfehlt den Zweck, sobald die Checkpoints in die Hunderte von Gigabyte gehen. NetDrives Linux-Build bindet diesen OSS-Bucket an einem regulären Ubuntu-Mountpunkt ein, sodass der open()-Aufruf eines Trainingsskripts direkt auf das Objekt zugreift — genau wie bei einem unter Windows oder macOS eingebundenen Bucket.

Alibaba Cloud OSS unter Linux einbinden

Mit NetDrive erscheinen Google Drive, OneDrive, S3, SFTP, WebDAV und mehr als native Laufwerke unter Windows und macOS — ohne Synchronisation, ohne vollständige Downloads.

• OSS-Buckets erscheinen als regulärer Ubuntu-Mountpunkt
• Dateien streamen bei Bedarf — kein Sync-Client, kein vorheriger Download des gesamten Buckets
• Läuft parallel zu S3, Wasabi, Tencent Cloud und über 20 weiteren Anbietern

WindowsmacOS

NetDrive für Linux herunterladen →

Kostenlose Testversion. Lifetime- und Abo-Pläne verfügbar.

Warum ein Mountpunkt hier besser ist als das SDK

Alibaba Clouds eigenes Tooling — die ossutil-CLI oder die OSS-SDKs — funktioniert gut, wenn ein Skript speziell dafür geschrieben wird, es aufzurufen. Schwieriger wird es, wenn der Konsument etwas ist, das man nicht selbst kontrolliert: ein Trainingsjob, der erwartet, dass torch.load() einen lokalen Pfad öffnet, ein grep über ein Verzeichnis mit Log-Exports, oder ein Legacy-Tool, das nie umgeschrieben werden sollte, um eine Objektspeicher-API zu sprechen. NetDrive löst diese Lesevorgänge über den Mountpunkt gegen den Bucket auf, sodass alles, was Dateien per Pfad öffnet, ohne Änderung funktioniert.

Alibaba-Cloud-Unterstützung gibt es in NetDrive seit Version 3.17.799 (November 2022), demselben Release, das auch Tencent Cloud hinzufügte. Das aktuelle Release, 3.19.7, wird für den Linux-Build ebenso empfohlen wie für jede andere Plattform.

NetDrive unter Ubuntu installieren

NetDrive für Linux wird über GitHub verteilt, nicht über Ubuntus Paketquellen:

1. Gehe zu github.com/NetDrive/installer und lade das Release passend zu deiner Ubuntu-Version herunter.
2. Folge den Release Notes dieses Repositories, um die Treiberkomponente zu installieren, die NetDrive braucht, bevor es überhaupt etwas einbinden kann.
3. Installiere das NetDrive-Paket selbst.
4. Starte NetDrive. Beim ersten Start wird die Treiberkomponente geladen, was nach sudo fragen kann.

Die minimal unterstützte Version ist Ubuntu 16.04. Da Updates als GitHub-Releases kommen statt über apt upgrade, sollte das in jedem Runbook vermerkt werden, das die Maschine abdeckt. Linux trägt dasselbe Experimental-Label, das NetDrives Vergleichsseite durchgängig verwendet — Windows und macOS erhalten den Großteil der Tests, daher passt ein Linux-OSS-Mount besser zu einer Dev-Maschine, einem Trainingsknoten oder einem CI-Runner als zu einem unbeaufsichtigten Produktionsjob, den man nicht selbst getestet hat.

Was du vor der Verbindung brauchst

• AccessKey ID und AccessKey Secret — lege in der Alibaba-Cloud-Konsole einen RAM-Benutzer mit OSS-Berechtigungen an und erzeuge dann ein Schlüsselpaar unter diesem Benutzer, statt den Root-Key des Kontos zu verwenden.
• OSS-Endpoint — der regionsspezifische Endpoint für den Bucket, etwa oss-cn-hangzhou.aliyuncs.com oder oss-us-west-1.aliyuncs.com, sichtbar auf der Übersichtsseite des Buckets.
• Bucket-Name — der genaue Name des einzubindenden Buckets.

Schritt für Schritt: Alibaba Cloud unter Ubuntu verbinden

1. Öffne NetDrives Drive Manager und klicke auf + Add Drive.
2. Wähle Alibaba Cloud aus der Liste der Verbindungstypen.
3. Gib AccessKey ID und Secret ein, dazu den OSS-Endpoint und den Bucket-Namen.
4. Lege einen Mountpunkt fest — einen Pfad wie /mnt/oss-checkpoints oder ein beliebiges leeres Verzeichnis mit Schreibrechten.
5. Klicke auf Connect. NetDrive authentifiziert sich und bindet den Bucket an diesem Pfad ein.

Den Mount vor dem produktiven Einsatz überprüfen

Bestätige den erfolgreichen Mount über ein Terminal, statt allein der GUI zu vertrauen:

# Confirm the mount is listed
mount | grep oss

# Or just try listing it
ls /mnt/oss-checkpoints

Kommt die Auflistung zunächst leer zurück, gib ihr einen Moment — ein Bucket mit vielen Objekten kann ein paar Sekunden brauchen, um sein Root zu füllen. Bleibt sie danach weiter leer, prüfe zuerst AccessKey-Paar und Endpoint; ein falscher Regions-Endpoint ist der häufigste Grund, warum eine OSS-Verbindung beim ersten Versuch nicht authentifiziert.

Bei schreibintensiven Jobs — etwa wenn nach einem Lauf ein Stapel verarbeiteter Ausgabeobjekte zurück in den Bucket geschrieben wird — stellt NetDrive den Transfer im Hintergrund in eine Warteschlange, statt den auslösenden Prozess zu blockieren.

Worauf man sich beim Linux-Build einstellen sollte

• Eigener Release-Zyklus — die Linux-Treiberkomponente erscheint nach eigenem Zeitplan, ein Fix für Windows oder macOS erreicht Linux also nicht automatisch in derselben Woche.
• Keine apt-Integration — Installation und Updates laufen über GitHub-Releases, nicht über Ubuntus Standard-Paketmanager.
• Windows und macOS sind die gehärteten Zielplattformen — NetDrives eigene Empfehlung behandelt sie als produktionsreif; Linux ist als experimentell gekennzeichnet. Teste gründlich auf eigener Hardware, bevor ein unbeaufsichtigter Produktionsjob auf einen Linux-OSS-Mount zugreift.

Fazit

Das Einbinden von Alibaba Cloud OSS unter Ubuntu gibt einer Linux-Maschine denselben laufwerksähnlichen Zugriff, den NetDrive unter Windows und macOS bietet, über einen Installer, der auf GitHub statt in apt liegt. Für denselben Anbieter auf einer stärker getesteten Plattform siehe Mount Alibaba Cloud on Windows with NetDrive oder Mount Alibaba Cloud on macOS with NetDrive. Für das größere Linux-Bild siehe NetDrive on Ubuntu Linux.

— Alex, NetDrive