Große Dateien zu Amazon S3 hochladen — wichtige NetDrive-Einstellungen
Mehrere GB große Dateien über NetDrive nach Amazon S3 kopieren? Multipart ab 5 GB, Upload-Modus, Bandbreitenlimit und Cache-Größe für große Uploads im Überblick.
Eine Render-Farm schließt um 2 Uhr nachts einen 60-GB-Szenen-Cache ab, und die Künstlerin, die ihn braucht, zieht ihn vor Feierabend auf einen Laufwerksbuchstaben, hinter dem ein S3-Bucket steckt. Am Morgen stellt sich die Frage, ob die Datei angekommen ist und ob der Upload in der Zwischenzeit die Büroleitung für alle anderen blockiert hat. Große Objekte verhalten sich anders als ein Ordner voller Dokumente, und einige NetDrive-Einstellungen entscheiden darüber, wie gut es läuft.
Große Dateien, entspannte Uploads
Mit NetDrive erscheinen Google Drive, OneDrive, S3, SFTP, WebDAV und mehr als native Laufwerke unter Windows und macOS — ohne Synchronisation, ohne vollständige Downloads.
- Amazon-S3-Dateien ab 5 GB werden seit NetDrive 3.5.434 unterstützt
- Der Hintergrund-Upload hält Explorer und Finder reaktionsfähig
- Bandbreiten- und Cache-Steuerung pro Laufwerk
Kostenlose Testversion. Lifetime- und Abo-Pläne verfügbar.
Warum 5 GB die entscheidende Zahl ist
Amazon S3 akzeptiert pro Upload-Anfrage maximal 5 GB. Alles, was größer ist, muss in Teilen gesendet werden, und S3-Objekte können insgesamt bis zu 5 TB erreichen, siehe die AWS-Dokumentation zum Hochladen von Objekten. NetDrive unterstützt S3-Dateien ab 5 GB seit Version 3.5.434 (Mai 2018). Ein Laufwerksbuchstabe, hinter dem S3 steckt, nimmt also ein 40-GB-Archiv genauso auf wie eine Tabelle. Sie müssen nichts von Hand aufteilen.
Zuerst den Upload-Modus wählen
Jedes Laufwerk hat einen Upload-Modus. Asynchronous lässt den Kopiervorgang sofort zurückkehren, und die Datei wird aus einer Warteschlange im Hintergrund fertig hochgeladen, sodass Ihr Dateimanager während einer 60-GB-Übertragung nicht einfriert. Synchronous wartet, bis der Upload tatsächlich abgeschlossen ist, und eignet sich für Skripte, die wissen müssen, dass das Objekt existiert, bevor der nächste Schritt läuft.
Wenn Sie große Dateien von Hand hineinziehen, lassen Sie den Modus auf asynchron und beobachten Sie den Fortschritt in der Upload-Warteschlange. Für einen automatisierten Job stellen Sie nur dieses eine Laufwerk auf synchron um. Der vollständige Vergleich steht in Hintergrund-Upload-Modus in NetDrive.
Die Büroleitung nutzbar halten
Ein großer Upload nimmt sich jede Bandbreite, die er finden kann. NetDrive hat eine benutzerdefinierte Bandbreiteneinstellung, damit eine einzelne Übertragung weder Videoanrufe noch den Datenverkehr aller anderen ausbremst. Begrenzen Sie sie während der Arbeitszeit unterhalb Ihrer Leitungsgeschwindigkeit und erhöhen Sie sie für nächtliche Läufe. Details finden Sie unter Bandbreitenlimit in NetDrive.
Den lokalen Cache im Blick behalten
NetDrive nutzt für eingebundene Laufwerke einen lokalen Cache. Seit 3.16.589 ist die Cache-Größe einstellbar, mit Optionen von 100 GB bis 1 TB. Wenn Sie regelmäßig einzelne Dateien im zweistelligen Gigabyte-Bereich hochladen, achten Sie darauf, dass der Datenträger mit dem Cache genug Reserve hat, und wählen Sie eine passende Größe. Die Abwägungen behandelt Cache-Größen-Optionen in NetDrive.
Eine praktische Checkliste
- Öffnen Sie NetDrive und wählen Sie das S3-Laufwerk im Drive Manager aus.
- Öffnen Sie die Laufwerkseinstellungen und prüfen Sie, ob der Upload-Modus zu Ihrem Einsatz passt: asynchron für die Arbeit von Hand, synchron für Skripte.
- Legen Sie ein Bandbreitenlimit fest, wenn andere die Verbindung mitnutzen.
- Prüfen Sie den freien Speicherplatz dort, wo der Cache liegt, und wählen Sie eine Cache-Größe, die zu Ihrer größten Datei passt.
- Kopieren Sie die Datei auf das Laufwerk und beobachten Sie die Upload-Warteschlange, bis sie fertig ist.
- Prüfen Sie das Ergebnis in der Bucket-Auflistung oder öffnen Sie den Bucket im File Browser, bevor Sie das lokale Original löschen.
Grenzen, die Sie kennen sollten
NetDrive hat keinen Offline-Modus, deshalb braucht ein Laufwerk die Verbindung zum Anbieter, um weiterzuarbeiten. Riesige Uploads sind nur so schnell, wie Ihre Upstream-Leitung und Ihre S3-Region es zulassen. Wenn Uploads mit Berechtigungsfehlern scheitern, lesen Sie S3-Access-Denied-Fehler beheben.
Fazit
Große S3-Uploads hängen vor allem davon ab, den richtigen Modus zu wählen, die Bandbreite sinnvoll zu begrenzen und dem Cache genug Platz zu lassen. Wenn Sie noch keinen Bucket verbunden haben, starten Sie mit Amazon S3 unter Windows einbinden oder unter macOS.
— Jay, NetDrive