Загрузка больших файлов в Amazon S3 — важные настройки NetDrive
Копируете файлы на несколько ГБ в Amazon S3 через NetDrive? Multipart от 5 ГБ, режим загрузки, лимит пропускной способности и размер кеша для больших загрузок.
Рендер-ферма в 2 часа ночи заканчивает кеш сцены на 60 ГБ, и художник, которому он нужен, перед уходом перетаскивает его на букву диска, за которой стоит бакет S3. К утру важны два вопроса: дошёл ли файл и не заблокировала ли загрузка офисный канал для всех остальных. Большие объекты ведут себя иначе, чем папка с документами, и несколько настроек NetDrive определяют, насколько гладко всё пройдёт.
Большие файлы, спокойные загрузки
NetDrive показывает Google Drive, OneDrive, S3, SFTP, WebDAV и другие хранилища как обычные диски в Windows и macOS — без синхронизации и полной загрузки файлов.
- Файлы Amazon S3 от 5 ГБ поддерживаются начиная с NetDrive 3.5.434
- Фоновая загрузка не мешает работе Проводника и Finder
- Настройки пропускной способности и кеша для каждого диска
Бесплатный пробный период. Доступны бессрочная лицензия и подписка.
Почему число 5 ГБ важно знать
Amazon S3 принимает в одном запросе на загрузку до 5 ГБ. Всё, что больше, нужно отправлять частями, а сами объекты S3 могут достигать 5 ТБ, как указано в документации AWS по загрузке объектов. NetDrive добавил поддержку файлов S3 от 5 ГБ в версии 3.5.434 (май 2018 года), поэтому буква диска на базе S3 принимает архив на 40 ГБ так же, как электронную таблицу. Вручную ничего делить не нужно.
Сначала выберите режим загрузки
У каждого диска есть режим загрузки. Asynchronous возвращает управление сразу после копирования, а файл дозагружается из фоновой очереди, поэтому файловый менеджер не зависает на время передачи 60 ГБ. Synchronous ждёт, пока загрузка действительно завершится, что подходит для скриптов, которым нужно знать, что объект существует, прежде чем выполнится следующий шаг.
Если вы перетаскиваете большие файлы вручную, оставьте асинхронный режим и следите за ходом в очереди загрузки. Для автоматизированной задачи переключите на синхронный только этот диск. Полное сравнение — в статье Режим фоновой загрузки в NetDrive.
Сохраните офисный канал пригодным для работы
Большая загрузка забирает всю доступную пропускную способность. В NetDrive есть настраиваемый лимит, чтобы одна передача не лишала связи видеозвонки и трафик остальных. Ограничьте его ниже скорости канала в рабочее время и повышайте для ночных запусков. Подробности — в статье Лимит пропускной способности в NetDrive.
Учитывайте локальный кеш
NetDrive использует локальный кеш для подключённых дисков. Начиная с 3.16.589 размер кеша настраивается, доступны варианты от 100 ГБ до 1 ТБ. Если вы регулярно загружаете отдельные файлы в десятки гигабайт, убедитесь, что на диске с кешем достаточно свободного места, и выберите подходящий размер. Компромиссы разобраны в Варианты размера кеша в NetDrive.
Практический чек-лист
- Откройте NetDrive и выберите диск S3 в Drive Manager.
- Откройте настройки диска и убедитесь, что режим загрузки соответствует задаче: асинхронный для ручной работы, синхронный для скриптов.
- Задайте лимит пропускной способности, если канал делят с другими.
- Проверьте свободное место там, где лежит кеш, и выберите размер кеша под самый большой файл.
- Скопируйте файл на диск и следите за очередью загрузки до завершения.
- Проверьте результат в списке бакета или откройте бакет через File Browser, прежде чем удалять локальный оригинал.
Ограничения, о которых стоит знать
В NetDrive нет автономного режима, поэтому для работы диска нужно соединение с провайдером. Скорость огромных загрузок ограничена вашим исходящим каналом и регионом S3. Если загрузка завершается ошибками прав доступа, см. Исправление ошибок S3 Access Denied.
Итоги
Большие загрузки в S3 в основном сводятся к правильному режиму, разумному ограничению пропускной способности и достаточному месту для кеша. Если вы ещё не подключили бакет, начните со статьи Подключение Amazon S3 в Windows или в macOS.
— Jay, NetDrive