Подключение Alibaba Cloud на Linux в NetDrive

Конвейер обработки данных, работающий на машине с Ubuntu, должен читать чекпоинты модели, хранящиеся в бакете Alibaba Cloud OSS, но инструменты команды ожидают обычный путь в файловой системе, а не вызов SDK, встроенный в каждый скрипт. Скачивание всего бакета целиком лишено смысла, когда чекпоинты занимают сотни гигабайт. Linux-сборка NetDrive подключает этот OSS-бакет как обычную точку монтирования Ubuntu, поэтому вызов open() в обучающем скрипте обращается к объекту напрямую — точно так же, как это было бы с бакетом, подключённым на Windows или macOS.

Подключите Alibaba Cloud OSS на Linux

NetDrive показывает Google Drive, OneDrive, S3, SFTP, WebDAV и другие хранилища как обычные диски в Windows и macOS — без синхронизации и полной загрузки файлов.

• Бакеты OSS отображаются как обычная точка монтирования Ubuntu
• Файлы передаются по требованию — без клиента синхронизации и без предварительной загрузки всего бакета
• Работает параллельно с S3, Wasabi, Tencent Cloud и более чем 20 другими провайдерами

WindowsmacOS

Скачать NetDrive для Linux →

Бесплатный пробный период. Доступны бессрочная лицензия и подписка.

Почему точка монтирования лучше SDK в этом случае

Собственные инструменты Alibaba Cloud — CLI ossutil или SDK для OSS — прекрасно подходят, когда скрипт изначально написан для их вызова. Они хуже подходят, когда потребитель — это нечто, что вы не контролируете: обучающая задача, ожидающая, что torch.load() откроет локальный путь, grep по каталогу с экспортами логов, или устаревший инструмент, который никто не собирается переписывать под API объектного хранилища. NetDrive разрешает такие обращения к бакету через точку монтирования, поэтому всё, что открывает файлы по пути, работает без изменений.

Поддержка Alibaba Cloud присутствует в NetDrive начиная с версии 3.17.799 (ноябрь 2022 года) — того же релиза, в котором появилась поддержка Tencent Cloud. Текущий релиз, 3.19.7, рекомендуется для Linux-сборки, как и для любой другой платформы.

Установка NetDrive на Ubuntu

NetDrive для Linux распространяется через GitHub, а не через репозитории пакетов Ubuntu:

1. Перейдите на github.com/NetDrive/installer и скачайте релиз, соответствующий вашей версии Ubuntu.
2. Следуйте примечаниям к релизу этого репозитория, чтобы установить компонент драйвера, без которого NetDrive не сможет ничего подключить.
3. Установите сам пакет NetDrive.
4. Запустите NetDrive. При первом запуске загружается компонент драйвера, что может потребовать sudo.

Минимальная поддерживаемая версия — Ubuntu 16.04. Поскольку обновления приходят в виде релизов GitHub, а не через apt upgrade, отметьте это в любом регламенте, который описывает эту машину. Linux несёт ту же пометку экспериментальная, которую страница сравнения NetDrive применяет повсеместно — Windows и macOS получают основной объём тестирования, поэтому OSS-подключение на Linux больше подходит для машины разработчика, обучающего узла или CI-раннера, чем для неконтролируемой продакшен-задачи, которую вы сами ещё не проверили.

Что нужно перед подключением

• AccessKey ID и AccessKey Secret — создайте RAM-пользователя с правами, ограниченными OSS, в консоли Alibaba Cloud, затем сгенерируйте пару ключей для этого пользователя, а не используйте корневой ключ учётной записи.
• Endpoint OSS — региональный endpoint для бакета, например oss-cn-hangzhou.aliyuncs.com или oss-us-west-1.aliyuncs.com, указанный на странице Overview бакета.
• Имя бакета — точное имя бакета, который нужно подключить.

Пошагово: подключение Alibaba Cloud на Ubuntu

1. Откройте Drive Manager NetDrive и нажмите + Add Drive.
2. Выберите Alibaba Cloud из списка типов подключения.
3. Введите AccessKey ID и Secret, endpoint OSS и имя бакета.
4. Задайте точку монтирования — путь вроде /mnt/oss-checkpoints или любой пустой каталог, к которому у вас есть доступ на запись.
5. Нажмите Connect. NetDrive выполнит аутентификацию и смонтирует бакет по этому пути.

Проверка подключения перед тем, как на него полагаться

Убедитесь, что подключение действительно произошло, через терминал, а не только полагаясь на интерфейс:

# Confirm the mount is listed
mount | grep oss

# Or just try listing it
ls /mnt/oss-checkpoints

Если список сначала возвращается пустым, подождите немного — бакету с большим числом объектов может понадобиться несколько секунд, чтобы заполнить свой корень. Если он всё ещё пуст после этого, прежде всего проверьте пару AccessKey и endpoint — несовпадающий региональный endpoint чаще всего становится причиной того, что подключение OSS не проходит аутентификацию с первой попытки.

Для задач с интенсивной записью — отправки пакета обработанных выходных объектов обратно в бакет после выполнения — NetDrive ставит передачу в очередь в фоновом режиме, не блокируя процесс, который её запустил.

Что стоит учитывать в Linux-сборке

• Отдельный график релизов — компонент драйвера для Linux выпускается по собственному расписанию, поэтому исправление, вышедшее для Windows или macOS, не обязательно попадёт в Linux в ту же неделю.
• Нет интеграции с apt — установка и обновления идут через релизы GitHub, а не через стандартный менеджер пакетов Ubuntu.
• Windows и macOS — основные проверенные платформы — собственные рекомендации NetDrive считают их готовыми к продакшену; Linux помечен как экспериментальный. Тщательно протестируйте на своём оборудовании, прежде чем направлять неконтролируемую продакшен-задачу на OSS-подключение в Linux.

Итоги

Подключение Alibaba Cloud OSS на Ubuntu даёт Linux-машине тот же доступ в стиле диска, который NetDrive обеспечивает на Windows и macOS, через установщик, размещённый на GitHub вместо apt. Для того же провайдера на более тщательно протестированной платформе см. Mount Alibaba Cloud on Windows with NetDrive или Mount Alibaba Cloud on macOS with NetDrive. Более широкую картину по Linux см. в NetDrive on Ubuntu Linux.

— Alex, NetDrive