Tencent Cloud COS в Linux — экспериментальный NetDrive для Ubuntu

Конвейер транскодирования на платформе коротких видео работает на парке воркеров Ubuntu, которым нужно читать исходные загрузки прямо из Tencent Cloud Object Storage (COS) — без SDK, встроенного в каждый скрипт воркера, просто путь, который job на ffmpeg может открыть. Копирование исходных файлов перед каждым job тратит диск и время, когда очередь обрабатывает тысячи клипов в день. Сборка NetDrive для Linux монтирует бакет COS как обычную точку монтирования Ubuntu, поэтому чтение файла воркером обращается прямо к бакету — то же взаимодействие, которое NetDrive даёт пользователям Windows и macOS в виде буквы диска.

Монтирование Tencent Cloud COS в Linux

NetDrive показывает Google Drive, OneDrive, S3, SFTP, WebDAV и другие хранилища как обычные диски в Windows и macOS — без синхронизации и полной загрузки файлов.

• Бакеты COS выглядят как обычная точка монтирования Ubuntu
• Файлы передаются по запросу — без полной загрузки бакета перед началом job
• Работает рядом с S3, Alibaba Cloud и 20+ другими провайдерами на той же машине

WindowsmacOS

Скачать NetDrive для Linux →

Бесплатный пробный период. Доступны бессрочная лицензия и подписка.

Tencent Cloud в сборке NetDrive для Linux

NetDrive добавил поддержку Tencent Cloud в версии 3.17.799 (ноябрь 2022), в том же релизе, что и Alibaba Cloud. На Windows и macOS эта поддержка считается промышленной; на Linux она несёт метку experimental, которую NetDrive применяет ко всей сборке для Linux, а не к какому-то конкретному провайдеру. Текущий релиз NetDrive на всех десктопных платформах — 3.19.7.

NetDrive для Linux не распространяется через apt или менеджер пакетов дистрибутива — он публикуется как релиз на GitHub по адресу github.com/NetDrive/installer, где Ubuntu 16.04 — минимальная поддерживаемая версия.

Установка NetDrive на Ubuntu

1. Перейдите на github.com/NetDrive/installer и скачайте релиз, соответствующий вашей версии Ubuntu.
2. Следуйте прилагаемым release notes, чтобы установить компонент драйвера, необходимый NetDrive перед монтированием чего-либо, — процесс может запросить sudo.
3. Установите пакет NetDrive.
4. Запустите NetDrive из терминала или меню приложений вашего окружения рабочего стола.

Сборки для Linux выходят по собственному графику релизов, отдельно от обновлений Windows и macOS. Исправление, вышедшее для одной платформы на этой неделе, не гарантированно дойдёт до сборки для Linux в ту же неделю — это стоит учитывать, если автономные воркер-узлы зависят от конкретного поведения NetDrive.

Сбор учётных данных Tencent COS

Соберите это до открытия NetDrive, всё из консоли Tencent Cloud:

• SecretId и SecretKey — из CAM → API Keys (console.cloud.tencent.com/cam/capi).
• Имя бакета — отображается как <BucketName>-<AppId>, например raw-uploads-1250000001.
• Регион и эндпоинт — например ap-guangzhou, что даёт эндпоинт cos.ap-guangzhou.myqcloud.com.

Пошагово: подключение Tencent Cloud в Ubuntu

1. Откройте Drive Manager в NetDrive и нажмите + Add Drive.
2. Выберите Tencent Cloud из списка типов подключения.
3. Введите SecretId и SecretKey, эндпоинт (cos.<region>.myqcloud.com) и полное имя бакета, включая суффикс AppId.
4. Задайте точку монтирования — путь вроде /mnt/cos-uploads или любую пустую директорию, в которую ваш пользователь может писать.
5. Нажмите Connect. NetDrive аутентифицируется в Tencent COS и монтирует бакет по этому пути.

Проверка монтирования перед тем, как на него полагаться

Подтверждайте монтирование из терминала, а не полагайтесь только на файловый менеджер, особенно на экспериментальной сборке:

# Confirm the mount is listed
mount | grep cos

# Or just try listing it
ls /mnt/cos-uploads

Точка монтирования остаётся пустой после Connect — проверьте, что директория существует и доступна для записи пользователю, от имени которого запущен NetDrive. Недоступная для записи или отсутствующая точка монтирования — самая частая причина тихого сбоя в Linux.

Аутентификация не проходит при первой попытке — проверьте, что имя бакета включает суффикс AppId (raw-uploads-1250000001, а не просто raw-uploads) и что регион в эндпоинте совпадает с фактическим регионом бакета в консоли. Несовпадающий регион в эндпоинте — самая частая причина отклонённого подключения, даже когда SecretId и SecretKey верны.

Бакет с большим числом объектов при первом обращении загружается медленно — сборка для Linux передаёт списки директорий тем же способом, что Windows и macOS, поэтому бакет с десятками тысяч объектов требует времени на заполнение при первом просмотре.

Фоновые загрузки для job с интенсивной записью

Для конвейера транскодирования, который записывает обработанный результат обратно в бакет после каждого job, NetDrive ставит эти записи в фоновую очередь, а не блокирует процесс, который их инициировал:

Это важно для скрипта воркера, которому нужно сразу перейти к следующему элементу очереди после передачи выходного файла, не дожидаясь завершения загрузки, чтобы продолжить работу.

Что учитывать в сборке для Linux

• Отдельный график релизов — драйвер для Linux выходит по собственному расписанию, независимо от Windows и macOS.
• Нет интеграции с менеджером пакетов — установка и обновления идут через релизы на GitHub, а не через apt.
• Windows и macOS остаются наиболее проверенными платформами — отнеситесь к автономному продуктивному парку воркеров на Linux как к тому, что стоит тщательно протестировать на собственном железе, учитывая метку experimental.

Итог

Монтирование Tencent Cloud COS в Ubuntu даёт парку воркеров на Linux тот же доступ в стиле диска, который NetDrive предоставляет в Windows и macOS, через установщик, распространяемый на GitHub вместо apt. Для того же провайдера на более тщательно протестированной платформе см. Mount Tencent Cloud on Windows with NetDrive; для более широкой картины по Linux см. NetDrive on Ubuntu Linux; а для другого регионального провайдера в этой же сборке для Linux см. Mount Alibaba Cloud on Linux with NetDrive.

— Robin, NetDrive