NetDrive для команд Data Science — облачные датасеты как локальный диск

Аналитику нужно открыть CSV на 6 ГБ, который лежит в командном бакете. У любимой настольной BI-программы нет коннектора к нему, ноутбук ожидает путь к файлу, а дата-инженер, отвечающий за бакет, не хочет каждую неделю раздавать разовые ссылки для экспорта. Самый короткий путь — выдать букву диска, указывающую на бакет.

Датасеты из объектного хранилища — как диск

NetDrive показывает Google Drive, OneDrive, S3, SFTP, WebDAV и другие хранилища как обычные диски в Windows и macOS — без синхронизации и полной загрузки файлов.

• Монтируйте S3, Google Cloud Storage, Azure Blob или MinIO
• Диск только для чтения: аналитики не смогут изменить исходные данные
• Работает в Windows и macOS с любым приложением, открывающим файлы

WindowsmacOS

Скачать NetDrive →

Бесплатный пробный период. Доступны бессрочная лицензия и подписка.

Почему смонтированный диск подходит для работы с данными

Многие повседневные инструменты понимают только пути к файлам: табличные редакторы, настольное ПО для визуализации, просмотрщики изображений, скрипт, написанный под локальную папку data/. NetDrive монтирует объектное хранилище, и эти программы читают его как любой другой диск. Данные остаются в бакете; люди открывают только то, что нужно.

NetDrive поддерживает Amazon S3 и S3-совместимые хранилища (Wasabi, MinIO), Google Cloud Storage, Azure Blob Storage и Azure File Storage. Если ваши датасеты лежат в нескольких облаках, можно смонтировать каждое как отдельный диск рядом друг с другом.

Защита исходных данных с помощью диска только для чтения

Самое страшное при широком доступе к бакету с сырыми данными — случайное сохранение не в ту папку. NetDrive умеет монтировать диск только для чтения: аналитики могут открывать, копировать и анализировать файлы, но не могут перезаписать или удалить оригиналы. Права на запись оставьте пайплайну или дата-инженеру, а всем остальным дайте монтирование только для чтения. Подробнее — в Read-Only Drive in NetDrive.

Если нужен бакет и для результатов, смонтируйте его отдельно как обычный диск: так выходные файлы попадут в доступное для записи место, отдельное от исходных данных.

Настройка

1. Откройте NetDrive и нажмите Add Drive.
2. Выберите тип хранилища, например Amazon S3, Google Cloud Storage или Azure Blob Storage.
3. Введите учётные данные аккаунта, ограниченного нужным бакетом. Используйте ключ только с теми правами, которые действительно нужны.
4. Выберите параметры монтирования, включая режим только для чтения для дисков с исходными данными.
5. Смонтируйте диск и откройте его в Проводнике или Finder.

Инструкции по отдельным провайдерам: Mount Google Cloud Storage on Windows, Mount Azure Blob on macOS и Mount MinIO on Windows.

Практические привычки

Используйте ключ с минимальными правами. Смонтированный диск настолько безопасен, насколько безопасны учётные данные за ним. Создайте отдельный ключ с узкими правами для монтирования вместо повторного использования административного.

Обновляйте папку, когда приходят данные. Если пайплайн записывает новые файлы, пока у кого-то открыта папка, используйте принудительное обновление папки в NetDrive; см. Force Folder Refresh.

Большие списки загружаются долго. Очень крупные бакеты с множеством объектов могут медленно отображать содержимое. В Fix Slow S3 Directory Listing описано, что помогает.

Помните про кеш. NetDrive кеширует локально файлы, к которым вы обращаетесь. Если аналитики за один сеанс открывают много больших файлов, стоит изучить cache size options (от 100 ГБ до 1 ТБ).

Знайте ограничения

NetDrive — это инструмент монтирования, а не движок обработки данных и не средство массовой передачи: он делает облачные файлы доступными для настольных приложений. Офлайн-режима нет, поэтому для работы нужно подключение к хранилищу. Шифрования на стороне клиента тоже нет, так что для защиты данных в покое полагайтесь на средства своего провайдера. Для автоматизированных пайплайнов на серверах используйте штатные инструменты хранилища вашей платформы, а NetDrive оставьте для тех, кто работает в настольных приложениях.

Итоги

Для аналитиков и ML-инженеров, работающих в настольных программах, монтирование командного бакета только для чтения избавляет от ритуала с ссылками для экспорта и сохраняет исходные данные в безопасности. Начните с одного бакета, ключа с узкими правами и диска только для чтения, а затем добавляйте другие по мере необходимости.

— Robin, NetDrive