데이터 사이언스 팀을 위한 NetDrive — 클라우드 데이터셋을 로컬 드라이브처럼
분석가와 ML 엔지니어가 NetDrive로 S3, Google Cloud Storage, Azure Blob, MinIO를 드라이브로 마운트하고 노트북과 데스크톱 도구에서 데이터셋을 여는 방법입니다.
한 분석가가 팀 버킷에 있는 6GB짜리 CSV를 열어야 합니다. 평소 쓰는 데스크톱 BI 도구에는 그 버킷용 커넥터가 없고, 노트북은 파일 경로를 요구하며, 버킷을 관리하는 데이터 엔지니어는 매주 일회용 내보내기 링크를 나눠주고 싶지 않습니다. 가장 짧은 길은 버킷을 가리키는 드라이브 문자를 하나 주는 것입니다.
오브젝트 스토리지의 데이터셋을 드라이브처럼
NetDrive 는 Google Drive, OneDrive, S3, SFTP, WebDAV 등을 Windows 와 macOS 에서 일반 드라이브처럼 보이게 합니다 — 동기화도, 전체 다운로드도 없이.
- S3, Google Cloud Storage, Azure Blob, MinIO 마운트
- 읽기 전용 드라이브로 분석가가 원본 데이터를 바꾸지 못하게 보호
- 파일을 여는 모든 앱에서 Windows와 macOS 지원
무료 체험. 평생 라이선스와 구독 플랜 제공.
마운트된 드라이브가 데이터 작업에 맞는 이유
스프레드시트 앱, 데스크톱 시각화 소프트웨어, 이미지 뷰어, 로컬 data/ 폴더용으로 작성된 스크립트처럼 많은 일상 도구는 파일 경로만 이해합니다. NetDrive는 오브젝트 스토리지를 마운트해서 이런 도구가 다른 드라이브처럼 읽을 수 있게 합니다. 데이터는 버킷에 그대로 있고, 사람들은 필요한 것만 엽니다.
NetDrive는 Amazon S3와 S3 호환 스토리지(Wasabi, MinIO), Google Cloud Storage, Azure Blob Storage, Azure File Storage를 지원합니다. 데이터셋이 여러 클라우드에 나뉘어 있다면 각각을 별도의 드라이브로 나란히 마운트할 수 있습니다.
읽기 전용 드라이브로 원본 데이터 보호하기
원본 데이터 버킷에 넓은 접근 권한을 줄 때 가장 두려운 일은 엉뚱한 폴더에 실수로 저장하는 것입니다. NetDrive는 드라이브를 읽기 전용으로 마운트할 수 있어서, 분석가는 파일을 열고, 복사해 가고, 분석할 수는 있지만 원본을 덮어쓰거나 삭제할 수는 없습니다. 쓰기 권한은 파이프라인이나 데이터 엔지니어에게만 두고, 나머지 사람에게는 읽기 전용 마운트를 주세요. 자세한 내용은 Read-Only Drive in NetDrive에서 볼 수 있습니다.
결과물을 저장할 버킷도 필요하다면 일반 드라이브로 따로 마운트하세요. 그러면 출력물이 쓰기 가능하면서도 원본과는 구분된 곳에 쌓입니다.
설정 방법
- NetDrive를 열고 Add Drive를 클릭합니다.
- 스토리지 유형을 선택합니다. 예: Amazon S3, Google Cloud Storage, Azure Blob Storage.
- 자격 증명을 입력합니다. 해당 버킷으로 범위가 제한된 계정을 사용하고, 사람들에게 필요한 권한만 가진 키를 쓰세요.
- 마운트 옵션을 고릅니다. 원본 데이터 드라이브에는 읽기 전용을 선택하세요.
- 드라이브를 마운트하고 탐색기나 Finder에서 엽니다.
프로바이더별 안내: Mount Google Cloud Storage on Windows, Mount Azure Blob on macOS, Mount MinIO on Windows.
실전 습관
최소 권한 키를 사용하세요. 마운트된 드라이브의 안전성은 그 뒤의 자격 증명만큼만 보장됩니다. 관리자 키를 재사용하지 말고, 마운트 전용으로 범위를 좁힌 키를 따로 만드세요.
데이터가 도착하면 새로고침하세요. 누군가 폴더를 열어 둔 사이 파이프라인이 새 파일을 쓰면, NetDrive의 강제 폴더 새로고침으로 확인할 수 있습니다. Force Folder Refresh를 참고하세요.
큰 목록은 시간이 걸립니다. 객체가 매우 많은 대형 버킷은 목록 조회가 느릴 수 있습니다. Fix Slow S3 Directory Listing에서 도움이 되는 방법을 다룹니다.
캐시를 염두에 두세요. NetDrive는 접근한 파일을 로컬에 캐시합니다. 분석가가 한 번에 큰 파일을 많이 연다면 cache size options(100GB~1TB)를 살펴볼 만합니다.
한계를 알아두세요
NetDrive는 데이터 처리 엔진이나 대량 전송 도구가 아니라 마운트 도구입니다. 클라우드 파일을 데스크톱 앱이 접근할 수 있게 해줄 뿐입니다. 오프라인 모드가 없으므로 작업하려면 스토리지에 연결되어 있어야 합니다. 클라이언트 측 암호화 기능도 없으니, 저장 데이터 보호는 프로바이더의 제어 기능에 의존하세요. 서버에서 돌아가는 자동화 파이프라인에는 플랫폼의 기본 스토리지 도구를 쓰고, NetDrive는 데스크톱 앱에서 일하는 사람들을 위해 남겨 두세요.
마무리
데스크톱 도구에서 일하는 분석가와 ML 엔지니어에게는 팀 버킷을 읽기 전용으로 마운트하는 것만으로 내보내기 링크를 주고받는 번거로움이 사라지고 원본 데이터도 안전하게 지켜집니다. 버킷 하나, 범위가 제한된 키, 읽기 전용 드라이브로 시작한 뒤 팀이 필요로 하는 만큼 늘려 가세요.
— Robin, NetDrive