[Onedrive] 원드라이브에서 대용량 데이터 다운로드 받는 방법

사실 anyone 이 access 가능한 데이터셋의 경우에는 다운로드 받는 것이 어렵지 않다. 구글링 조금만 해보면, 쉽게 나온다. 그런데 이제 문제는 (접근 권한을 받은) 특정 사용자만 access 가능한 데이터셋이다.

 

연구 데이터는 대부분 (상업적 목적이 아닌 경우) 오픈되어있긴한데, 그 중에서도 일부는 데이터셋 열람을 신청하는 구글폼을 작성해야 Access 가능한 구글 드라이브 링크를 보내주는 등, 제한적으로(귀찮게) 오픈되어있다. 이렇게 제한된 사용자만 접근 가능한 데이터셋은, 일반적인 구글드라이브/원드라이브 리눅스 다운로드 방법이 통하지 않는다. (&download=1 ... 하고 중간 중간 {fileID} 를 삽입해주는.... 구글링하면 많이 나오는 방법)  아래 사진처럼 FORBIDDEN 된다.

 

 

그런데 이번에 새로운 방법을 알게 되었다. 자세한 방법은 다음 링크를 참고하자. step-by-step 으로 친절히 나와있다.

https://stackoverflow.com/questions/62634214/how-to-download-protected-files-from-onedrive-using-wget

How to download protected files from onedrive using WGET

 

 

실제로 해당 방법을 통해 다운로드 시도하니, 160G 의 (나름) 대용량 데이터 다운로드가 성공적으로 시작되었다.

원격서버 내 리눅스 터미널

다운로드 링크를 얻는 과정

 

 

160G 로컬에 다운로드 받고, sftp 로 직접 ssh 서버에 옮겨줘야하나 고민하고 있었는데 이렇게 성공하게 되어 너무 기뻤다. (만약 이런 노가다를 해야했더라면 시간이 3배는 더 걸렸을 것이다 ... 로컬에서 ssh서버로 옮기는 작업이 생각보다 꽤 느리다.)