Google Sheets 에서 BigQuery 로 데이터 마이그레이션(migration) 쉽게 하기 : 구글 시트 애드온 사용

 Google Drive 에 있는 구글시트(Google Sheets) 데이터를 빅쿼리(BigQuery)로 마이그레이션(migration) 해보겠습니다. 여러가지 마이그레이션 방법 중 구글시트의 애드온(add-on) 기능을 이용한 마이그레이션을 사용하겠습니다.

• 구글 시트에 아래와 같은 test 데이터가 있습니다. Add-ons 메뉴에서 Get add-ons 를 선택합니다. 

• BigQuery 라고 마켓플레이스에서 검색을 하면 BigQuery Uploader for Sheets 라는 애드온이 보입니다. 이 애드온을 사용해서 데이터를 쉽게 빅쿼리로 마이그레이션 할 것입니다.

• 설치(Install) ㄱㄱㄱ 

• 아래 내용들을 허락(allow) 합니다.

• 설치 완료 후 다시 Add-ons 메뉴로 가시면 방금 설치한 애드온의 메뉴가 보입니다.

• Setup Upload Definitions 를 선택하시고 데이터가 들어갈 빅쿼리 테이블 이름을 정합니다. 빅쿼리에 정하신 이름으로 테이블이 만들어집니다. 업로드 방식에는 overwrite 방식과 append 방식이 있습니다.  Autodetect 사용으로 자동으로 스키마를 읽어서 빅쿼리 테이블 스키마를 생성합니다. Save Changes 를 클릭합니다.

• 아래 화면에서 Run Manual Upload Now 를 클릭합니다. 수동으로 데이터를 옮기게 됩니다. 스케줄 업로드를 사용하시면 스케줄을 이용해 주기적으로 업로드 할 수 있습니다. 

• 업로드가 성공하면 Success 메세지가 보입니다. 

• 데이터가 잘 이동됐는지 빅쿼리 UI 에서 눈으로 직접 확인합시다.  제가 선택한 데이터셋 cookie 아래에 test 이라는 테이블이 생성되었습니다. 스키마(schema)도 자동으로 생성되었습니다.

• Preview로 보니 데이터도 잘 마이그레이션 되었습니다.

• 스케줄러(scheduler)를 이용해서 주기적으로 데이터를 보낼 수 있습니다. 한시간마다 데이터를 빅쿼리로 전송하겠습니다.

• GCP 빅쿼리 콘솔 Job history 에서 한시간 단위로 업로드되는 기록을 확인하실 수 있습니다. 
  
  
  
  

여러가지 구글시트 > 빅쿼리 마이그레이션 방법 중 구글 시트 애드온을 이용한 마이그레이션을 다루어보았습니다. 감사합니다.

 

- The End -