Learn to Earn Data Challenge 도전

https://cloud.google.com/blog/topics/training-certifications/learn-to-earn-data-challenge

Learn to Earn Data Challenge | Google Cloud Blog

 

Get the ML, data, and AI skills you need to drive speedy transformation in your current and future roles with no-cost access to over 50 hands-on labs on Google Cloud Skills Boost. Race the clock with players around the world, collect badges, and earn special swag! 

 

구글 부트캠프는 떨어졌지만, 이 챌린지는 꼭 참여해서 모든 것을 다 따내겠다고 생각했다.

 

MLOPS 마켓의 성장과 빅데이터 분석 마켓의 성장은 엄청날것이다. 따라서 GCP에서 빅데이터와 ML 스킬을 무료로 공부할 수 있는 좋은 기회를 찾았다.

 

첫번째로

이 과정을 뚫어야 한다.

 

이 Qwik LAB을 하기 전에 들으면 좋을 유튜브 영상 2개가 있었다.

 

1. WHY BigQuery

https://youtu.be/rwZsPjCTkhw

빅쿼리가 뭐고, 왜 쓰면 좋은지

어떤 특성이 있는지 잘 설명해 주었다.

 

2. BigQuery Qwik LAB

https://youtu.be/dOpNxH64JIU

어떠한 LAB을 진행하게 되는지 간단하게 설명해주셨다.

 

과정에 시작하게 되면 이러한 창이 나오는데 Start Lab 하면, GCP 무료계정을 하나 만들어준다

그 계정은 30분만 사용 가능하다.

 

로그인을 하면 다음과 같은 화면이 나온다

 

 

옆에 하라는데로 따라가 보면 된다.

 

처음에 클라우드 shell을 열고 명령어 CLI 커맨드를 입력해 가면서 잘 출력이 되는지 확인한다.

 

bq show bigquery-public-data:samples.shakespeare

In this command you're doing the following:

• bq to invoke the BigQuery command line tool
• show is the action
• then you're listing the name of the project:public dataset.table in BigQuery that you want to see.

이런식으로 커맨드의 뜻을 하나하나 알려준다.

 

 

이런식으로 실행 하라는 것을 잘 따라가고, check해서 정말 했는지 확인이 되면 초록색으로 나오게 된다.

 

 

몇개의 커맨드를 해석해보자면

 

bq help query

bq 명령어에 대한 설명을 볼 수 있음

 

bq query --use_legacy_sql=false \
'SELECT
   word,
   SUM(word_count) AS count
 FROM
   `bigquery-public-data`.samples.shakespeare
 WHERE
   word LIKE "%raisin%"
 GROUP BY
   word'

 

In this command:

• --use_legacy_sql=false makes standard SQL the default query syntax
• 세익스피어 샘플 빅쿼리 데이터에서 단어중에 raisin이 포함된 단어를 묶어서 단의 갯수를 count로 세라

bq query --use_legacy_sql=false \
'SELECT
   word
 FROM
   `bigquery-public-data`.samples.shakespeare
 WHERE
   word = "huzzah"'

 

이 경우는 huzzah가 없어서 아무것도 출력되지 않는다.

 

bq ls

프로젝트안에 dataset있는지 확인

 

bq ls bigquery-public-data:

빅쿼리 안에 있는 퍼블릭 데이터 

 

bq mk babynames

babynames라는 빅쿼리를 만드릭

 

bq ls

빅쿼리 데이터 셋 보기

curl -LO http://www.ssa.gov/OACT/babynames/names.zip

빅쿼리 데이터 넣어줄 것을 다운받기

 

unzip names.zip

압축풀기

 

bq load babynames.names2010 yob2010.txt name:string,gender:string,count:integer

압축 푼 것을 빅쿼리 로드하기

 

bq ls babynames

잘 로드 됐는지 확인하기

 

bq show babynames.names2010

빅쿼리 미리보기

bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'F' ORDER BY count DESC LIMIT 5"

2010년 이름에서 여자고, 이름 같은 것을 내림차순으로 5순위 정렬

bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'M' ORDER BY count ASC LIMIT 5"

2010년 이름에서 남자고, 이름 같은 것을 내림차순으로 5순위 정렬

 

bq rm -r babynames

빅쿼리 삭제

 

여기까지 완료하면 100점을 맞을 수 있다!

 

 

꼭 다하고 end lab 눌러준다~