onlybooks/bigquery

구글 빅쿼리 완벽 가이드

bigquery's Issues

결과저장시 CSV 파일로 저장하면 한글이 깨지는 증상

결과저장시 CSV 파일로 저장하면 한글이 깨지는 증상이 발생합니다.

이전에는 DBeaver를 사용해서 utf-8 설정을 변경해주면 되었는데 빅쿼리는 귀사의 책을 읽어봐도 나와있지 않아 글 남깁니다!

Cloud Shell Editor 에서 에러 해결 요청

수고하십니다. 책을 따라 하고 있습니다. Cloud Shell Editor 에서 아래와 같이 에러 생기는데 제가 무슨 실수를 핸는지 해결 방법은 뭔가요
phg67071@cloudshell:/bigquery/ch04$ bq --location=US mk ch04Invalid identifier 'ch04' for mk.phg67071@cloudshell:/bigquery/ch04$ bq --location=US > load > --source_format=CSV --autodetect > ch04.college_scorecard > ./college_scorecard.csv.gzBigQuery error in load operation: Cannot determine table described by ch04.college_scorecardphg67071@cloudshell:~/bigquery/ch04$ bq --location=US > load --null_marker=NULL \

--source_format=CSV --autodetect
ch04.college_scorecard
./college_scorecard.csv.gz
BigQuery error in load operation: Cannot determine table described by ch04.college_scorecard
phg67071@cloudshell:/bigquery/ch04$ bq --location=US
load --null_marker=NULL --replace
--source_format=CSV --autodetect
ch04.college_scorecard
./college_scorecard.csv.gz
BigQuery error in load operation: Cannot determine table described by ch04.college_scorecard
phg67071@cloudshell:/bigquery/ch04$

감사합니다.

4장 스키마 질문 있습니다.

안녕하세요. 구글 빅쿼리 완벽 가이드를 구입해서 학습하는 학생입니다.
실습 중 4장의 4-14번 스키마 파일을 지정해 데이터를 빅쿼리로 로드하는 명령을 수행하면 아래와 같은 에러가 발생 합니다.

BigQuery error in load operation: Error processing job 'sound-
vault-299001:bqjob_r28a0067ca69418ae_00000176f0ece41e_1': Error while reading
data, error message: Could not parse 'PrivacySuppressed' as DOUBLE for field
FIRST_GEN (position 1613) starting at location 504392  with message 'Unable to
parse'
Failure details:
- Error while reading data, error message: CSV processing encountered
too many errors, giving up. Rows: 25; errors: 1; max bad: 0; error
percent: 0
- query: Could not parse 'PrivacySuppressed' as DOUBLE for field
FIRST_GEN (position 1613) starting at location 504392  with message
'Unable to parse'

schema.json 진입하여 where 절에 사용하는 4개의 칼럼 모두를 수정하고 명령을 실행 시 위와 같은 에러가 발생 했습니다. 어떤 문제인지 알고 싶습니다.

예제4-27 실행시 에러

선생님 수고하십니다.
질문1
예제4-27 실행시 아래와 같이 에러가 나는데 무엇이 문제일런지요,,
감사합니다.
*** 예제 처럼 --external_table_definition=cstable::${SCHEMA}@csv=${INPUT} \ 부분 코드도 사용해봤지만 에러라
--external_table_definition=cstable::${DEF} \ 로 했습니다.

질문 2.
예제4-35 에서 ch04.college_scorecard_gcs 테이블은 어떻케 하면 생성되는가요
책 어느부분인지요, 앞에서도 ch04.college_scorecard_gcs 언급은 되는데 ,

phg67071@cloudshell:$ LOC="--location US"
phg67071@cloudshell:$ INPUT=gs://bigquery-oreilly-book/college_scorecard.csv
phg67071@cloudshell:$
phg67071@cloudshell:$ SCHEMA=$(gsutil cat $INPUT | head -1 | awk -F, '{ORS=","}{for (i=1; i <= NF; i++){ print $i":STRING"; }}' | sed 's/,$//g'| cut -b 4- )
BucketNotFoundException: 404 gs://bigquery-oreilly-book bucket does not exist.
phg67071@cloudshell:$
phg67071@cloudshell:$ bq $LOC query \

--external_table_definition=cstable::${DEF}
'SELECT SUM(IF(SAT_AVG != "NULL", 1, 0))/COUNT(SAT_AVG) FROM cstable'
Error decoding external_table_definition. external_table_definition should either be the name of a JSON file or the text
representation of an external table definition. Given:
phg67071@cloudshell:~$