kiteday/bigdata_class-2021

Hi there 👋 welcome kiteday github

Languages

bigdata_class-2021's Issues

3주차 과제

문제 1: 오픈API를 통해 데이터를 5천 ~ 1만 건 정도 수집해서 파일로 저장한다 (초과해도 좋다).

열린데이터, 공공데이터 또는 (할 수 있다면) 트위터와 같은 SNS, 댓글 등 적합한 소스를 자신이 선택한다.

과정의 후반으로 가서, 이 데이터를 분석하는 과제가 주어지게 된다.

프로그램에서 몇 건을 읽었는지와 마지막 줄을 화면 출력한다.

!dir 명령어로 파일이 존재하는지 출력한다. 1만 건 정도 저장되었으니 파일의 크기가 적당한지 가늠해보자

문제 2: 노트북에서 pyspark 실행

주피터 노트북을 실행한 후, 셀에서 아래 명령어를 실행하여 spark를 생성하고, 그 버전을 출력하세요.

[In] spark.version

[Out] '3.x.x'

그리고 다음과 같이 버전을 출력한다.

pyspark는 jdk가 설치되어 있어야 한다.

!java --version #spark v2.x는 java 8이 적당.

!javac --version #java 버전과 동일한지 확인한다.

!python --version

!python3 --version # python 2, 3 멀티 버전이 설치된 경우에만 출력

import sys

print(sys.version) # 자신이 사용하는 python 버전과 동일한지 확인한다.

문제 3: 다음 파일을 읽어서 RDD를 생성하고, 5줄을 화면출력하세요.

결과가 깨져보인다면, 그 이유를 간단히 적으세요.

• 1. 경기도 의정부시 인구현황 (파일명: 경기도 의정부시_인구현황_20200904)

https://www.data.go.kr/data/15009613/fileData.do

• 2. 제주특별자치도 서귀포시 내 연도별 65세이상 인구수 및 고령화비율, 노령화지수 현황 (파일명: 제주특별자치도 서귀포시_고령화비율및노령화지수현황_20200623)

https://www.data.go.kr/data/15051545/fileData.do

2주차 과제

'서울특별시교육청 공공도서관 소장도서'로 검색하면 API를 찾을 수 있다.

이 API는 서울특별시교육청 공공도서관 및 평생학습관의 소장도서 정보 (표제, 저자, 발행자, 발행년, 청구기호, 소장위치, ISBN 등)를 조회할 수 있다.

검색어는 '파이썬'으로 20건만 하고, 그 결과는 파일에 저장한다.

파일 내용을 확인하기 위해, type명령어로 내용을 출력하세요. (!type 파일명)

url은 http://openapi-lib.sen.go.kr, 인자는 다음과 같이 구성한다.

변수명 | 설명

-----|-----

serviceKey | 공공데이터포털에서 발급받은 인증키

title | 도서제목검색어

manageCd | 도서관코드 (MA (강남도서관)..MU (종로도서관))

numOfRows | 한 페이지 결과 수 (Default: 10)

pageNo | 페이지 번호 (Default: 1)