Seleksi Warga Basdat 2022

Tugas 1 : Data Scraping & Data Storing

Daftar Isi

Deskripsi Data dan DBMS
Spesifikasi Program
Cara Menggunakan
Struktur JSON
Struktur Basis Data
Tangkapan Layar
Referensi
Author

Deskripsi Data dan DBMS

LTMPT atau Lembaga Tes Masuk Perguruan Tinggi adalah lembaga penyelenggara tes masuk perguruan tinggi bagi calon mahasiswa baru yang berada di bawah naungan Kementerian Pendidikan dan Kebudayaan. Pada website-nya, LTMPT menyediakan data 1000 sekolah terbaik yang diperingkatkan berdasarkan nilai total UTBK yang diperoleh semua siswa dalam suatu sekolah. Saya memilih data ini karena dapat berguna bagi banyak pihak. Orang tua beserta anaknya yang mau melanjutkan pendidikannya ke SMA, MA, atau SMK, dapat melihat perbedaan kualitas pengajaran di tiap sekolahnya sehingga dapat membantu dalam memilih sekolah tujuan. Pihak sekolah juga dapat melihat informasi ini sebagai bahan refleksi kinerja mereka dalam mengajarkan anak didiknya. Selain itu, pihak pemerintah juga dapat menggunakan informasi ini sebagai bahan kajian untuk dapat terus meningkatkan kualitas pendidikan di suatu daerah. Data yang sudah dibersihkan memiliki delapan atribut, yaitu sebagai berikut.

ranking peringkat sekolah berdasarkan nilai_total utbk
progress perubahan peringkat sekolah dibandingkan tahun sebelumnya (2020)
NPSN: nomor pokok sekolah nasional
nama_sekolah: nama sekolah
nilai_total: nilai total utbk
provinsi: provinsi sekolah
kab_kota: kabupaten/kota sekolah
jenis: SMA/MA/SMK

DBMS yang digunakan adalah PostgreSQL karena open-source dan mudah untuk di-scaling sehingga dapat menampung lebih banyak data kedepannya tanpa mempengaruhi terlalu banyak terhadap performanya.

Spesifikasi

Program untuk melakukan data scraping pada direktori Data Scraping dibuat dengan bahasa pemrograman Python dan framework Scrapy. Data yang dihasilkan juga sudah langsung dibersihkan.
API yang ada pada direktori api dibuat dengan bahasa pemrograman Golang.

Cara Menggunakan

Untuk menggunakan program ini, unduh terlebih dahulu repository ini dalam bentuk zip, kemudian ekstrak.

Data Scraping

Install Python.
Install framework Scrapy dengan perintah berikut.

pip install scrapy

Buka command prompt dan arahkan ke direktori src di dalam direktori Data Scraping.
Jalankan program main dengan mengeksekusi perintah berikut.

py main.py

Masukkan nama file keluaran dalam format json yang diinginkan.
Data yang diperoleh akan berada pada direktori data.

API

API sudah ter-deploy pada Heroku, sehingga tinggal mengakses endpoint berikut: https://api-sekolah-top1000-utbk.herokuapp.com/sekolah.
API hanya memiliki endpoint tersebut dengan satu method yaitu GET. API akan mengembalikan seluruh data ranking sekolah yang sudah terurut.

Struktur JSON

{
  "ranking": integer,
  "progress": integer,
  "NPSN": string,
  "nama_sekolah": string,
  "nilai_total": float,
  "provinsi": string,
  "kab_kota": string,
  "jenis": string
}