anamariostarijas/appr-2017

Repozitorij z gradivi za predmet Analiza podatkov s programom R v študijskem letu 2016/17

Analiza podatkov s programom R, 2016/17

Repozitorij z gradivi pri predmetu APPR v študijskem letu 2016/17

Tematika

V svojem projektu bom analizirala državne potrošnje za izobrazbo. Zanimala me bodo posamezna področja izobrazbe, šolskih ustanov in plače zaposlenih ter če investicije v le-te lahko vplivajo na stabilno rast BDP-ja. Podatke o državni potrošnji v odstotkih BDP-ja in realni BDP sem v obliki CSV pridobila iz Eurostata.

Podatki:

1. tabela (CSV): državna poraba za izobrazbo (v milijonih €)

• stolpec 1: leto (2000-2011)
• stolpec 2: država
• stolpec 3: vrsta izobrazbe
• stolpec 4: količina

2. tabela (CSV): državna poraba za izobrazbo (v % BDP)

• stolpec 1: leto (2000-2011)
• stolpec 2: država
• stolpec 3: vrsta izobrazbe
• stolpec 4: količina

3. tabela (HTML): rast BDP glede na prejšnje leto (v %)

• stolpec 1: država
• stolpec 2: leto (2000-2011)
• stolpec 3: količina

Dodatno bom analizirala države, ki se najbolj prilegajo teoriji, ter tiste, ki najbolj odstopajo. Zanimalo me bo, če je povezanost med državno potrošnjo za izobrazbo državljanov in rastjo realnega BDP-ja lahko zanemarljiva ali pa bi to lahko bil eden izmed poglavitnih razlogov za stabilno rast.

Podatki: - http://ec.europa.eu/eurostat - http://appsso.eurostat.ec.europa.eu/nui/show.do?dataset=educ_fiabs&lang=en - http://ec.europa.eu/eurostat/tgm/table.do?tab=table&init=1&plugin=1&pcode=tps00069&language=en

Program

Glavni program in poročilo se nahajata v datoteki projekt.Rmd. Ko ga prevedemo, se izvedejo programi, ki ustrezajo drugi, tretji in četrti fazi projekta:

• obdelava, uvoz in čiščenje podatkov: uvoz/uvoz.r
• analiza in vizualizacija podatkov: vizualizacija/vizualizacija.r
• napredna analiza podatkov: analiza/analiza.r

Vnaprej pripravljene funkcije se nahajajo v datotekah v mapi lib/. Podatkovni viri so v mapi podatki/. Zemljevidi v obliki SHP, ki jih program pobere, se shranijo v mapo ../zemljevidi/ (torej izven mape projekta).

Potrebni paketi za R

Za zagon tega vzorca je potrebno namestiti sledeče pakete za R:

• knitr - za izdelovanje poročila
• rmarkdown - za prevajanje poročila v obliki RMarkdown
• shiny - za prikaz spletnega vmesnika
• DT - za prikaz interaktivne tabele
• maptools - za uvoz zemljevidov
• sp - za delo z zemljevidi
• digest - za zgoščevalne funkcije (uporabljajo se za shranjevanje zemljevidov)
• readr - za branje podatkov
• rvest - za pobiranje spletnih strani
• reshape2 - za preoblikovanje podatkov v obliko tidy data
• dplyr - za delo s podatki
• gsubfn - za delo z nizi (čiščenje podatkov)
• ggplot2 - za izrisovanje grafov
• extrafont - za pravilen prikaz šumnikov (neobvezno)

appr-2017's Issues

Oddaja projekta

Projekt sem dokončala, zanima me, če bi svetovali še kakšne popravke. Sicer pa je projekt pripravljen za oddajo.

Uvoz in poročilo

Pri uvozu iz HTML v html_rast_BDP.r ti številke uvozi kot faktorje - tako dobiš opozorilo pri uporabi funkcije melt, kasneje pa teh številk ne bi mogla prikazati na grafih. Zato bo najbolje, če hkrati z nadomeščanjem dvopičij z NA preostale vrednosti še pretvoriš v števila:

for (col in colnames(html.rast.BDP)[-1]) {
  html.rast.BDP[[col]] <- parse_number(html.rast.BDP[[col]], na = ":")
}

Posebnim znakom, kot je % (pa tudi šumnikom in presledkom) se izogibaj v imenih stolpcev. Tako lahko že pri funkciji melt podaš parameter value.name = "rast.BDP", da ne narediš stolpca z imenom % in tudi naknadno preimenovanje ni potrebno.

Poskrbi tudi za poročilo, da bo pripravljeno za ponedeljkovo predstavitev. Opiši torej svoj projekt in zbrane podatke ter izriši nekaj grafov in zemljevidov - za vsakega tudi napiši, kaj prikazuje. Poskrbi, da bo poročilo klicalo tvoje programe (torej zaenkrat uvoz/drzavna_poraba.r, uvoz/drzavna_poraba_delez_BDP.r, uvoz/html_rast_BDP.r in vizualizacija/grafi.r - pazi, da se velikosti črk ujemajo z imeni datotek!), da boš lahko grafe in zemljevide postavila na ustrezno mesto. Del poročila iz vzorca pobriši, da se ti bo lahko prevedlo. Da ti ne bo v poročilo izpisovalo opozoril, v glave blokov kode, kjer se pojavijo, dodaj parameter warning = FALSE - seveda pa se spodobi preveriti, zakaj dobivaš opozorila in jih odpraviti (npr. tako, da znakovne stolpce spremeniš v faktorje z istimi vrednostmi kot stolpec, s katerim združuješ).