ondata/covid19italia

covid19italia's Issues

Aggiungere tabelle agenas

• https://www.agenas.gov.it/covid19/web/index.php?r=site%2Ftab1
• https://www.agenas.gov.it/covid19/web/index.php?r=site%2Ftab2

curl -kL "https://www.agenas.gov.it/covid19/web/index.php?r=site%2Ftab1" | vd -f html +:table_0::
curl -kL "https://www.agenas.gov.it/covid19/web/index.php?r=site%2Ftab2" | vd -f html +:table_0::

I dati sul COVIDー19 di Protezione Civile sono esposti anche come Web Map Service

• https://services6.arcgis.com/L1SotImj1AAZY1eK/ArcGIS/rest/services/COVID19_Province/FeatureServer
• https://services6.arcgis.com/L1SotImj1AAZY1eK/ArcGIS/rest/services/COVID19_AREE/FeatureServer
• https://services6.arcgis.com/L1SotImj1AAZY1eK/ArcGIS/rest/services/COVID19_andamento/FeatureServer
• https://services6.arcgis.com/L1SotImj1AAZY1eK/ArcGIS/rest/services/COVID19__Regioni/FeatureServer

[API] regione 'Novara' in ?q=getdatacovid-19

Regione 'Novara' in ?q=getdatacovid-19
Questa chiamata ritorna nella lista il seguente oggetto:

{
"provincia":"Alessandria",
"numero infetti":"32",
"regione":"Novara",
"data":"2020-03-06",
"codice provincia":"006"
}

Come riprodurlo
HTTP GET: https://openpuglia.org/api/?q=getdatacovid-19

Risultato atteso
"regione":"Piemonte",

Screenshots
n/a

Altre informazioni
n/a

tabula.technology

Accidenti non ero a conoscenza di questa mancanza.

Consiglio l'utilizzo di tabula per velocizzare il processo di conversione (ammesso che non ne stiate già usando uno simile o migliore).

Grazie mille per il vostro preziosissimo lavoro.

Allegati:

1. PDF 5-marzo.pdf
2. csv

TW: @PietroMonticone

Chiamate 188

Approfitto dell'enorme disponibilità del team. Ma non è che si riuscirebbe a scaricare giornalmente i dati di questo grafico? Sono informazioni rilevanti, ma messe così non sono proprio utili.

https://lab24.ilsole24ore.com/_grafici/coronavirus-zoom/c19-06-lombardia-chiamate/index.html?v=410821

Dato del 13 aprile errato

Il processo automatico di scarico dei dati ha girato alle 20:00 mentre Regione Lombardia ha rilasciato i dati alle 20:30. Quindi i dati scaricati con la reference date odierna sono identici a quelli di ieri.

PS sto utilizzando i dati che staricate giornalmente per una serie di analisi sui tamponi che potete travare sul mio account twitter: https://twitter.com/Stigni

Parsing PDF, tabelle suddivise su più pagine

Come indicato qui da @noussan c'è un problema sulle tabelle del PDF (province) suddivise su più pagine.

Verificare e correggere

Serie storiche ricoverati terapia intensiva nei mesi/anni *precedenti* all'epidemia

Slightly off topic. Sto avendo difficoltà a reperire questi dati. Qualcuno sa darmi suggerimenti? Mi servono per mostrare il picco

Aggiunta dati dal 19 Febbraio e nazionali non attribuibili ad una regione fino al 1 Marzo

Se la tua richiesta è relativa ad un problema descrivicela per favore.

• Attraverso i comunicati stampa ho raccolto i dati fin dal 19 Febbraio, si potrebbero aggiungere
• Per il periodo dal 19 Febbraio al 1 Marzo, solo i dati sul numero totale di casi erano disponibili a livello regionale, gli altri sono disponibili a livello nazionale, ma mancano nel csv

Descrivi la soluzione che ti piacerebbe

• Ho aggiunto i dati per il periodo mancante
• Ho inserito i dati non attribuibili ad una regione in una nuova riga con regione "Sconosciuta"

Descrivi le alternative considerate
Come modellizzazione non vedo alternative, ma ovviamente per il nome della regione indeterminata esistono infinite possibilità

Altro materiale
DataStudio
Spreadsheet

WebService ISS-Epicentro - File relativi alla Curva Epidemica dall'inizio con informazioni "duplicate"

Nello storico del WebSevice ISS-Epicentro alcuni file relativi alla Curva Epidemica dall'inzio risultano contenere gli stessi dati del giorno precedente.

Ad esempio il file CSV relativo all'aggiornamento di ieri 15 dicembre contiene in realtà gli stessi dati del file CSV realtivo al 14 dicembre.

Questo è dovuto alle tempistiche di aggiornamento della Dashboard ISS variabili nel tempo e non sempre allineate con le tempistiche dello scraper.

Tramite InternetArchive sono disponibili alcune fonti per il recupero dei dati corretti e ad esempio:

20 ottobre - CSV attuale - InternetArchive
31 ottobre - CSV attuale - InternetArchive
07 novembre - CSV attuale - InternetArchive

In allegato archvio zip con i tre file CSV recuperati da InternetArchive relativi alle date 2020-10-20, 2020-10-31 e 2020-11-07, e il file realtivo ai dati di ieri 15 dicembre.
backup_2020-10-20_2020-12-15.zip

Layer provinciale regione lombardia non più disponibile

Vedi avviso su twitter https://twitter.com/davidmasitaly/status/1285238956897050625

Era INCR_DATE_TAMP_RL_v2 ma non è più presente qui https://services1.arcgis.com/XannvQVnsM1hoZyv/ArcGIS/rest/services/

Da oggi verrà archiviato il layer INCR_DATE_TAMP_RL

Estrazione dati ISS

Da oggi l'ISS pubblica i dati su inizio sintomi e data di prelievo tampone attraverso una dashboard e non più come PDF. Sarebbe possibile estrarli a ogni aggiornamento? Possono essere dati molto utili, in particolare se si vuole provare a calcolare R0/rt.

https://www.epicentro.iss.it/coronavirus/sars-cov-2-dashboard

Dati per comune

Per caso esiste una fonte più "ufficiale" dei dati per comune? Idealmente non limitati alla regione Lombardia

Ho trovato solo questo https://github.com/ondata/covid19italia/tree/master/webservices/regioneLombardia , per caso sono raccolti anche altrove?

Che voi sappiate ci sono mappe della diffusione dell'epidemia nei vari comuni?

Grazie mille per il lavoro

aggiungi datetime nei nomi dei file PDF archiviati

Errore Could not connect su endpoint openpuglia.org

Ciao a tutti,
l'endpoint https://openpuglia.org/api/ sembra aver smesso di funzionare, è possibile fare qualcosa per ripristinarlo?

Come riprodurlo
I passi per riprodurlo:

1. Aprire Postman o un qualsiasi client per effettuare chiamate REST
2. Effettuare una GET verso https://openpuglia.org/api/?q=getdatapccovid-19
3. Errore restituito Could not connect

Risultato atteso
Una response contenente un JSON con i dati nazionali.

Altre informazioni

• Client REST: Postman 7.26.0

Grazie mille

Problema con gli INCR_DATE_PRV_TAMP_RL_v2

Da due giorni la somma dei dati giornalieri di INCR_DATE_PRV_TAMP_RL_v2 non corrisponde più con quella comunicata dalla regione. È possibile che una parte dell'archivio non venga scaricato correttamente?

Dati incompleti

ok risolto. Scusa il ritardo

Originally posted by @patrunomeister in #61 (comment)

Ciao, scusa ancora,
Ho provato poco fa l'API in questione ma i dati che mi restituisce sono solo quelli della Valle d'Aosta e sono tutti a zero tranne la data che è sballata

Open Source Helps!

Thanks for your work to help the people in need! Your site has been added! I currently maintain the OpenSourceWuhan page, which collects all open source projects related to COVID-19, including maps, data, news, api, analysis, medical and supply information, etc. Please share to anyone who might need the information in the list, or will possibly contribute to some of those projects. You are also welcome to recommend more projects.

https://weileizeng.github.io/OpenSourceWuhan/world

Cheers!

Lavoro derivato: codice su iodide

Ciao, ho creato una pagina navigabile da chiunque tramite browser!
Si trova qui: https://alpha.iodide.io/notebooks/4249/
È un po' lentino nell'importare i pacchetti ma poi va abbastanza liscio.
Sarei contento se può essere di aiuto a qualcuno che non ha la competenza o la voglia di installare programmi di analisi sulla propria macchina.

informazioni su data pubblicazione e data decessi

Ciao @aborruso,
la data in cui sono stati registrati gli ultimi decessi presenti nel csv per comuni (webservices/regioneLombardia/processing/COMUNI_COVID19.csv,) è la stessa data della data di caricamento, cioè 4 aprile, o qualche giorno prima, cioè 31 marzo?.

Tutti i decessi avvenuti in Lombardia per covid (ufficiali ovviamente) sono presenti nel DB?

Grazie mille e bravissimi per il lavoro!

Aiuto alla lettura dei dati

Sarebbe utile avere nel Readme una descrizione un po' più dettagliata di cosa rappresentano i dati estratti.
Intendo dire che non riesco a capire cosa rappresentino nel file finale (raw_Incidenza e raw_Numerocasi; quelli indipendenti dalla data) le varie colonne: ID, classe, ecc.
Gran lavoro comunque! Grazie!

Comunicazione di servizio: da oggi spegniamo l'aggiornamento automatico dei dati

Soltanto 3 giorni fa abbiamo sollecitato - insieme a tanti altri - la Protezione Civile e il Ministero per la pubblicazione in formato machine readable dei dati sul COVID-19.

Era questo tweet: https://twitter.com/ondatait/status/1235259401113661440

Da oggi la Protezione Civile ha il suo repo, con dati ben strutturati (devo ancora invero approfondire) https://github.com/pcm-dpc/COVID-19

Questa issue per comunicare che sto spegnendo l'aggiornamento automatico, perché non ha più senso trasformare PDF in CSV.

Il repo lo lascio attivo, perché vista l'attenzione avuta potrebbe essere un luogo dove continuare a fare/pensare "cose" sui quei dati ufficiali.

Un grosso grazie a tutti quelli che hanno dato un contributo!

Le API su openpuglia.org non ritornano l'header content-type corretto

https://openpuglia.org/api/?q=getdatacovid-19&reg=lombardia

Ritorna un header sbagliato:

Il Content-Type dovrebbe essere application/json

Pagine agenas non più accessibile in modo diretto

Le tabelle con i dati non sono più HTML pure, ma hanno come fonte dei JSON non più accessibili in GET:

• https://Agenas:[email protected]/covid19/web/index.php?r=json%2Ftab1
• https://Agenas:[email protected]/covid19/web/index.php?r=json%2Ftab2

Passare a un browser headless

File mancanti/vuoti relativi alla Curva Epidemica dall'inizio

Nello storico risultano mancanti o vuoti alcuni file relativi alla Curva Epidemica dall'inzio.

Nello specifico risultano al momento mancanti i file relativi alle seguenti date:
2020-07-04
2020-07-16
2020-10-17

E risulta al momento vuoto il file relativo alla seguente data:
2020-12-04

Tramite InternetArchive sono disponibili alcuni fonti per il recupero e nello specifico:

Fonte 4 luglio: Non disponibile

Fonte 16 luglio

Fonte 17 ottobre

Fonte 4 dicembre

In allegato archivio con i tre file recuperati da InternetArchive relativi alle date 2020-07-16, 2020-10-17 e 2020-12-04.

backup.zip

Emilia Romagna con e senza trattino

Segnalo che in questo file:

https://github.com/ondata/covid19italia/blob/master/publication/riepilogoArchivio_storico.csv

Emilia Romagna è presente in due modalità: con e senza trattino.

• Emilia Romagna
• Emialia-Romagna

per verificare, cercate Emilia

[archive] rendere disponibile lista URL da archiviare periodicamente su web archive

Abbiamo attivato l'archiviazione quotidiana di alcuni URL su web archive.

Rendere pubblica la lista, in modo che possa essere eventualmente arricchita da chi partecipa al progetto

Spegnere aggiornamenti alcune risorse regione lombardia

non sono più raggiungibili INCR_DATE_PRV_TAMP_RL_v2 e TA_COVID19_RL

Bookmarklet per estrarre i dati

Questo bookmarklet, lanciato mentre viene visualizzata la pagina https://www.dep.lazio.it/covid/covid_map.php , aggiunge in fondo alla pagina stessa un'area di testo contenente tutti i dati dell'ultima schermata, quella con l'evoluzione temporale:

javascript:tb = document.createElement("textarea");tb.setAttribute("cols",200);tb.setAttribute("rows",20);dataSequence.forEach(element => tb.innerHTML += JSON.stringify(element.data) + "\n" ) ;intestazione = ""; for (i=0; i< Highcharts.charts[1].series[0].data.length; i++ ) { intestazione += Highcharts.charts[1].series[0].data[i].properties.name + "," ; } tb.innerHTML = intestazione + tb.innerHTML;document.body.appendChild(tb);

Altre volte funziona questo:
javascript: javascript:tb = document.createElement("textarea");tb.setAttribute("cols",200);tb.setAttribute("rows",20);dataSequence.forEach(element => tb.innerHTML += JSON.stringify(element.data) + "\n" ) ;intestazione = ""; for (i=0; i< Highcharts.charts[1].series[0].data.length; i++ ) { intestazione += Highcharts.charts[1].series[0].data[i].comune + "," ; } tb.innerHTML = intestazione + tb.innerHTML;document.body.appendChild(tb);

In forma leggibile:

tb = document.createElement("textarea");
tb.setAttribute("cols",200);
tb.setAttribute("rows",20);
dataSequence.forEach(element =>  tb.innerHTML += JSON.stringify(element.data) + "\n"   ) ;
intestazione = ""; 
for (i=0; i<  Highcharts.charts[1].series[0].data.length; i++ ) { 
    intestazione += Highcharts.charts[1].series[0].data[i].properties.name + "," ;
    //intestazione += Highcharts.charts[1].series[0].data[i].comune + "," ; // oppure
} 
tb.innerHTML = intestazione + tb.innerHTML;
document.body.appendChild(tb);

Dati incompleti: TA_COVID19_RL.json

Ho notato che il dato il presente nel json in oggetto è parziale e riporta soltanto 2000 record. E' possibile effettuare lo scarico completo?

Ho provato a dare un occhio al programma .sh per lanciarlo in autonomia ma mi sa che mi manca qualche pezzo.

Davide

COMUNI_COVID19.geojson corrotto

Describe the bug
Il file risulta corrotto, out of memory e quindi non si riesce ad utilizzare. Idem per il cdv che è fermo a 4 giorni fa.

Alcuni spunti veloci

Ciao,
l'idea è ottima, ovviamente. Non è il caso di aggregare gli sforzi di chi lo sta facendo in maniera sparsa, così da fare meno fatica tutti assieme? Sono incappato nel lavoro di Carlo Torniai e in quello di Davide Magno?

Così si rafforza il messaggio!
Matteo

Aggiunta campo Dashboard ISS - necessità modifica script scraping

Describe the bug
Aggiutna campo Dashboard ISS (sezione INIZIO)

ISS dal 7 dicembre ha aggiunto un dataset di sintomatici oltre a quello già esistente, per le ragioni ipotizzate qui:
https://twitter.com/OpencovidM/status/1336086146431000581

Risultato atteso
A partire dal file
https://github.com/ondata/covid19italia/blob/master/webservices/iss_epicentro/processing/2020-12-07_curvaEpidemicaInizio.csv
è necessari aggiungere una nuova colonna dal momento che ora i dataset sono tre.

qualcosa non va

in questa riga qualcosa non va:

https://github.com/ondata/covid19italia/blob/master/risorseSolidarietaAlimentare/allegato_01.csv#L6224

Ripetizioni dati

Ciao a tutti,
ho fatto un piccolo lo progetto con c# per monitorare i numeri dell'ultima ondata
e mi sono accorto che il totale decessi giornalieri e uguale al totale decessi

I passi per riprodurlo:

1. Aprire Postman
2. effettuare una GET verso l'API https://openpuglia.org/api/?q=getdatapccovid-19
3. confrontare i valori di totale deceduti e deceduti giornalieri.

Risultato atteso
due valori diversi

Screenshots

Altre informazioni
Ad esempio il sistema su cui si verifica.

• OS: Windows 10
• linguaggio : c#
• ambiente : .NET

API: schema dati provinciali

Caro @patrunomeister ,
visto che alcuni dei nomi provincia pubblicati da Prot. Civ. sono errati, potresti inserire nello schema di output anche il codice ISTAT?

Lo trovi qui https://github.com/ondata/covid19italia/blob/master/publication/provinceArchivioISTAT.csv

Grazie

[shapefile]

Ho associato il dato al codice comunale di uno shapefile di comuni, in modo da poter mappare il dato. Ve lo allego.

I due excel sono

1. i dati originali per singola osservazione con in più il PRO_COM corretto (cioè coerente con lo shapefile per il join)
2. la somma di deceduti e vivi associata al comune
   Ci sono un po' di osservazioni perse, senza procom.

Lo shapefile contiene i comuni lombardi al 2018, con il dato di vivi e morti (l'excel 2). Essendo solo i comuni lombardi, sono esclusi i pochi dati esterni, che comunque sono presenti nell'excel.

Paolo
TA_COVID19_RL shapefile.zip

Important information which is missing

Folks, an important information that unfortunately is missing in most data sets is the total number of COVID-19 tests performed. Without this it is not entirely clear whether changes in numbers are due to increase in illnesses or more widespread testing. If one could find this information it would be highly valuable in determining the actual dynamics of the disease.

Lombardia Dashboard

Segnalo questa dashboard della Lombardia. Ci sono dei dati interessanti.

https://www.regione.lombardia.it/wps/portal/istituzionale/HP/servizi-e-informazioni/cittadini/salute-e-prevenzione/coronavirus/dashboard-covid19

Dati API anomali dopo update struttura csv protezione civile

Describe the bug
Il 30/03/2020 la Protezione Civile ha modificato la struttura dei csv pubblicati sul proprio github, aggiungendo una colonna e rinominandone altre 2, changelog qui: https://github.com/pcm-dpc/COVID-19/blob/master/CHANGELOG.md#2020-03-30. A causa di questa modifica, i dati restituiti dalle API presentano delle anomalie. Ad esempio i valori di "Totale Attualmente Positivi" risultano maggiori dei rispettivi "Totale Casi".

Come riprodurlo
Issue 1
I passi per riprodurla:

1. Aprire Postman
2. Chiamare l'API https://openpuglia.org/api/?q=getdatapccovid-19
3. I valori di "Totale Attualmente Positivi" risultano maggiori dei rispettivi "Totale Casi"

Issue 2
I passi per riprodurla:

1. Aprire Postman
2. Chiamare l'API https://openpuglia.org/api/?q=getdatapccovid-19&mode=ts&reg=lombardia&ndays=20
3. I valori di "Dimessi Guariti" non sono "non decrescenti"

Risultato atteso
Issue 1 -> Mi aspetto che Totale Attualmente positivi sia <= Totale Casi
Issue 2 -> Mi aspetto che i valori "Dimessi Guariti" siano "non decrescenti"

Dati sui tamponi in Lombardia: superare il limite dei 2000 record

Il web service ha un limite a 2000 record di output, ma quelli possibili sono di più.

Abilitare il download completo

generare tabella con nomi regioni usati da prot. civ. e codice regioni ISTAT

Immuni

Ho visto che sul sito di Immuni c'è ora una dashboard con alcuni dati.

Si potrebbero estrarre quotidianamente i dati? Sulle notifiche inviate e gli utenti positivi infatti non c'è lo storico, come per l'altro.

https://www.immuni.italia.it/dashboard.html

Grazie per tutto il lavoro che fate.

Dashboard ISS aggiornata con nuovi dati scaricabili

File xlsx “COVID-19 ISS open data” (aggiornamento giornaliero)
https://www.epicentro.iss.it/coronavirus/open-data/covid_19-iss.xlsx

dati nazionali e script per il calcolo dell'Rt nazionale (zip 6 kb) (aggiornamento settimanale)
https://www.epicentro.iss.it/coronavirus/open-data/calcolo_rt_italia.zip

Storico da Febbraio 25

Sarebbe fantastico se riusciste a recuperare lo storico dei vari update via file dall'inizio per avere un archivio completo. Bel lavoro , molto utile!

Errato numero positivi nel comune visualizzato quando si clicca sul punto sulla mappa lombarda.

Buongiorno e grazie mille per il vostro lavoro! Non sono esperto di github e spero di stare seguendo la procedura corretta. Seguo lo schema proposto da github per la segnalazione dei bug.

Descrizione del bug
Quando apro la mappa relativa ai dati di Regione Lombardia (https://github.com/ondata/covid19italia/blob/master/webservices/regioneLombardia/rawdata/ta_covid19_comuni_time.geojson), il numero dei casi presenti nel comune è correttamente indicato dal numero nel punto blu. Se clicco sul punto blu mi si apre una tenda con diverse informazione relative al comune. Il numero dei positivi, però, non coincide con quello nel punto blu visualizzato nella visione generale della mappa.

Come riprodurlo
I passi per riprodurlo:

1. Andare su https://github.com/ondata/covid19italia/blob/master/webservices/regioneLombardia/rawdata/ta_covid19_comuni_time.geojson
2. Scegliere un comune, zoommare fino a vedere i punti blu relativi ai singoli comuni
3. Cliccare sul punto blu per vedere la visualizzazione a tenda
4. Il numero dei positivi nella visualizzazione a tenda è diverso da quello mostrato nel punto blu

Risultato atteso
Credo che il numero dei positivi dovrebbe coincidere nell'intenzione dei creatori della mappa.

Screenshots

Integrazione dati precedenti al rilascio dei PDF

Anche se non sono completi di tutte le info, ho "scrapato" i dati regionali fin da quando erano pubblicati solo tramite l'RSS del DPC.
Li trovi qui, se vuoi integrarli nel tuo riepilogo e riempire il buco spazio dal 24 Febbrario al 1 Marzo

https://github.com/alessiodl/COVID19Feed2Json/blob/master/storico/regioni.csv

errore nei dati di napoli?

Ciao, stavo guardando il file: https://raw.githubusercontent.com/ondata/covid19italia/master/publication/provinceArchivio.csv

Mi sembra scorretto che il numero per NAPOLI del 3 Marzo (30) sia più alto del numero del 4 Marzo (17), ho capito male qualcosa io?

Lavori derivati

Grazie per i CSV!

Per mia consultazione personale, importo il CSV automaticamente in un Google Sheets ogni giorno (https://docs.google.com/spreadsheets/d/1OaZic5DVNp-tgg2GMnQlQXaCB7r_KSdu2WuZiD8B3kg/edit#gid=1287960954), e ho calcolato la differenza dei contagi per provincia.

Quindi, ci ho costruito sopra una piccola dashboard: https://datastudio.google.com/s/pkXn62iU3rQ

Data prima del 2 marzo

See the README for web-archive links for data before March 2nd
Vedi il mio README per i link web "web-archive" per i dati prima del 2 marzo

https://github.com/AnthonyEbert/ItalyCovid19