Giter Site home page Giter Site logo

covid19pt-data's Introduction

😷️🇵🇹 Dados relativos à pandemia COVID-19 em Portugal

📅️ Última actualização: 5 de Abril de 2023, 16:43

⚠️ Dados diários COVID-19 para casos confirmados e óbitos retomaram sexta-feira 25 de Março de 2022 em Link DGS, com cópia disponíveis na pasta dados_diariose a conversão do XLSX para CSV em dados_diarios.csv. É expectável que não correspondam aos dados semanais presentes no ficheiro original dados.csv.

⚠️ Dados diários COVID-19 e Vacinação terminaram sexta-feira 11 de Março de 2022, sendo substituidos por um novo relatório semanal conjunto - Link DGS - o que implica o final dos dados raw detalhados diários necessários para a maioria dos ficheiros CSV deste repositório.

🤖 Twitter Bots [INACTIVOS]: @CovidometroPT - Estatísticas diárias da COVID-19 em Portugal e @PlenoDVacinacao - Monitor da Vacinação COVID-19 em Portugal.

ℹ️ Fonte dos dados: Direcção Geral de Saúde - Ministério da Saúde Português, através dos relatórios do COVID-19 (aqui), da base de dados da ESRI Portugal aqui, e da API da Dashboard da ESRI aqui, desde 03/03/2020.

👁️ Utilizaste estes dados para análises/plataformas/notícias?: Deixa-nos detalhes aqui, na categoria 🙌 Montra de Projectos.

✉️ Carta Aberta à Direcção Geral de Saúde: Escrevemos um relatório em formato de Carta Aberta que contém tudo o que aprendemos acerca da estratégia de dados da DGS a respeito do COVID-19. Nesta carta fazemos várias sugestões no sentido de criar uma verdadeira cultura de dados abertos no seio desta organização. Se fazes parte de uma organização que partilha estes valores, a carta pode ser assinada aqui

🤔 Contexto

Embora a comunicação e partilha de dados por parte do Ministério de Saúde Português tenha melhorado consideravelmente ao longo da crise do COVID-19, ainda está longe de ideal (havendo a destacar o exemplo do repositório da Protecção Civil Italiana no GitHub).

A informação disponibilizada pela Direcção Geral de Saúde (DGS), para além de não ter o nível de granularidade da das autoridades italianas, também não é disponibilizada em formatos abertos e facilmente inspeccionáveis/manipuláveis. Ficam assim dificultadas tarefas de análise, modelação e visualização por parte da comunidade (quer mais informal, quer mais académica/industrial) disposta a colaborar no combate à pandemia com as ferramentas que conhece: as de análise de dados.

❗ O compromisso deste repositório é justamente esse: todos os dias enquanto esta pandemia durar, o ficheiro data.csv será actualizado com a informação mais recente disponibilizada pela Direcção Geral de Saúde. Esta informação será extraída das fontes de dados da dashboard assim que disponbilizada (por vezes algumas horas depois do lançamento do relatório).

A estrutura base deste ficheiro, desenhada para fácil manipulação em Excel/Python/R não mudará, podendo a comunidade analítica considerá-lo um alvo imutável (em termos de localização e estrutura) para, por exemplo, alimentar plataformas de visualização/modelação. De notar que, mediante a evolução do formato dos relatórios de situação, poderão ser adicionadas novas colunas, mantendo-se claro a retrocompatibilidade. Fontes adicionais de dados poderão também ser adicionadas.

Porque tudo começa com bons dados.

👁️ Aplicações deste repositório

🧱 Estrutura

O repositório está organizado da seguinte forma:

  • data.csv: o Pastel de Nata. Dados extraídos da dashboard e do relatório diário da DGS.
  • amostras.csv: contém dados diários relativos às amostras, extraídos da dashboard da DGS.
  • vacinas.csv: contém dados diários relativos à vacinação, extraídos da dashboard da DGS. Nota: os valores de doses, tal como na dashboard e nas imagens publicadas nas redes sociais, correspondem apenas à população residente no continente, excluindo as ilhas. O mesmo se aplica nos relatórios de vacinação até 17-03-2021, com o relatório #6 de 24-03-2021 passando a incluir as ilhas. Adicionalmente, as vacinas unidose são contabilizadas como dose1 nos valores diários, embora sejam correctamente contabilizados e documentados como vacinação completa (doses2) no relatório semanal. Para ajustar os valores em falta para as ilhas e unidoses, os campos pessoas são ajustados com os valores semanais do relatório.
  • vacinas_detalhe.csv: contém dados detalhados semanais relativos à vacinação, extraídos do dataset do relatório de vacinação da DGS. Nota: até 17-03-2021 incluia apenas população residente no continente, vide nota de vacinas.csv. Nota: tal como todos os outros csv, a coluna data corresponde ao dia seguinte aos dados reportados (7 dias neste caso), enquanto o Relatório PDF refere o último dia desses 7 dias, e o Dataset CSV refere o primeiro dia desses 7 dias.
  • data_concelhos.csv: contém dados acumulados relativos aos confirmados por concelho, extraídos do dashboard da DGS (e por isso sujeito às mesmas limitações relativamente a abrangência e protecção de dados, nomeadamente concelhos com menos de 3 confirmados não são reportados). Esta série de dados tem início a 24-03-2020 e tem cadência diária até 04-07-2020, passando a cadência semanal a 14-07-2020, e terminando a 26-10-2020. Vide os próximos dados para o novo formato.
  • data_concelhos_14dias.csv e data_concelhos_incidencia.csv contém dados de confirmados do acumulado dos 14 dias anteriores à data do reporte, no primeiro ficheiro, e proporcional a 100k habitantes no segundo ficheiro. Inclui os dados calculados do data_concelhos.csv desde que os daddos são semanais, nomeadamente entre 27-07-2020 (correspondendo ao periodo de 13-07-2020 a 26-07-2020) até 26-10-2020, e será actualizado conforme seja disponibilizado pela DGS (semanalmente à segunda-feira).
  • archive/: arquivo de todos os relatórios de situação disponibilizados pela DGS, em formato .pdf. Os relatórios são disponibilizados diariamente, desde o dia 03-03-2020.
  • notebooks/: contém um notebook Python com um exemplo simples de como carregar e visualizar os dados.
  • extra/: contém fontes de dados extras que podem ser usadas para complementar as análises dos restantes dados. As descrições dessas fontes de dados encontram-se dentro de um README nessa pasta.

📡 API Rest para os dados portugueses e mundiais

Em conjunto com a VOST Portugal, desenvolvemos uma API disponível a todos com os dados disponibilizados deste repositório, numa tentativa de dar uma ferramenta mais acessível a todos os que querem analisar os dados. Podem aceder e consultar a documentação aqui: https://covid19-api.vost.pt

A API requer autenticação básica. Os utilizadores podem pedir a senha através do envio de um e-mail para [email protected] com a informação:

Website onde a API e dados estão a ser usados, e-mail de contacto e nome da pessoa responsável.

Será gerado um username e uma password e enviado por e-mail.

(Versão anterior, desatualizada) Autor: Carlos Matos | Grupo IFT

Dados em versão API com resposta JSON, atualização diária conforme esta base de dados e dados da OMS para o endpoint dos dados mundiais por país. Acesso via RapidApi, com exemplos de requisição e resposta, exemplos de clients e SDK.

📔 Dicionário dos dados

Uma explicação do conteúdo em data.csv.

📝 ARS: Administração Regional de Saúde

Nome da coluna Significado Possíveis valores
data Data da publicação dos dados DD-MM-YYYY
data_dados Data e hora da recolha dos dados apresentados (quando omitida nos relatórios, assume-se como sendo a data da publicação dos dados). Geralmente, os dados são reportados até às 24h do dia anterior à data (equivalentes às 00h do dia de data, sendo este último o formato utilizado). DD-MM-YYYY HH:MM
confirmados Casos confirmados Inteiro >= 0
confirmados_arsnorte Casos confirmados na ARS Norte Inteiro >= 0
confirmados_arscentro Casos confirmados na ARS Centro Inteiro >= 0
confirmados_arslvt Casos confirmados na ARS Lisboa e Vale do Tejo Inteiro >= 0
confirmados_arsalentejo Casos confirmados na ARS Alentejo Inteiro >= 0
confirmados_arsalgarve Casos confirmados na ARS Algarve Inteiro >= 0
confirmados_acores Casos confirmados na Região Autónoma dos Açores Inteiro >= 0
confirmados_madeira Casos confirmados na Região Autónoma da Madeira Inteiro >= 0
confirmados_estrangeiro Casos confirmados no estrangeiro Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador. A partir de 28-03-2020, este indicador deixou de ser reportados e os respectivos casos imputados às ARS/Regiões de origem.
confirmados_novos Número de novos casos confirmados comparativamente ao dia anterior. É uma coluna calculada a partir da diferença nos casos confirmados entre dias consecutivos Inteiro >= 0
recuperados Total de casos recuperados Inteiro >= 0
obitos Total de óbitos Inteiro >= 0
internados Número de pacientes COVID-19 internados Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
internados_uci Número de pacientes COVID-19 internados em Unidades de Cuidados Intensivos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
lab Número de casos suspeitos a aguardar resultados laboratoriais Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
suspeitos Total de casos suspeitos (tendo a definição sido actualizada a 29/02/2020) desde 01/01/2020 Inteiro >= 0
vigilancia Número de casos sob vigilância pelas autoridades de saúde Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
n_confirmados Número de casos cuja suspeita de infecção não se confirmou Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
cadeias_transmissao Número de cadeias de transmissão do SARS-CoV-2 activas Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
transmissao_importada Número de casos confirmados com transmissão por via de infectados de outros países Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_0_9_f Número de casos confirmados do sexo feminino na faixa etária 0-9 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_0_9_m Número de casos confirmados do sexo masculino na faixa etária 0-9 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_10_19_f Número de casos confirmados do sexo feminino na faixa etária 10-19 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_10_19_m Número de casos confirmados do sexo masculino na faixa etária 10-19 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_20_29_f Número de casos confirmados do sexo feminino na faixa etária 20-29 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_20_29_m Número de casos confirmados do sexo masculino na faixa etária 20-29 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_30_39_f Número de casos confirmados do sexo feminino na faixa etária 30-39 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_30_39_m Número de casos confirmados do sexo masculino na faixa etária 30-39 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_40_49_f Número de casos confirmados do sexo feminino na faixa etária 40-49 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_40_49_m Número de casos confirmados do sexo masculino na faixa etária 40-49 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_50_59_f Número de casos confirmados do sexo feminino na faixa etária 50-59 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_50_59_m Número de casos confirmados do sexo masculino na faixa etária 50-59 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_60_69_f Número de casos confirmados do sexo feminino na faixa etária 60-69 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_60_69_m Número de casos confirmados do sexo masculino na faixa etária 60-69 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_70_79_f Número de casos confirmados do sexo feminino na faixa etária 70-79 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_70_79_m Número de casos confirmados do sexo masculino na faixa etária 70-79 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_80_plus_f Número de casos confirmados do sexo feminino na faixa etária 80+ anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_80_plus_m Número de casos confirmados do sexo masculino na faixa etária 80+ anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
sintomas_tosse Percentagem de casos infetados que reportaram o sintoma de tosse. Conforme informa a DGS, estes dados são relativos apenas a uma %, não-especificada e variável, dos infectados fracção entre [0, 1] ou vazio para os dias em que a DGS não reportava este indicador
sintomas_febre Percentagem de casos infetados que reportaram o sintoma de febre. Conforme informa a DGS, estes dados são relativos apenas a uma %, não-especificada e variável, dos infectados fracção entre [0, 1] ou vazio para os dias em que a DGS não reportava este indicador
sintomas_dificuldade_respiratoria Percentagem de casos infetados que reportaram o sintoma de dificuldades respiratórias. Conforme informa a DGS, estes dados são relativos apenas a uma %, não-especificada e variável, dos infectados fracção entre [0, 1] ou vazio para os dias em que a DGS não reportava este indicador
sintomas_cefaleia Percentagem de casos infetados que reportaram o sintoma de cefaleias. Conforme informa a DGS, estes dados são relativos apenas a uma %, não-especificada e variável, dos infectados fracção entre [0, 1] ou vazio para os dias em que a DGS não reportava este indicador
sintomas_dores_musculares Percentagem de casos infetados que reportaram o sintoma de dores musculares. Conforme informa a DGS, estes dados são relativos apenas a uma %, não-especificada e variável, dos infectados fracção entre [0, 1] ou vazio para os dias em que a DGS não reportava este indicador
sintomas_fraqueza_generalizada Percentagem de casos infetados que reportaram o sintoma de fraqueza generalizada. Conforme informa a DGS, estes dados são relativos apenas a uma %, não-especificada e variável, dos infectados fracção entre [0, 1] ou vazio para os dias em que a DGS não reportava este indicador
confirmados_f Número total de confirmados do sexo feminino Inteiro >= 0 ou vazio para os dias em falta
confirmados_m Número total de confirmados do sexo masculino Inteiro >= 0 ou vazio para os dias em falta
obitos_arsnorte Total de óbitos na ARS Norte Inteiro >= 0
obitos_arscentro Total de óbitos na ARS Centro Inteiro >= 0
obitos_arslvt Total de óbitos na ARS Lisboa e Vale do Tejo Inteiro >= 0
obitos_arsalentejo Total de óbitos na ARS Alentejo Inteiro >= 0
obitos_arsalgarve Total de óbitos na ARS Algarve Inteiro >= 0
obitos_acores Total de óbitos na Região Autónoma dos Açores Inteiro >= 0
obitos_madeira Total de óbitos na Região Autónoma da Madeira Inteiro >= 0
obitos_estrangeiro Total de óbitos no estrangeiro Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador. A partir de 28-03-2020, este indicador deixou de ser reportados e os respectivos casos imputados às ARS/Regiões de origem.
recuperados_arsnorte Total de pacientes recuperados na ARS Norte Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
recuperados_arscentro Total de pacientes recuperados na ARS Centro Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
recuperados_arslvt Total de pacientes recuperados na ARS Lisboa e Vale do Tejo Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
recuperados_arsalentejo Total de pacientes recuperados na ARS Alentejo Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
recuperados_arsalgarve Total de pacientes recuperados na ARS Algarve Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
recuperados_acores Total de pacientes recuperados na Região Autónoma dos Açores Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
recuperados_madeira Total de pacientes recuperados na Região Autónoma da Madeira Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
recuperados_estrangeiro Total de pacientes recuperados no estrangeiro Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador. A partir de 28-03-2020, este indicador deixou de ser reportados e os respectivos casos imputados às ARS/Regiões de origem.
obitos_0_9_f Número total de óbitos de pacientes do sexo feminino na faixa etária 0-9 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_0_9_m Número total de óbitos de pacientes do sexo masculino na faixa etária 0-9 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_10_19_f Número total de óbitos de pacientes do sexo feminino na faixa etária 10-19 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_10_19_m Número total de óbitos de pacientes do sexo masculino na faixa etária 10-19 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_20_29_f Número total de óbitos de pacientes do sexo feminino na faixa etária 20-29 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_20_29_m Número total de óbitos de pacientes do sexo masculino na faixa etária 20-29 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_30_39_f Número total de óbitos de pacientes do sexo feminino na faixa etária 30-39 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_30_39_m Número total de óbitos de pacientes do sexo masculino na faixa etária 30-39 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_40_49_f Número total de óbitos de pacientes do sexo feminino na faixa etária 40-49 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_40_49_m Número total de óbitos de pacientes do sexo masculino na faixa etária 40-49 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_50_59_f Número total de óbitos de pacientes do sexo feminino na faixa etária 50-59 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_50_59_m Número total de óbitos de pacientes do sexo masculino na faixa etária 50-59 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_60_69_f Número total de óbitos de pacientes do sexo feminino na faixa etária 60-69 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_60_69_m Número total de óbitos de pacientes do sexo masculino na faixa etária 60-69 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_70_79_f Número total de óbitos de pacientes do sexo feminino na faixa etária 70-79 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_70_79_m Número total de óbitos de pacientes do sexo masculino na faixa etária 70-79 anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_80_plus_f Número total de óbitos de pacientes do sexo feminino na faixa etária 80+ anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_80_plus_m Número total de óbitos de pacientes do sexo masculino na faixa etária 80+ anos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
obitos_f Número total de óbitos de pacientes do sexo feminino Inteiro >= 0 ou vazio para os dias em falta
obitos_m Número total de óbitos de pacientes do sexo masculino Inteiro >= 0 ou vazio para os dias em falta
confirmados_desconhecidos_m Número de casos confirmados do sexo masculino com idade desconhecida Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_desconhecidos_f Número de casos confirmados do sexo masculino com idade desconhecida Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
ativos Número de casos ativos Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
internados_enfermaria Número de pacientes COVID-19 internados em Enfermaria (não Unidades de Cuidados Intensivos) Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
confirmados_desconhecidos Número de casos confirmados com sexo desconhecido Inteiro >= 0 ou vazio para os dias em que a DGS não reportava este indicador
incidencia_nacional Número de casos confirmados nos 14 dias anteriores e por 100 mil habitantes, nacional, desde 15-03-2021 Fração >= 0 ou vazio para os dias em que a DGS não reportava este indicador
incidencia_continente Número de casos confirmados nos 14 dias anteriores e por 100 mil habitantes, continente, excluindo ilhas, desde 15-03-2021 Fração >= 0 ou vazio para os dias em que a DGS não reportava este indicador
rt_nacional R(t) nacional, desde 15-03-2021 Fração >= 0 ou vazio para os dias em que a DGS não reportava este indicador
rt_continente R(t) continente, excluindo ilhas, desde 15-03-2021 Fração >= 0 ou vazio para os dias em que a DGS não reportava este indicador

Definições exactas de alguns destes termos constam do glossário do Plano Nacional de Preparação e Resposta à Doença por novo coronavírus (COVID-19) (página 65 em diante). A 26/03/2020, a soma do número de pacientes recuperados por ARS/Região Autónoma nem sempre é igual ao número total de recuperados. A DGS reportou os dados desta forma, indicando que o diferencial correspondia a "21 casos recuperados laboratorialmente" e a "aguardar mais informação."

Uma outra métrica com potencial interesse científico, o número de casos com base na data de início de sintomas, é também reportada pela DGS. No entanto, é apenas disponibilizado um gráfico de eixos esparsos, o que pode introduzir erros de aproximação na transcrição e comprometer a factualidade dos dados. Por essa razão, esta informação é propositadamente excluída.

Relativamente ao conteúdo em amostras.csv:

Nome da coluna Significado Possíveis valores
data Data a que se referem os dados DD-MM-YYYY
amostras Número total de amostras processadas Inteiro >= 0 ou vazio
amostras_novas Número diário de novas amostras processadas Inteiro >= 0 ou vazio
amostras_pcr Número total de amostras PCR processadas Inteiro >= 0 ou vazio
amostras_pcr_novas Número diário de novas amostras PCR processadas Inteiro >= 0 ou vazio
amostras_antigenio Número total de amostras Antigénio processadas Inteiro >= 0 ou vazio
amostras_antigenio_novas Número diário de novas amostras Antigénio processadas Inteiro >= 0 ou vazio

Relativamente a estes dados, o dashboard da DGS dá conta de que "correspondem ao número de amostras processadas para diagnóstico de SARS-CoV-2 em laboratórios públicos e privados desde o dia 1 de março." Dizem ainda que "Os dados diários após 2 de abril de 2020 ainda estão a ser recolhidos, pelo que os valores no gráfico poderão sofrer alterações." De facto, há a possibilidade de, a cada dia, dados referentes a dias anteriores serem alterados, provavelmente pelo facto de a informação relativa ao processamento de amostras ser recebida pela DGS com alguns dias de desfasamento.

Relativamente ao conteúdo em vacinas.csv:

Nome da coluna Significado Possíveis valores
data Data a que se referem os dados DD-MM-YYYY
doses Número total de doses de vacinas administradas em Portugal continental Inteiro >= 0 ou vazio
doses_novas Número diário de doses de vacinas administradas em Portugal continental Inteiro >= 0 ou vazio
doses1 Número total de primeiras doses de vacinas administradas em Portugal continental. Nota: inclui unidoses Inteiro >= 0 ou vazio
doses1_novas Número diário de primeiras doses de vacinas administradas em Portugal continental. Nota: inclui unidoses Inteiro >= 0 ou vazio
doses2 Número total de segundas doses de vacinas administradas em Portugal continental. Nota: exclui unidoses Inteiro >= 0 ou vazio
doses2_novas Número diário de segundas doses de vacinas administradas em Portugal continental. Nota: exclui unidoses Inteiro >= 0 ou vazio
pessoas_vacinadas_completamente Número total de pessoas com vacinação completa - com vacina unidose ou com ambas as doses - em Portugal incluindo as ilhas. Tenderá para o total da população. É ajustado semanalmente com os valores do relatório para a diferença de unidose e ilhas. A partir de 29-11-2021 é ajustado do novo relatório com o valor de vacinação completa do continente somado ao ultimo valor conhecido das ilhas. Inteiro >= 0 ou vazio
pessoas_vacinadas_completamente_novas Número diário de pessoas com vacinaçao completa Inteiro >= 0 ou vazio
pessoas_vacinadas_parcialmente Número total de pessoas com vacinaçao parcial - com apenas a primeira dose de vacinas de dose dupla. Tenderá para zero conforme a população receba a segunda dose. É ajustado semanalmente como o completamente Inteiro >= 0 ou vazio
pessoas_vacinadas_parcialmente_novas Número diário de pessoas com vacinaçao parcial. Poderá ser negativo em dias que sejam administradas mais segundas doses que primeiras. Inteiro >= 0 ou vazio
pessoas_inoculadas Número total de pessoas com pelo menos uma dose de vacina. É ajustado semanalmente como o completamente Inteiro >= 0 ou vazio
pessoas_inoculadas_novas Número diário de pessoas com a primeira (potencialmente única) dose de vacina. Inteiro >= 0 ou vazio
pessoas_inoculadas_12mais Número total de pessoas com pelo menos uma dose de vacina e 12 ou mais anos. É calculado da diferença de pessoas_inoculadas_novas subtraindo vacinação_iniciada_05_11, para o valor poder ser usado quando comparado com outros países com 12+ e sem que a percentagem ultrapasse os 100%. Inteiro >= 0 ou vazio
vacinas Número total de doses de vacina. Equivalente ao doses mas ajustado semanalmente com os valores das ilhas. Inteiro >= 0 ou vazio
vacinas_novas Número diário de novas doses de vacinas. Inteiro >= 0 ou vazio
pessoas_vacinadas_completamente_continente Número total de pessoas com vacinação completa no continente, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
pessoas_vacinadas_completamente_continente_novas Número diário de pessoas com vacinação completa no continente, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
pessoas_reforço Número total de pessoas com vacinação reforço no continente, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
pessoas_reforço_novas Número diário de pessoas com vacinação reforço no continente, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
pessoas_gripe Número total de pessoas com vacinação gripe no continente, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
pessoas_refopessoas_gripe_novasrço_novas Número diário de pessoas com vacinação gripe no continente, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
vacinas_reforço_e_gripe_novas Número diário de inoculações de vacinas contra a COVID-19 e contra a Gripe. Inteiro >= 0 ou vazio
reforço_80mais Número total de pessoas com vacinação reforço no continente com mais de 80 anos, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
reforço_80mais_novas Número diário de pessoas com vacinação reforço no continente com mais de 80 anos, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
reforço_70_79 Número total de pessoas com vacinação reforço no continente com 70 a 79 anos, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
reforço_70_79_novas Número diário de pessoas com vacinação reforço no continente com 70 a 79 anos, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
reforço_65_69 Número total de pessoas com vacinação reforço no continente com 65 a 69 anos, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
reforço_65_69_novas Número diário de pessoas com vacinação reforço no continente com 65 a 69 anos, do relatório diário a partir de 29-11-2021. Inteiro >= 0 ou vazio
reforço_60_69 Número total de pessoas com vacinação reforço no continente com 60 a 69 anos, do relatório diário a partir de 19-12-2021, deixando de haver 65-69. Inteiro >= 0 ou vazio
reforço_60_69_novas Número diário de pessoas com vacinação reforço no continente com 60 a 69 anos, do relatório diário a partir de 19-12-2021. Inteiro >= 0 ou vazio
reforço_50_59 Número total de pessoas com vacinação reforço no continente com 50 a 59 anos, do relatório diário a partir de 19-12-2021. Inteiro >= 0 ou vazio
reforço_50_59_novas Número diário de pessoas com vacinação reforço no continente com 50 a 59 anos, do relatório diário a partir de 19-12-2021. Inteiro >= 0 ou vazio
reforço_40_49 Número total de pessoas com vacinação reforço no continente com 40 a 49 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio
reforço_40_49_novas Número diário de pessoas com vacinação reforço no continente com 40 a 49 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio
reforço_30_39 Número total de pessoas com vacinação reforço no continente com 30 a 39 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio
reforço_30_39_novas Número diário de pessoas com vacinação reforço no continente com 30 a 39 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio
reforço_18_29 Número total de pessoas com vacinação reforço no continente com 18 a 29 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio
reforço_18_29_novas Número diário de pessoas com vacinação reforço no continente com 18 a 29 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio
vacinação_iniciada_05_11 Número total de pessoas com vacinação iniciada no continente com 5 a 11 anos, do relatório diário a partir de 19-12-2021. Inteiro >= 0 ou vazio
vacinação_iniciada_05_11_novas Número diário de pessoas com vacinação iniciada no continente com 5 a 11 anos, do relatório diário a partir de 19-12-2021. Inteiro >= 0 ou vazio
vacinação_completa_05_11 Número total de pessoas com vacinação completa no continente com 5 a 11 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio
vacinação_completa_05_11_novas Número diário de pessoas com vacinação completa no continente com 5 a 11 anos, do relatório diário a partir de 07-02-2022. Inteiro >= 0 ou vazio

Relativamente ao conteúdo em vacinas_detalhe.csv:

Nome da coluna Significado Possíveis valores
data Data a que se referem os dados DD-MM-YYYY
recebidas Número total de doses de vacinas recebidas Inteiro >= 0 ou vazio
distribuidas Número total de doses de vacinas distribuidas Inteiro >= 0 ou vazio
[*] As colunas seguintes referem-se aos valores para Portugal continental, sem sufixo, e repetindo depois com cada sufixo por idade [0_17, 18_24, 25_49, 50_64, 65_79, 80+, desconhecido], e por ARS [arsnorte, arscentro, arslvt, arsalentejo, arsalgarve, madeira, açores, outro]
doses Número total de doses de vacinas administradas Inteiro >= 0 ou vazio
doses_novas Número diário de doses de vacinas administradas Inteiro >= 0 ou vazio
doses1 Número total de primeiras doses de vacinas administradas Inteiro >= 0 ou vazio
doses1_novas Número diário de primeiras doses de vacinas administradas Inteiro >= 0 ou vazio
doses2 Número total de segundas doses de vacinas administradas Inteiro >= 0 ou vazio
doses2_novas Número diário de segundas doses de vacinas administradas Inteiro >= 0 ou vazio
dosesunk Número total de doses desconhecidas de vacinas administradas Inteiro >= 0 ou vazio
dosesunk_novas Número diário de doses desconhecidas de vacinas administradas Inteiro >= 0 ou vazio
doses1_perc Percentagem de população vacinada com a primeira dose fracção entre [0, 1] ou vazio
doses2_perc Percentagem de população vacinada com a segunda dose fracção entre [0, 1] ou vazio
populacao1 População a que se referem os dados (doses1 ÷ doses1_perc), a que deverá corresponder ao respectivo valor de população de acordo com INE/PORDATA 2019 Inteiro >= 0 ou vazio
populacao2 População a que se referem os dados (doses2 ÷ doses2_perc), a que deverá corresponder ao respectivo valor de população de acordo com INE/PORDATA 2019 Inteiro >= 0 ou vazio

Relativamente ao ficheiro data_concelhos.csv:

Nome da coluna Significado Possíveis valores
data Data a que se referem os dados DD-MM-YYYY
[nome_concelho] Número total de casos acumulados Inteiro >= 0 ou vazio para os dias em que este indicador não é reportado neste concelho caso seja inferior a 3.

Estes dados são extraídos do serviço da ESRI de ArcGIS e podem ter algumas diferenças em relação ao boletim oficial (isto é, concelhos que deixam de aparecer no boletim continuam a aparecer no serviço). A partir de 31/03, estes casos passaram a ser reportados pelas Administrações Regionais de Saúde e Regiões Autónomas, sendo que qualquer conclusão com base nos dias anteriores deve ser tomada com cuidado.

Relativamente ao ficheiro rt.csv:

Nome da coluna Significado Possíveis valores
data Data a que se referem os dados DD-MM-YYYY
rt_[região] Rt para a respectiva região Fração >= 0 ou vazio
rt_95_inferior_[região] Limite inferior Índice Confiança 95% do Rt para a respectiva região Fração >= 0 ou vazio
rt_95_superior_[região] Limite superior Índice Confiança 95% do Rt para a respectiva região Fração >= 0 ou vazio

Estes dados são extraídos do Instituto Nacional de Saúde Doutor Ricardo Jorge (INSA)

💡 Problemas, inconsistências e melhorias

Quaisquer sugestões de dados complementares (provenientes de fontes oficiais), inconsistências nos dados ou melhorias genéricas, à vontade ➡️ Issues ou Pull Requests.

🌍 Sobre a Data Science for Social Good Portugal

A Data Science for Social Good Portugal é uma comunidade aberta de cientistas de dados, amantes de dados e entusiastas de dados que querem atacar problemas que importam verdadeiramente. Acreditamos no poder dos dados para transformar a nossa sociedade para o melhor e para todos.

@dssgPT | fb.com/DSSGPortugal | Instagram @dssg_pt | LinkedIn

covid19pt-data's People

Contributors

davipt avatar dssgpt avatar ferraridg avatar filipafcastro avatar gitgrupoift avatar guoliveira avatar hmgfaria avatar ishouldbedany avatar jgsmarques avatar joao avatar joaopalmeiro avatar michaelfsp avatar migueljmonteiro avatar paulomaia20 avatar paulommaia avatar tensorfreitas avatar tensorfreitas-nilgai avatar teresalazar13 avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

covid19pt-data's Issues

Impacto no mercado de trabalho

O Ministério do Trabalho, Solidariedade e Segurança Social disponibiliza dados referentes ao impacto do covid-19 no mercado de trabalho em http://www.gep.mtsss.gov.pt/indicadores-covid-19-mtsss.

Os dados são actualizadas regularmente e incluem p. ex o número diário de layoffs, despedimentos e desempregados.

As tabelas já estão bastante estruturadas e acessíveis (formato .xlsx), mas seria interessante limpar alguns destes dados mais um pouco e adicionar ao repositório.

Missing Data

Bom dia,

Os dados não foram atualizados ontem, correto?

Obrigado pelo trabalho realizado.
Hugo

Dados em falta - 10 Junho

Bom dia,

Estão em falta os dados para 10 de Junho.
Têm alguma previsão de quando estes estarão disponíveis?

Grato mais uma vez pela vosso trabalho.

Obrigado
Hugo

Criar site do projecto para recolher dados

Seria interessante criar um site para o projecto onde as pessoas comuns podem consultar os dados que são aqui disponibilizados (dashboard como outras que já existem por exemplo no Reddit)e talvez até ter um formulário no mesmo site onde podíamos recolher ainda mais dados do público geral.

Dado que não parece ser possível testar toda a gente e o vírus tem características muito particulares como a de poder ser transmitido mesmo antes de os portadores apresentarem sintomas, talvez fosse possível com recurso aos dados mencionados criarmos uma ferramenta que nos indicasse a probabilidade de aparecerem novos casos em determinada zona geográfica de modo a que as autoridades de saúde possam utilizar os testes disponíveis com mais eficiência.

Se concordarem, eu disponibilizo-me a participar no desenvolvimento do site proposto (e penso que não será necessário nada muito complexo, caso outros queiram contribuir também).

Dados errados no ficheiro data_concelhos.csv

Bom dia,

o ficheiro data_concelhos.csv apresenta o valor 5.5 para o concelho de Penacova no dia 2 de Abril.

Provavelmente um erro de processamento dos dados desse dia que persiste. É possível corrigi-lo?

Obrigado desde já.

Cumprimentos,
Bruno

Problema na série

A DGS acabou fazendo releases meio confusos no início, um desses problemas dá para ver na série nas datas em que há 39 e 41 confirmados. Desavisados sobre isto podem acabar utilizando estes dados e ter muitas dores de cabeça porque tanto o 41 quanto o 59 (dia seguinte) incluem dados do mesmo dia 10 de Março. Esse é o tipo de coisa que acabo corrigindo manualmente nas análises, mas que pode confundir muitas outras análises. Acredito que ou deve-se alterar os dados em https://github.com/dssg-pt/covid19pt-data/blob/master/data.csv, em adicionar um warning claro na página inicial, pois pode acabar influenciando gravemente em análises de pessoas desavisadas.

[Mini-projecto] Dados sobre o impacto no mercado de trabalho

🤔 Contexto:
Um dos maiores impactos do COVID-19 em Portugal tem sido no mercado de trabalho. Como tal, dados relacionados com desemprego, pedidos de layoff ou baixas têm uma extrema importância para melhor entender este impacto, acompanhar e prever a sua evolução. O Ministério do Trabalho, Solidariedade e Segurança Social (MTSSS) disponibiliza estes dados, ao longo do tempo, num ficheiro .xlsx.

🥅 Objectivo:
Criar uma pipeline de extração diária de dados do ficheiro .csv publicado pelo MTSSS com um dicionário de dados associados.

👥 Tamanho máximo da equipa: 3 pessoas

🎯 Resultado final esperado:
Criação de um conjunto de ficheiros .csv e dicionários de dados com fontes consideradas relevantes para estudos de impacto da COVID-19 no mercado de trabalho em Portugal.

🧱 Principais etapas:

  • Criar um ficheiro csv com dados que considerem relevantes desse ficheiro, tais como:
    • Baixas por isolamento.
    • Pedidos de layoff.
    • Despedimentos.
    • Criar um dicionário de dados (tabela em Markdown ou ficheiro .csv) com o significado de cada variável.
  • Criar um script para atualizar diariamente estes dados extraindo-os da plataforma, com uma lógica semelhante ao que temos feito no repositório (usando o Github Actions).
  • Criar um script de teste para testar a validade dos dados e o funcionamento do script, com os testes considerados relevantes.
  • Incluir os scripts no workflow atual.

Se estás interessado em pegar neste mini-projecto, diz coisas aqui em baixo ⬇️

Óbitos por faixa étaria

Viva,
Estava a olhar para os dados e tendo em conta as boas práticas dos outros países, sugeria além da catalogação dos confirmados por faixa etária, o mesmo fosse feito com os óbitos.
Sei que os dados oficiais não têm essa indicação (pelo menos no relatório diário da DGS), mas pelo menos a partir das noticias é possível reconstruir esses dados.

Dados oficiais do número básico R0 e efectivo Rt, de reprodução em Portugal

Boas a todos
Primeiramente queria agradecer o vosso trabalho, voluntário e vocacionado para a total divulgação dos dados pertinentes a esta pandemia que nos assola.
Senhores e Senhoras, estimados colegas, tenho trabalhado arduamente n cálculo de R0 e Rt.
Os meus valores, já revistos, não batem de alguma forma, nem com a distribuição de Poisson ou normal.
Contudo, no caso alemão, pelo Robert Koch Insititute (RKI), consegui obter os valores oficiais do Bundesministerium für Gesundheit, que anexo aqui.
https://opendata.arcgis.com/datasets/dd4580c810204019a7b8eb3e0b329dd6_0.csv
https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Projekte_RKI/R-Beispielrechnung.html
https://corona.stat.uni-muenchen.de/nowcast/
R-Beispielrechnung.xlsx

RKI_COVID19-06.05.2020.xlsx

Existe alguma base de dados oficial para Portugal?

Obrigado pela atenção.

Ed K Lindemann

Clarificar Dados de 16 Março

Valores Totais reportados não são coerentes com os dados por faixa etária e por género (faltam dados de uma pessoa)

Colocar número de mortos por região

Olá,

Dado que a DGS publica no seu relatório o número de mortos por cada região, seria possível ter esta informação no CSV?

Se acharem útil, posso fazer o trabalho de preencher os dados para trás com um PR.

Obrigado,

Rest API

Viva

Estou a tentar fazer uma pequena chamada à REST API (em Perl, com um GET), com full dataset, mas apenas obtenho o erro 1010. Faço um get ao endereço https://covid19-api.vost.pt/Requests/get_full_dataset (funciona no browser).
Alguém me pode dizer qual a forma correcta de aceder à API?

Obrigado.

Kepler

Dados Equivocados 25/04/2020 - 30/04/2020

data Confirmados Diff - MT (MS) Zona Norte - Confirmados        
30/04/2020 24987 203 14867 84 Aferido pelo total da diferença de todas as outras regiões.
01/05/2020 25190   14951        
               

Formato da Data

Bom dia,
Em primeiro lugar, quero agradecer-vos pelo vosso trabalho fantástico, têm sido fantásticos.
Queria só pedir-vos para manterem o formato da data em ISO, sff. Reparei que mudaram o formato de ontem para hoje e para fins de automatização era mais útil se mantivessem sempre o mesmo formato :)

Obrigado,
Luís

Stability of CSV files

Hi, first of all thanks so much for this -- awesome work! I am now using your CSV files to add region-level data to my Open COVID-19 project.

I am currently pulling your CSV file from the GitHub Raw cache and I wanted to understand how stable these files are, whether you are likely to change the name, location, format, etc. In case of any changes, how can I be notified so I can update my scripts appropriately?

Clarificar raw data vs medidas calculadas

no data.csv, a variável 'transmissao-comunitaria' terá sido calculada com base em outras variáveis. Não havendo clarificação precisa para este termo, não sendo imediata a licitude deste cálculo, e não sendo um dado em bruto fornecido pela DGS, seria interessante alterar o nome da variável de forma a explicitar que é um resultado de duas medidas recolhidas, e que pode não corresponder a uma medida correcta em terminologia de Saúde Pública.

Testes efetuados em Portugal

Boa tarde,

alguém sabe onde podemos consultar ou até incluir os dados sobre testes efetuados na população portuguesa para criar análises de Total Testes vs Total Confirmados ?

Melhores cumprimentos e continuação de bom trabalho :)

Dados de casos confirmados por concelho

Para desenhar a introdução do número de casos confirmados por concelho (e metadados associados) no repositório, mantendo a fiabilidade e o grau de automatização. Algumas questões a ter em conta:

  • A extracção automática para todos os boletins é viável? No início o formato variava muito (antes era por número de casos, agora é por ordem alfabética). Agora é mais estável. Mas dado o volume de dados parece ser a única solução.
  • Como importar o histórico? Manualmente ou ter um script de extracção mais flexível, não esperando quaisquer formatos.
  • Guardar num ficheiro à parte ou num novo ficheiro? Dado o volume de dados, parece ser mais prudente fazê-lo num novo ficheiro.
  • Incluir todos os concelhos? Nem todos os concelhos terão dados (por não terem infectados, pelo facto dos seus infectados não estarem sinalizados no SINAVE, por terem menos do que 3 infectados). Talvez seja mais fácil simplesmente incluir todos os concelhos e manter em NaN aqueles para onde não há dados (independentemente da razão).
  • Como identificar os concelhos? Obviamente que pelo nome, mas há algum outro tipo de identificador numérico padrão? Se quisermos incluir shapefiles minimamente oficiais dos concelhos, como garantir a ligação entre nome do concelho e identificação do shapefile (estará a DGS a usar os nomes oficiais dos concelhos ou teremos que fazer um processamento que retire variabilidades como maiúsculas/minúsculas, partículas de ligação, etc)?

Dados de poluição atmosférica

Como um proxy de mobilidade e para perceber isolamento social em dadas regiões, pode ser interessante estudar dados da concentração de poluentes atmosféricos ao longo do dia.

https://qualar1.apambiente.pt/qualar/index.php

Este site tem dados de 2018 validados com a concentração de vários poluentes

Fazem a medição todos os dias, pelo que podemos tentar contactá-los.

Em alternativa, diariamente são calculadas algumas features, mas mais agregadas:

https://qualar1.apambiente.pt/qualar/index.php?age=2&day=14&month=3&year=2020&x=8&y=3

Create API to retrieve results

Acho que seria interessante disponibilizar um API para devolver os dados no data.csv.
Eu posso ajudar com isso :)
Depois so têm de dar deploy

[Mini-projecto] Análise de sentimento ao longo do período pandémico

🤔 Contexto:
O estado emocional da população tem uma elevada influência na forma como as pessoas reagem às medidas que são impostas e, consequentemente, no sucesso das mesmas. Neste contexto, torna-se relevante avaliar a evolução dos sentimentos mais preponderantes entre a população portuguesa ao longo da pandemia, através da análise de notícias ou de publicações nas redes sociais.

🥅 Objectivo:
Analisar a evolução dos sentimentos mais preponderantes entre a população portuguesa durante o período da pandemia e relacioná-los com a implementação e levantamento de medidas governamentais.

👥 Tamanho máximo da equipa: 3 pessoas

🎯 Resultado final esperado:
Criação de uma timeline visual que reflita o estado emocional da população portuguesa ao longo do período pandémico e integre informação das medidas que mais poderão ter contribuído para esse estado.

🧱 Principais etapas:

  • Seleção de fontes relevantes de dados para análise de sentimentos da população portuguesa (como por exemplo, os dados do nosso repositório das notícias do jornal Observador/Público, ou dados extraídos do Twitter).
  • Listagem de implementação e levantamento de medidas governamentais ao longo do tempo.
  • Desenvolvimento/utilização de algoritmos pré-existentes (e.g. NLTK/spaCy em Português) para classificação em termos de sentimentos positivos/negativos (ou numa gama entre eles), com base em texto proveniente das fontes escolhidas;
  • Apresentação dos resultados através de visualizações pertinentes e explícitas.

Se estás interessado em pegar neste mini-projecto, diz coisas aqui em baixo ⬇️

Scrapper para fazer download de FAQs do ISPUP

O website https://www.covid19portugal.pt/p/1/ tem um conjunto de Perguntas e Respostas atualizadas diariamente.

Tem também um PDF com perguntas e respostas de Mitos, informação sobre a patologia, etc, que são imutáveis, e podem ser transferidos manualmente para um CSV.

Estes dados podem ser usados eventualmente para projetos de sumarização de notícias/documentos, para criar ferramentas para informar a população (resposta automática a perguntas semelhantes, com fontes científicas validadas - isto é, intent recognition) e para cross-checking de factos.

[Mini-projecto] Scrapper do link do novo relatório do site da DGS

🤔 Contexto:
De momento, quando sai um novo relatório na página da [DGS] (https://covid19.min-saude.pt/relatorio-de-situacao/), a nossa pipeline de extração de dados funciona da seguinte forma:

  • Criação de um branch com nome dados_[dia].
  • Atualização do ficheiro report_link.txt com o link do relatório novo.
  • Atualização do README.md com a última data de atualização.

🥅 Objectivo:
Determinação automática do link do relatório mais recente

👥 Tamanho máximo da equipa: 1 pessoa

🎯 Resultado final esperado:
Script que consiga determinar o último relatório publicado pela DGS e atualizar o nosso repositório

🧱 Principais etapas:

  • Extrair o link do novo relatório se for mais recente que os últimos dados que temos no repositório.
  • Atualizar o ficheiro .github/workflows/report_link.txt com o link do novo relatório.
  • Atualizar o ficheiro README.md com a data de última atualização.

A criação de um mecanismo automático para tratar disto ficará do nosso lado, pois não é direto termos isto a partir do Github Actions.


Se estás interessado em pegar neste mini-projecto, diz coisas aqui em baixo ⬇️

[Mini-projecto] Dados da SICO-eVM (plataforma de vigilância da mortalidade)

🤔 Contexto:
Os dados de mortalidade têm uma extrema importância para entender o impacto da pandemia do COVID-19 em Portugal. No [Sistema de Informação dos Certificados de Óbito - e-Vigilância de Mortalidade](SICO-eVM - https://evm.min-saude.pt/) são disponibilizados dados sobre a mortalidade em Portugal, mas sem uma estrutura e dicionário de dados associados.

Mais informações disponíveis no issue #48.

🥅 Objectivo:
Criar uma pipeline de extração diária de dados do portal SICO-eVM com um dicionário de dados associados.

👥 Tamanho máximo da equipa: 3 pessooas

🎯 Resultado final esperado:
Criação de um conjunto de ficheiros .csv e dicionários de dados com fontes que os voluntários considerem relevantes para estudos do impacto do COVID-19 na mortalidade em Portugal.

🧱 Principais etapas:

  • Criar um script para extração de dados para um ficheiro `.csv com dados que considerem relevantes do portal SICO-eVM
    • Mortalidade Geral, Portugal
    • Mortalidade por região de saúde
    • Óbitos por 100 000 habitantes
    • (...)
  • Criar um dicionário de dados (tabela em Markdown ou ficheiro .csv) com o significado de cada variável .
  • Criar um script para atualizar diariamente estes dados, com uma lógica semelhante ao que temos feito no repositório (usando o Github Actions).
  • Criar um script de teste para testar a validade dos dados e o funcionamento do script, com os testes que considerarem relevantes.
  • Incluir os scripts no workflow atual.

Se estás interessado em pegar neste mini-projecto, diz coisas aqui em baixo ⬇️

Dados incorrectos (data_concelhos.csv) a 16/05/2020 (Santo Tirso/São Brás de Alportel)

Olá,

Antes de mais dar os parabéns e agradecer pelo excelente trabalho deste repositório!

À semelhança deste projecto, obtenho os meus dados por concelho a partir do dashboard da ESRI Portugal; deparei hoje na minha análise que Santo Tirso passava a reportar 0 casos, enquanto que São Brás de Alportel (que sabia reportar 0 no dia anterior) passou a reportar 378 casos confirmados.

Houve uma "troca" nessas duas linhas, e confirmei que de facto o erro é do dashboard, e não do relatório de situação de hoje.

Como sabia que tinham passado recentemente a utilizar a mesma fonte vim confirmar, e de facto tal se verifica.

Farei um PR de seguida, e muito obrigado mais uma vez! :)

número de linhas no ficheiro data.csv

Parece que a última versão dos dados inclui uma linha extra no final do ficheiro. Em princípio essa linha não gera problemas, mas por consistência com as versões anteriores do ficheiro de dados deviriam removê-la.

Clarificar alguns parametros

Boas,
Obrigado por disponibilizarem estes dados. Muito interessantes.
Tenho algumas perguntas relativas ao significado de algumas colunas:

O que é o lab?
Que região é confirmados_arslvt?
Qual a diferença entre suspeitos e vigilancia?
Qual a diferença entre confirmados e n_confirmados?

obrigado

[Mini-projecto] Tweet automático com a actualização de dados

🤔 Contexto:
Todos os dias actualizamos os dados e gostamos de informar quem nos segue nas redes sociais acerca disso, para que pessoas que dependem dos dados do repositório possam ficar a par e actualizar as suas análises/scripts/projectos pessoais. O Twitter é uma rede social que concentra muita dessa audiência, pelo que privilegiamos a divulgação aí.

🥅 Objectivo:
Enviar automaticamente um tweet após a actualização diária dos dados, informando da mesma e possivelmente incluindo alguns dados estatísticos simples.

👥 Tamanho máximo da equipa: 1-2 pessoas

🎯 Resultado final esperado:
Uma GitHub Action que possa ser integrada no nosso repositório e automaticamente executada após a integração dos dados diários no branch principal.

🧱 Principais etapas:

  • Desenvolver um script (idealmente ecossistema Python):
    • Autentique na nossa conta Twitter (iremos partilhar as credenciais através de um método seguro, como secrets do repositório).
    • Leia o ficheiro data.csv e dele extraia os principais indicadores do dados de hoje relativamente ao dia anterior (aumentos absolutos e em percentagem do número de infectados, óbitos, recuperados, internados e internados em UCI).
    • Componha um tweet belo e objectivo com estes dados e o envie.
  • Integrar este ficheiro numa Action do GitHub, que corra de forma robusta cada vez que é feito o merge de um branch com nome dados- para o branch master.

Se estás interessado em pegar neste mini-projecto, diz coisas aqui em baixo ⬇️

missing values - NaN vs Empty values

any reason to have "NaN" instead of empty values ?

I think it's simpler to handle the latter on most softwares/packages. would suggest to replace it

Adicionar nota no README.md acerca dos dados por concelho

Dada a pouca abrangência e incerteza metodológica acerca destes dados, decidimos por agora não os incluir (assim como recursos de suporte como ficheiros .shapefile das NUTS III, dos concelhos). Adicionar uma nota no README.md que clarifique esta opção (que está obviamente sujeita a revisão ao longo dos dias).

Alerta/Webhooks de novos dados disponíveis

Gostava iniciar uma conversa sobre como seria preferível implementar uma forma de divulgação que existem novos dados disponíveis.

Reparei que este projecto tem Github Actions a serem executados assim que há novos "merges". Seria interessante também, de certos projectos poderem ser notificados de que há novo conteúdo, à semelhança do Mini Projecto de publicar os novos dados no Twitter #153 .

Um caso de uso seria o lançamento da notificação de novos casos da aplicação EstamosOn.

README.md: use `*_arsalentejo` not `*_alentejo`

In the "Dicionário dos dados" section of the README.md file "Nome da colunas" ending in *_alentejo should be *_arsalentejo.

If you agree I can issue a pull request (or you can correct it yourself).

Thanks,
Saghir

Aumentos de casos LVT e número de testes

Boa tarde a todos,

Hoje vi nas notícias que segundo o PM o aumento de casos na região de Lisboa e vale do Tejo se deve ao aumento do número de testes.

image

image

Contudo não verifico esse aumento na variável lab como esperava.

image

O que vejo é que a região de Lisboa e vale do Tejo tem valores de confirmados diários na mesma ordem ou superior que países europeus inteiros.

image

image

image

Ao olhar para estes dados a situação parece ser mais um pouco mais séria do que o que se está a transmitir e em nada a ver com os testes. Mais alguém chegou à mesma conclusão?

Abraço.

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.