dadosjusbr/coletores

Coletores de dados sobre remunerações do sistema de justiça brasileiro

⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️

Este repositório está depreciado e serve apenas para consulta histórica. Os coletores atuais podem ser encontrados aqui.

⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️

---

Coletores

Coletores de dados sobre remunerações do sistema de justiça brasileiro

Tutorial

Quer contribuir com a libertação de dados do sistema de justiça do seu estado? Temos um tutorial para ajudar nessa tarefa.

Contribuição

Na nomenclatura do DadosJusBR, um coletor (crawler) de remunerações é responsável por duas tarefas: baixar os dados do site oficial do órgão e convertê-los para o formato padronizado de resultado de coleta Crawling Result. Para facilitar o processo de contruibuição, por favor ler nossas regras e código de conduta.

Status

Coletados e disponibilizados no site

• MPF
• MPPB
• MPPR
• MPM
• MPRJ
• MPRS
• MPSP
• TJPB
• TRT13
• TREPB

Em progresso ou ainda não são coletados frequentemente

Nome do Coletor	Coleta	Tradução
MPBA	X	X
MPPE	X	X
MPBA	X	X
TJBA		X

Transparência do Sistema de Justiça na Mídia

• 18/08/2021 - CNMP obriga MP-BA a interromper pagamento ilegal de 15% a cargos da cúpula
• 15/03/2021 - Benefícios a procuradores e juízes avançam e somam R$ 543 milhões na pandemia
• 08/03/2021 - Índice de acesso à justiça (publicado pelo CNJ)
• 07/09/2020 - Os privilégios da toga
• 24/08/2020 -Tribunal de Justiça do Ceará lidera ranking da transparência no País, aponta estudo
• 23/08/2020 - Levantamento mostra que tribunais de justiça descumprem leis de transparência

Agradecimentos

Esse projeto é fruto da colaboração de muitas pessoas . Entre elas, destacamos (em ordem alfabética):

• Ana Paula Gomes
• Aurélio Buarque
• Bruno Morassutti
• Vinicius Agostini
• Tony Messias

coletores's Issues

Coleta TRT13 mar 2020

Realizar coleta usando o container docker.

Caso seja necessário mudar algo, atualizar documentação.

COLETOR - TRE/AM

Tem interesse em aumentar a transparência do estado de AM com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do TRE-AM parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato CSV ou PDF.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode usar também.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário

COLETOR - TRE/BA

Tem interesse em aumentar a transparência do estado da BA com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do TRE/BA parece uma ótima forma de colaborar com o dadosjusbr, eles disponibilizam os dados em html table, é necessário ainda fazer um login prévio antes de acessar aos dados.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do TREPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário.

Bug no empacotamento

Worksplace sendo splitado para as outras colunas, prejudicando a qualidade dos dados.

Criar esquema de dados para armazenar erros

• Lembrar que erros podem ocorrer em diversas etapas (não apenas na coleta), logo, precisamos saber qual etapa foi
• Guardar o comando executado
• Guardar a saída padrão e de erro
• Guardar código de saída do processo (lembrando que isso é parte da API)

Por fim, essas informações devem ser plugadas nas chamadas existentes da UIAPI

Quer nos contar alguma coisa?

Aproveite esse espaço e nos fale o que você encontrou no nosso projeto, se quiser nos falar alguma coisa, sinta-se à vontade!

Parsear dos arquivos gerados pelo Crawler.

Após conseguir fazer o fluxo completo baseado em um arquivo exemplo.
Fazer o parser rodar em cima dos arquivos baixados pelo crawler, lembrando que um caminho é fazer o crawler entregar para o parser um array com os path's de cada arquivo gerado.

Simplificar coletor mppb usando gocsv

Creio que podemos simplificar o coletor do MPPB criando implementações de CSVReader (talvez uma para cada um dos três arquivos ou uma que sirva para os três) que se baseia em [][]string (o invés de os.File ou []byte ou string). Com isso, podemos deixar a lib cuidar da tradução para struct.

cc/ @marcosbmf

Terminar tutorial de coletores

Teste de integração (ou talvez smoke teste) para coletores

A ideia é checar a sanidade dos resultados de forma automática. Dentre outras coisas, o resultado da coleta deve sempre conter um Crawler e o CrawlerID.

Essa issue inclui desenhar e desenvolver o teste

Empacotar todos os dados coletados

Criar um script que, dado um mês que já foi coletado, invoca o empacotador e atualiza o esquema do BD

COLETOR - TJ/AM

Tem interesse em aumentar a transparência do estado de AM com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do TJAM parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato PDF.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do TJPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário

COLETOR - MPSP

Tem interesse em aumentar a transparência do estado de SP com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do MPSP parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato ODS, que é aberto.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do MPPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário

Printar o resultado na saída padrao.

Após conseguir realizar unificação dos dados para uma estrutura com nosso esquema padrão, printar esses dados no formato JSON para os funcionários do arquivo exemplo.

Adicionar e Preencher STDIN no ProcInfo

Isso vai tornar possível depurar quando o erro for de parsing do STDIN

Colocar dados do TREPB no storage.

Criar programa que executar o coletor baseado em um string de entrada, mês e ano e executa um método que realiza a coleta para depois armazenar no storage.

Essa issue diz respeito apenas para o trepb, mas a ideia é a gente usar esse programinha para popular os dados dos demais tribunais. Essa issue depende de dadosjusbr/storage#4

Adicionar testes para coletor do mppb

Revisar testes do crawler.
Adicionar testes para o parser.

Aspas indesejadas nas strings dos csvs

Ao menos no MPPB, e nos dados dos meses 1 e 6 de 2020. Exemplo de uma linha dos dados:

"""mppb"""," 2020"," 1","""508276"""," ""ADEMAR LOPES NETO"""," ""PROMOTOR DE JUSTICA DE 1ª ENTRÂNCIA - APOSENTADO(A) """," ""membro"""," ""PBPREV"""," false",33689.11,33689.11,0.00,0.00,,,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00,,,,0.00,9863.14,3034.68,0.00,6828.46,0.00
Há aspas extra em totdas as strings.

Fiquei na dúvida, mas parece que há também um espaço no 2020, e tinha a impressão que o ano e o mês deveriam ser números, e não strings.

Usar gocsv no csvexporter

Creio que usar gocsv isso vai deixar o código mais simples/limpo.

Checar se GIT_COMMIT está sendo passado corretamente com novo executor

Rodar o pipeline completo e checar se o hash está correto

Ler os dados de um arquivo exemplo.

Partindo de um arquivo exemplo referente ao MPSP, , salvar em uma variável e printar os dados de um funcionário.

Parser do TJPB

@marcosbmf você ainda pretende/terá condições de trabalhar nessa issue?

COLETOR - MPRO

Tem interesse em aumentar a transparência do estado de RO com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do MPRO parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato CSV.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do MPPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário
Possivel caminho:

• Verificar que ao exportar os dados, é possível usar um método POST com o form sendo as colunas e as queries string com o mes e o ano. =D

Unificar campos e colunas.

O objetivo do parser é entregar como saída padrao um Crawling Result, para isso é necessário verificar os dados das colunas e trata-los pra o nosso modelo de esquema.

Criar tradutor do coletor do TJPB

Atualmente esse coletor só faz download dos arquivos. É necessário extrair as informações desses arquivos e colocar num formato comum. Ao final, uma versão JSON desse resultado deverá ser escrita na saída padrão.

COLETOR - MPMT

Tem interesse em aumentar a transparência do estado do MT com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do MPMT parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato CSV.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do MPPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário

COLETOR - MPES

Tem interesse em aumentar a transparência do estado de ES com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do MPES parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato XLS.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do MPPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário

Criar estágio de store

Assim como a etapa de empacotamento, o store vai ser uma peça do pipeline de execução de coletas. Ele deve ser o responsável por salvar os elementos no banco de dados e na cloud.

Modificar executor para salvar erros

Uma vez terminada a #47 precisamos modificar o executor para coletar e salvar erros.

Essas execuções devem se basear nas versões docker.

Coleta TREPB jan-mar 2020

Realizar coleta usando o container docker.

Caso seja necessário mudar algo, atualizar documentação.

Adicionar etapa de empacotamento ao executor

Na versão atual, o dadosjusbr cria e salva um pacote de dados que fica disponível para download. Acho que é bem importante ter a mesma coisa aqui. Um pacote zip por mês por órgão.

COLETOR - MPGO

Tem interesse em aumentar a transparência do estado de GO com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do MPGO parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato XLS.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do MPPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário

COLETOR - TRE/RO

Tem interesse em aumentar a transparência do estado de RO com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do TRE/RO parece uma ótima forma de colaborar com o dadosjusbr, eles disponibilizam os dados em html table, é necessário ainda fazer um login prévio antes de acessar aos dados.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do TREPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário

CI para coletores

Seria uma boa adicionarmos um CI ao projeto, com travis, por exemplo

Coletar dados TJPB 2018, 2019, jan-mar 2020

Realizar coleta usando o container docker.

Caso seja necessário mudar algo, atualizar documentação.

Atualizar readme tjpb

Coleta MPPB Mar 2020

Realizar coleta usando o container docker.

Caso seja necessário mudar algo, atualizar documentação.

Ativar continuous build

Pode usar travis-ci e codecov como o remunerações

Criar tradutor do coletor do TRT13

Atualmente esse coletor só faz download dos arquivos. É necessário extrair as informações desses arquivos e colocar num formato comum. Ao final, uma versão JSON desse resultado deverá ser escrita na saída padrão.

COLETOR - TRE/PE

Tem interesse em aumentar a transparência do estado da PE com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do TRE/PE parece uma ótima forma de colaborar com o dadosjusbr, eles disponibilizam os dados em html table, é necessário ainda fazer um login prévio antes de acessar aos dados.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do TREPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário.

COLETOR - MPRS

Tem interesse em aumentar a transparência do estado de RS com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do MPRS parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato CSV.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do MPPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário.

-Possível caminho é analisar as url's de download e mudar os parâmetros. Exemplo de download do csv de servidores para o mês Ago/2020: https://transparencia.mprs.mp.br/contracheque/download/S/2020/08/NORMAL/

Validar os dados

Estágio de validação dos dados para garantir a qualidade.

Criar tradutor do coletor MPPB

Atualmente esse coletor só faz download dos arquivos. É necessário extrair as informações desses arquivos e colocar num formato comum. Ao final, uma versão JSON desse resultado deverá ser escrita na saída padrão.

Re-executar meses que deram erro e armazenar o erro no BD

Por exemplo, o MPPB não tem dados para Set/2018. Precisamos checar os demais órgãos.

Criar empacotador

Assim como a etapa de salvamento, o empacotador vai ser uma peça do pipeline de execução de coletas. Ele deve converter o JSON de um OMA em um data package.

Também deve deixar pré-computado e guardado uma versão CSV dos dados,

Adicionar estágio de store-error!

Novo estágio do pipeline que deve ser acionado quando acontecer erro na coleta de dados ou no empacotamento e salvar no banco.

Adicionar ao esquema a URL onde o pacote é armazenado

Precisaremos modificar o esquema de dados para ter a URL onde o pacote de dados se encontra

Especificar melhor api de saida dos coletores

Ja pensando em quando o módulo executor e novos coletores forem criados, precisamos pensar numa API um pouco mais rica para o coletor. Além da impressão do resultado json quando o término for sucesso (exit code 0), penso que podemos ter alguns casos erro especificados pelo exit code:

• fatal: um erro que não deve ser tentado novamente e alguém deve ser avisado. Temos que pensar com cuidado quando a execução será disparada novamente, mas acho que isso é papel do executor
• transient: a coleta deve deve ser executado novamente depois de algum tempo
• not found: o dado não foi encontrado. Alguém deve ser avisado e, mais uma vez, temos que ter uma política clara de quando coletar novamente o dado

Cc/ @marcosbmf @Irio @viniagostini

Criar tradutor do coletor TREPB

Atualmente esse coletor só faz download dos arquivos. É necessário extrair as informações desses arquivos e colocar num formato comum. Ao final, uma versão JSON desse resultado deverá ser escrita na saída padrão.

COLETOR - MPRJ

Tem interesse em aumentar a transparência do estado de RJ com relação a folha de pagamento do sistema de justiça??? 💪

Analisamos o portal da transparência do MPRJ.parece uma ótima forma de começar a colaborar com o dadosjusbr, pois eles disponibilizam os dados em formato ODS, que é um formato livre.

Recomendamos que dê uma boa olhada no Tutorial. Pode ficar a vontade para utilizar Python, mas se quiser usar/aprender Go, pode se inspirar no coletor do MPPB.

Atividades Recomendadas:

• Desenvolvimento e testes automáticos da parte de coleta dos arquivos necessários
• Dockerfile modelo
• Desenvolver e testes automáticos da parte de tradução dos dados para o formato comum do dadosjus

Estaremos a disposição para tirar dúvidas e ajudar no que for necessário.