basedosdados/mais

⚙️ Código de manutenção do datalake (metadados e pacotes de acesso) | 📖 Docs: https://basedosdados.github.io/mais/

mais's Issues

change staging database name order

Add Storage class

Should support

• init : initialize new bucket and folders
• create : to create folders given dataset_id and table_id
• delete : delete folders given dataset_id and table_id

Melhorar campo 'data_update_frequency' no table_config.yaml

• Mudar os exemplos para letra minúscula: hora, dia, semana, etc.
• Agora não está contemplando bases que mudam de forma 'recorrente', ou só quando acontece alguma mudança relevante. Ou seja, frequências irregulares e reativas a eventos.

* bater o martelo toml vs yaml

Aparentemente é só usar o ruamel que os comentários e estrutura são preservados.

https://stackoverflow.com/questions/40235554/python-use-pyyaml-and-keep-format

https://stackoverflow.com/questions/60107078/dynamically-modify-yaml-and-preserve-all-formatting-and-comments-python

[infra] Implementar uso de `labels` no BigQuery

Criei o diretorio_municipios com um label 'diretorio' mas não apareceu no BQ.

[infra] Setup Github Actions to lint and run tests

Criar padrão para nomeação de variáveis.

Exemplos:

• Variáveis de porcentagem/proporção.
  prefixo: prop_
  valor máximo: 100

• Variáveis de log/ln.
  prefixo: ln_

Create auto-pull after publishing data

Download pelo CLI permitir especificar só a pasta.

Nesse exemplo:

basedosdados download --dataset_id br_suporte --table_id diretorio_municipios ~/Downloads/

ele dá erro que Downloads é uma pasta. Ele podia baixar direto a table com o nome do BQ (nesse caso 'diretorio_municipios.csv'.

production table as view

Adicionar CLI comando `basedosdados download tabela 'tablename'`

Talvez seja melhor

basedosdados table download DATABASE_ID TABLE_ID

para manter a consistência com as outras chamadas.

Adicionar mudança de tipos no publish.sql

Erro com download em Python

Rodei:

import basedosdados as bd

bd.download(savepath="~/Downloads/test.csv",dataset_id='br_suporte',table_id='diretorio_municipios')

e deu

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-1-c0f5299e96d1> in <module>
      1 import basedosdados as bd
      2 
----> 3 bd.download(savepath="~/Downloads/test.csv",dataset_id='br_suporte',table_id='diretorio_municipios')

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/basedosdados/download.py in download(savepath, query, dataset_id, table_id, project_id, limit, **pandas_kwargs)
     58 
     59     if (dataset_id is not None) and (table_id is not None):
---> 60         table = read_table(dataset_id, table_id, limit=limit)
     61     elif query is not None:
     62         if limit is not None:

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/basedosdados/download.py in read_table(dataset_id, table_id, project_id, limit)
    124         raise Exception("Both table_id and dataset_id should be filled.")
    125 
--> 126     return read_sql(query)

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/basedosdados/download.py in read_sql(query)
     88         Query result
     89     """
---> 90     client = bigquery.Client()
     91     return client.query(query).to_dataframe()
     92 

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/google/cloud/bigquery/client.py in __init__(self, project, credentials, _http, location, default_query_job_config, client_info, client_options)
    178         client_options=None,
    179     ):
--> 180         super(Client, self).__init__(
    181             project=project,
    182             credentials=credentials,

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/google/cloud/client.py in __init__(self, project, credentials, client_options, _http)
    247 
    248     def __init__(self, project=None, credentials=None, client_options=None, _http=None):
--> 249         _ClientProjectMixin.__init__(self, project=project)
    250         Client.__init__(self, credentials=credentials, client_options=client_options, _http=_http)

/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/google/cloud/client.py in __init__(self, project)
    201         project = self._determine_default(project)
    202         if project is None:
--> 203             raise EnvironmentError(
    204                 "Project was not passed and could not be "
    205                 "determined from the environment."

OSError: Project was not passed and could not be determined from the environment.

Criar padrão de nomeação para tables.

Precisamos de um padrão para tabelas que se repetem entre níveis de observação.

Sugestão: <nível>_<descrição>

Exemplo: dados de PIB do IBGE para municípios, estados e país. Dentro do dataset br_economia_IBGE, as tables poderiam ser municipio_PIB, estado_PIB, pais_PIB?

Where to put overall config?

1. CLI deve rodar de qlqr lugar do computador
2. secrets deve estar nessa pasta

lugar do config: ~/.basedosdados

config.yaml

metadata_path: 
bucket_name:
templates_path:

user:
   name:
   email:
   website:
   photo:

Split files Table, Dataset, Base, Storage, api

Auto fill last updated date to template

Templates folder not found

Add tests to table class

To Storage, add if_exists=append option

Improve auto casting in publish.sql

Leitura do CSV pode indicar se é STRING ou NUMERIC

Adicionar cache dos clientes do gbq para diminuir tempo de resposta do CLI

Staging name in table

[infra] Arquivos config.yaml já virem com informações pré-registradas do usuário.

Já vir com nome, email, site, etc.

finish description template

Arquivos csv de download vindo com casas decimais pra números inteiros.

Exemplo: baixei o br_populacao_IBGE.populacao_municipios e a coluna populacao vem com valores como 31981.0, 83684.0, etc.

[infra] Ter uma tabela de instituições para preenchimento de configs.

Ideia seria cada instituição ter um ID, e incluirmos informações sobre (nome, website, email, etc). Na hora de criar tabelas, não precisaríamos repetir o preenchimento toda vez.

Será útil para instituições grandes, como IBGE, Ipea, TSE, etc.

Download pelo CLI ter opção de limite de linhas.

Pasta /code sendo criada na branch master quando rodamos o table create ou publish em outra branch.

Reparei que quando crio uma nova branch a partir do master e faço o pipeline create-publish nessa branch, é criada uma pasta /code dentro da branch master.

Por exemplo, o CLI criou a pasta br_economia_IBGE/code dentro de master mesmo comigo editando tudo de dentro da branch add_municipio_PIB.

Add if_exists=replace_all to Table

Sometimes you just want to replace everything

Melhorar docstrings para `mode` e adicionar default no CLI

Mudar Storage init para outro nome menos confuso (?)

Compatibilizar grupos para a busca da Base dos Dados.

Investigar se temos log de queries q involvam nossas tabelas

Aparentemente conseguimos saber o número de consultas por tabela. O logger não retorna a query para consultas externas.

Add tests to Storage class

Add new functionalities to CLI

subir o cli pro pip

Comandos de download do CLI não devem exigir arquivo de config

To Storage, add mode='all' option

Download pelo CLI ter index=False como padrão.

Adicionar a opção de deletar o folder todo para dataset/table/storage

Improve CLI help strings

Add some examples on how to use it

Linhas aparecendo sem like break na descrição.

Email deveria aparecer na linha seguinte.

reestructure columns and schema

Criar projeto para staging e adaptar CLI

Criar comandos rápidos no CLI

Adicionar tabelas simples:

basedosdados quick add_table DATASET_ID TABLE_ID FILEPATH[FOLDERPATH] --publish

Adicionar novo dado no storage e atualizar tabela

basedosdados quick add_table_data DATASET_ID TABLE_ID FILEPATH

Analisar casos de diferentes schema modes no update da tabela

Eleições - Detalhes Votação: Por que % votos válidos está >100 para senadores?

[infra] Padrão da função download ser não ter index.

Agora está baixando coisas com uma primeira coluna sem nome e com valores 0, 1, 2, 3, 4, 5...

Accept partitions in Storage and Table