soujunior/ilimidados-dashboards

Ilimidados-Dashboards-Etl

Este é um projeto Python que realiza o tratamento dos arquivos brutos extraídos do linkedin para o formato .csv para ser consumido pelo BI

Como utilizar

• Faça o download e extração do conteúdo do repositorio
• Crie um ambiente virtual

python -m venv .venv

• Ative o ambiente virtual

.venv/scripts/activate       

• Instale as dependências

pip install -r requirements.txt

• Execute o script uma primeira vez para criar as estruturas de pastas

python app.py

• Coloque os arquivos de extrações em pastas agrupadas por range de extração em linkedin/data/raw/365d
• Execute o script novamente para realizar a transformação dos arquivos em .csv

Arquivos processados estarão disponiveis em: ´linkedin/data/processed´

ilimidados-dashboards's Issues

Slide de apresentação do dash insta

Aplicar melhorias visuais no Dashboard LinkedIn

Documentar o append dos arquivos extraídos quinzenalmente

Popular as tabelas com os dados históricos

Precisamos popular as tabelas com os dados históricos que temos

Fazer exploratória dos dados do LinkedIn

Estudo e estruturação do banco de dados

Precisamos fazer um estudo sobre o banco de dados que vamos usar!

• Principais recursos necessários
• Qual banco é?
• Já temos as credenciais?
• Onde o banco está (nuvem, local, docker, kubernetes??)
• Limitações do banco (total de memória, latência, etc)
• Vantagens
• Desvantagens
• Documentar todos esses pontos (pode ser aqui na tarefa msm!)

Por último, se der pra fazer um teste de conexão com o banco seria ideal!

Estudos da API do LinkedIn

Precisamos fazer um estudo dis principais pontos da API do Instagram:

• Vantagens
• Desvantagens
• Limitações
• Alternativas de automatização caso ela não funcione
• Passo a passo para conseguir credenciais
• Documentar esses pontos principais
• Fazer testes, caso seja possível!

Fazer exploratória dos dados do Instagram

Desenvolvimento do script to_raw.py

Pressupor que os arquivos estão baixados localmente em uma pasta pré-definida. O script deve carregar os arquivos no formato de pastas no Drive.

Baixar um sample de 15 dias de todos os dados possíveis do Instagram

Ajustes do repo

Resetar informações do repo.

Estudos da API do Instagram

Precisamos fazer um estudo dis principais pontos da API do Instagram:

• Vantagens
• Desvantagens
• Limitações
• Alternativas de automatização caso ela não funcione
• Passo a passo para conseguir credenciais
• Documentar esses pontos principais
• Fazer testes, caso seja possível!

Preparar apresentação - Aniversário SouJunior

Setup do banco de dados

Modelagem de dados

Precisamos definir qual modelagem de dados usaremos!

• Mapear todas as tabelas que serão usadas
• Fazer um desenho estrutural e relacional

Avaliar e documentar regras de limpeza de todas as tabelas

Olhar para os arquivos appendados da camada clean, identificar problemas de qualidade e definir regras para limpeza.

Aplicar melhorias de layout no dash Linkedin

Desenvolvimento do script to_clean.py

Uma vez que o a última quinzena foi salva na camada raw, o script deve appendar as novas informações num arquivo pré-existente na camada clean conforme as regras documentadas

Listar arquivos-tabelas que realmente vão para o banco de dados do LinkedIn

US Dashboard Youtube

Criar as tabelas no banco de dados

US Dashboard Instagram

---

User Story - Dashboard Instagram
User Story do Produto "Dashboard Instagram".

---

---

Definição
Como áreas internas da SouJunior, desejo acompanhar as principais métricas do Instagram.

---

Descrição
Será necessário uma página de visualização de gráficos sobre as métricas do Instagram.

---

Protótipos
Wireframes ou fluxogramas que representem visualmente a User Story descrita.

---

Critérios de Aceite

Uma página com 04 gráficos e 03 box sobre a visão geral do Instagram:

1. Contas Alcançadas: Gráfico de barras empilhadas mostrando a quantidade total de contas alcançadas
   diferenciando entre seguidores e não seguidores, o gráfico deve respeitar o Tooltip da descrição do que é Contas Alcançadas.

2. Visão Geral: Gráfico de linhas mostrando a quantidade de contas com engajamento e total de seguidores
   Visão default será abertura mensal. O gráfico deve respeitar o Tooltip de explicação entre contas com engajamento e número de seguidores.

3. Contas com Engajamento: Gráfico de linhas mostrando a quantidade de interações com Publicações, Reels e Stories, dividindo entre seguidores e não seguidores, o gráfico deve respeitar o filtro de data da página.

4. Interações com Publicações: Gráfico de linhas indicando o total de interações específicas (dividindo entre curtidas, salvamentos, comentários e compartilhamento).

5. Box Seguidores Totais: Box que mostra o valor total de seguidores da Página da SouJunior.

6. Box Publicações Totais: Box que mostra a quantidade total de publicações da Página da SouJunior

7. Box Visão Geral: Box que mostra a quantidade total de contas alcançadas

Todos os itens devem conter filtro de Ano, Mês e Dia.

---

Informações Adicionais
Métricas a serem utilizadas estão nessa API:
https://supermetrics.com/docs/integration-instagram-insights-fields/

---

DoR - Definition of Ready

• As telas de visualização de dados necessitam de wireframes e protótipos previamente construídos e aprovados pelo time de design e produto.

• Os dados a serem exibidos devem exibir legendas.

• As interfaces devem cumprir os requisitos de contraste de cor com avaliação AAA, utilizando o plugin A11Y - Color Contrast.

• As interfaces devem respeitar os padrões da comunicação visual da marca da SouJunior.

• Os dashboards deverão possuir um filtro para selecionar o período de início e fim da pesquisa dos dados.

• A User Story deve ter sido validada pelo mentor.

---

DoD - Definition of Done

• Os dados dos dashboards devem compreender um período histórico desde a criação da conta SouJunior na plataforma.

• As interfaces devem respeitar os critérios de contraste definidos nos protótipos.

• As interfaces devem ser acessíveis por pessoas com daltonismo.

• As intefaces devem ser responsivas.

• As funcionalidades devem ser previamente testadas pelo time de desenvolvimento e aprovadas pelo time de QA.

Acompanhamento do time de produto para entender dados do insta

Reunião de demonstração do dash e atualização para o time