Giter Site home page Giter Site logo

hugosouto / analise-de-precos-covid-19 Goto Github PK

View Code? Open in Web Editor NEW

This project forked from equipe-de-dados-comprasnet/analise-precos-covid

0.0 0.0 0.0 55.63 MB

Análise dos efeitos da pandemia do COVID-19 nos preços dos produtos mais comprados no Comprasnet para o enfrentamento da crise.

analise-de-precos-covid-19's Introduction

Análise de Preços COVID-19

Análise dos efeitos da pandemia nos preços dos produtos mais comprados pelo Governo Federal no enfrentamento da crise.

Etapa 1: Extração dos dados no DaaS (Quartzo) SERPRO

Extração de dados realizada no Pentaho Data Integration (v9.0) através do processo pentaho-precos-covid.ktr.

Etapa 2: Transformações no RapidMiner

Processo com tratamentos estatísticos, com o fim dar qualidade às análises, disponível em rapidminer-precos-covid.rmp.

O pivô abaixo traz estatísticas consolidadas por UNIDADE_CATMAT:

Transformações a serem transferidas do RapidMiner para o Pentaho

  • Pivô da tabela por UNIDADE_CATMAT (imagem acima)
  • Pivô da tabela por UNIDADE_CATMAT e COVID (imagem acima)
  • Filtro count(UNIDADE_CATMAT) > 100
  • Filtro standard_deviation(VALOR_UNITARIO) < 100
  • Criação de coluna DIFERENCA: ([median(VALOR_UNITARIO)_Sim]-[median(VALOR_UNITARIO)_Não])/[median(VALOR_UNITARIO)_Não]*100
  • Criação de coluna NORMALIZADO (com base em metodologia do TCU, p. 67): VALOR_UNITARIO-[average(VALOR_UNITARIO)])/[standard_deviation(VALOR_UNITARIO)]
  • Criação de coluna OUTLIER_NOVO: if(NORMALIZADO>0.2,1,0)
  • Filtro (opcional) para trazer apenas COVID = 0

Etapa 3: Upload para o Google Planilhas

O arquivo resultante das transformações do RapidMiner são tranformados em planilhas do Google para incorporação em relatório do Data Studio.

A planilha está na pasta 'Análise de Preços' do Google Drive da conta [email protected].

Etapa 4: Integração com o relatório do Data Studio.

Os dados são adicionados como fonte de dados do relatório: Análise de Variação de Preços COVID-19.

analise-de-precos-covid-19's People

Contributors

equipe-de-dados-comprasnet avatar hugosouto avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.