atlantico-academy/twitter-sentiment-analysis

PyGht Sentiment Time

O Twitter desde de sua criação tem se destacado como uma notória rede social, seja pela sua gama de usuários, ou pela quantidade de conteúdos criados a cada momento! Conteúdos estes que por sua vez geram dados e mais dados, dados que ultrapassam a barreira dos 280 caracteres e chegam para nós em inúmeros formatos, sejam posts, imagens, hashtags... A partir desse projeto, busca-se encontrar insights a apresentar resultados relevantes sobre a avaliação de sentimentos por esses dados trazidos, com base na classificação por polaridade em determinados períodos de tempo, do dia e da semana, produzindo informações e promovendo insights importantes para diversas atividades. Diante da dinamicidade introduzida no cotidiano das pessoas pelas mídias sociais, bem como pela evolução tecnológica que proporcionou a coleta, extração e compartilhamento dos dados, muitas informações relevantes podem ser obtidas por meio de técnicas de análise de sentimentos. De forma mais específica, busca-se que a aplicação exija do usuário a apresentação de tema por meio de palavra-chave ou palavras-chave, que passará por análise algorítmica e retornará gráficos com análise de sentimento, períodos de variação dos sentimentos presentes e nuvem de palavras para o(s) tema(s) sugerido(s).

Fluxo da Aplicação

stateDiagram-v2
    [*] --> Entrada
	Entrada --> Válida
    Válida --> Processamento
	Processamento --> Gráfico_Sentimento
	Processamento --> Gráfico_Período
	Processamento --> Nuvem_Palavras 
	Gráfico_Sentimento --> Mensagem_Sucesso
	Gráfico_Período --> Mensagem_Sucesso
	Nuvem_Palavras --> Mensagem_Sucesso
	Mensagem_Sucesso --> Mensagem_Continua
    Entrada --> Inválida
    Inválida --> Mensagem_Erro
	Mensagem_Erro --> Mensagem_Continua
	Mensagem_Continua --> SIM
	Mensagem_Continua --> NÃO
	SIM --> Entrada
	NÃO --> [*]

Desenvolvedores

• Tarciano Filho
• Renato Rodrigues
• Rayanne Oliveira
• José Aurelio
• Kaio Emanuel
• Ítalo Magalhães
• Amanda Moreira
• Leonardo Monteiro

---

twitter-sentiment-analysis's Issues

Exploração de dados

A equipe deve criar um notebook de análise exploratória notebooks/01-exploratory_data_analysis.ipynb, contendo as seguintes seções de texto:

• Descrição dos dados: informações sobre a quantidade de instâncias, variáveis e seus tipos, quantidade de valores faltantes. Utilize o dicionário de dados nessa seção.
• Perguntas de partida e hipóteses: que tipo de informações podem ser obtidas a partir dos dados e quais hipóteses podem ser levantadas?
• Insights: respostas às perguntas feitas na seção anterior e quais informações interessantes podem ser levantadas através dos dados?

Apresentação de resultados (Entrega #2)

A equipe deve produzir uma apresentação de slides de no máximo 10min para ser apresentada ao professor e o restante da turma.

Análise comparativa

A equipe deve criar um notebook de análise comparativa notebooks/02-comparative_analysis.ipynb, contendo as seguintes seções de texto: Metodologia, Configuração do experimento, Resultados e discussão, de acordo com o conteúdo visto em aula:

• A equipe deve utilizar um método de validação cruzada (holdout, k-fold, Monte Carlo) apresentado em sala de aula;
• A equipe deve apresentar no mínimo quatro modelos: um baseline, para servir de comparação a pelo menos outros três (ou mais) experimentos com modelos de famílias diferentes. Deverão ser utilizadas pelo menos duas métricas para efetuar a comparação entre os modelos;
• Para que os resultados sejam avaliados, eles devem ser sintetizados através da utilização de tabelas e/ou gráficos explicativos;

Dicionário de dados

A equipe deve criar um arquivo (ou vários) de dicionário de dados, contendo informações referentes aos conjuntos de dados utilizados no projeto.

• Criar arquivo data/external/dicionario.csv contendo as seguintes colunas: variavel, significado, tipo.
• Inserir informações referentes ao arquivo de dados utilizado no projeto.

Coleta inicial de dados

A equipe deve apresentar um conjunto de dados "cru", no repositório do projeto, salvo na pasta data/raw/. Caso os arquivos de dados sejam muito grandes, deve ser criada uma tarefa chamada init, no arquivo tasks.py para carregamento dos dados.

Estudo sobre o streamlit

Task criada para realização de estudo preliminar sobre o streamlit, biblioteca que será utilizada na criação da aplicação final. Nessa pesquisa, você deverá aprender:

• Instalar o streamlit em um repositório;
• Criar uma aplicação simples, com um texto e um botão.
• Criar uma aplicação que receba valores de um campo de texto, efetue algum processamento e apresente um resultado;

P.S: Essa é uma atividade de estudo, podendo ser realizada no repositório local de cada aluno, não necessitando de merge ou pull request.

Apresentação de resultados (análise exploratória)

A equipe deve produzir uma apresentação de slides de no máximo 10min para ser apresentada ao professor e o restante da turma.

Proposta do projeto

A equipe deve compreender completamente, de uma perspectiva de negócios, o que realmente deve ser feito no projeto, em seguida,

• Criar um arquivo chamado docs/index.md, contendo os seguintes pontos Contextualização, que deverá conter um pouco do contexto necessário para entender o problema a ser abordado, Problema, contendo o real problema que será abordado no projeto e, por fim, Proposta que deverá conter informações sobre o que será criado como solução tecnológica ao final do projeto;
• Inserir informações no README.md, contendo um resumo do projeto que será construído e uma justificativa para o projeto. É desejável que também se insira um resumo gráfico.

Preparação dos dados

A equipe deve criar todo o código necessário (podendo ser no notebook notebooks/02-comparative_analysis.ipynb) para a preparação dos dados. O notebook deve conter os seguintes tratamentos:

• Tratamento de dados discrepantes
• Tratamento de dados faltantes
• Codificação de variáveis
• Seleção de variáveis
• Normalização