ebwang/analisedadostemporealcomkafka

Projeto da palestra apresentada no GDG DevFest Cerrado 2019 e TDC BH 2020

Processamento e Análise de Dados com Kafka, ElasticSearch e Pyspark

Projeto da palestra apresentada no GDG DevFest Cerrado 2019 e TDC BH 2020.

Contém os seguintes arquivos:

• Docker Compose do Cluster ElasticSearch com gerenciador Kibana.
• Docker Compose do Kafka + Zookeeper + Kafka Manager + Kafka Connector e Connector UI;
• Arquivo de Configuração do Kafka Connector com ElasticSearch;
• Projeto do Jupyter para obter tweets e enviar para o Kafka;
• Projeto para consumir dados do Kafka com Python.
• Projeto para consumir dados do Kafka com Pyspark.

Slides da apresentação no evento GDG DevFest: https://bit.ly/2VZjpDL

Slides da apresentação no TDC BH Online: https://bit.ly/3aH9JDX

Artigo sobre o assunto no medium: https://bit.ly/3aHeBZL