comitivaesperanca/data

🎲 Repositório para armazenar todos os componentes referentes a Data Science / Data Engineering do projeto

🎲 Data

Repositório para armazenar todos os componentes referentes as atividades de Machine Learning do projeto pantanal.dev da Comitiva Esperança.

⚠ Para maiores informações~

Para maiores informações, acesse a documentação:

• Documentação do projeto

🆘 Como executar a plataforma de Machine Learning?

A plataforma é composta por 2 componentes principais:

• Apache Airflow Como usar?
• Jupyter Como usar?

Para executar a plataforma, é necessário ter o Docker instalado na máquina.

Inicialmente, clone o repositório para sua máquina, seguindo os passos abaixos:

git clone

Em seguida, execute o comando:

docker-compose up -d --build

Após a execução do comando, a plataforma estará disponível para uso.

• Para acessar o Apache Airflow, acesse o endereço: http://localhost:8080
• Para acessar o Jupyter, acesse o endereço: http://localhost:8888

Modelos de Machine Learning

Os modelos de Machine Learning estão disponíveis no diretório models. Entretanto, o modelo BERT não está disponível no repositório, devido ao seu tamanho.
Ele pode ser acessado através do Hugging Face

data's Issues

Classificar noticias do CEPEA no Label Studio

Classificar noticias do CEPEA no Label Studio, definindo notícias como Positiva, Neutro, Negativo ou Desclassificar

Definition of Done

• Entregar e publicar no repositório Data o dataset classificado.

Adicionar ferramentas para criação de pipeline e notebooks

Subir um docker-compose contendo os seguintes serviços:

• Airflow
• Jupyter