johanngump/cryptobot-binance

Création d'un bot de trading basé sur un modèle de Machine Learning et qui investit sur des marchés crypto

Bot de support au trading de crypto-monnaies basé sur un modèle de Machine Learning. Projet réalisé dans le cadre de la formation MLOPs DataScientest, promotion Mai 2023.

Auteurs - Johann Ambrugeat, Julien Le Bot, Christopher Corbin

Architecture de la solution

TODO: diagramme

🚀 Installation et lancement

Pré-requis : Docker >= 24.0.5, Python >= 3.9.18

Depuis un terminal, cloner le dépôt et se positionner dans le projet:

git clone https://github.com/JohannGump/CryptoBot-Binance.git
cd CryptoBot-Binance

Optionnel (ie. auto-completion VSCode, execution des scripts sur hôte)

Créer un environnement virtuel Python dans le projet et installer les dépendances des modules:

python -m venv .venv
source .venv/bin/activate
pip install -r binance_bridge/requirements.txt
pip install -r data/requirements.txt
pip install -r model/requirements.txt
pip install -r web_api/requirements.txt

Créez un network docker nommé cryptobot-network

docker network create cryptobot-network

Executez docker compose pour démarrer l'ensemble des services

docker compose up

Patientez quelques minutes (cela peu être long au premier démarrage), jusqu'a observer une sortie ressemblant à celle-ci

c-requester | [2023-10-01 17:20:22] [INFO] predict - WEEKLY predictions up to date, latest 2023-10-23 02:00:00

Vous pouvez maintenant naviguer à l'adresse suivante pour accéder à la vitrine de l'application: http://localhost:8000

L'accès à l'interface Airflow est disponible ici (login: airflow, mdp: airflow): http://localhost:8080

🗂️ Organisation du code

• airflow : dags airflows
• airflow-setup : manifests de déploiement d'Airflow sur le cluster Kubernetes
• binance_bridge : utilitaires de communication avec l'API Binance, définitions des constantes
• data : scripts etl des données d'entrainement, build file Docker
• kubernetes : manifests de déploiment de la solution sur cluster Kubernetes
• model : scripts d'entrainement (preprocessing, fit, save) des modèles, build files Docker (entraineur de modèles, serveur de modèles)
• requester : etl données de prédictions, requêteur de prédcitions
• web_api : vitrine publique de l'application

cryptobot-binance's Issues

docker-compose "global"

Rassembler les "compose files" de requester, model, data et web-api.

Les secrets dans github

Affichage des prédictions en pourcentage

Mettre sur serveur distant DB historique

Order of model's entries sequences

Sort sequences alphabetically by symbols names.
Also check features order.

Prédictions pour tous les pas de temps

Executer et stocker les prédictions pour les pas de temps minutely daily et weekly
ref #11

Evaluate models

possible entry point

Regrouper `hist_klines` et `klines` dans la même BDD

Valeur du prix de clôture dans les graphiques de prédictions

ie. #3

Harmoniser les schémas SQL

• nommage des colonnes
• pas de temps (timestep)

Grouper les build files Docker

Regrouper les build files docker dans un dossier, ex:

docker/
- Dockerfile.requester
- Dockerfile.web-api
- Dockerfile.model-fit
- Dockerfile.model-serve

Note: il faudra harmoniser les chemins des copies de fichier dans les build files, le but étant de pourvoir exécuter les builds depuis la racine du projet, ie:

docker build . cryptobot/requester:latest -f docker/Dockerfile.requester
docker build . cryptobot/model-fit:latest -f docker/Dockerfile.model-fit
...

Model preprocessing tests

Write test(s) for model preprocessing layer.

Symbols, klines and timesteps schema reuse

Re-use same definitions accross project (import from binance_bridge).

Horodatage des prédictions

• date de la demande de prédiction
• date prédite

Calcul du prix de clôture avec prédiction

Stocker avec les prédictions le calcul du prix de clôture