ipsedo/toxiccomment

Projet de l'UE OPT7 (Apprentissage sur données structurées) du M2AIC (2018/2019) sur le challenge Kaggle Toxic Comment

ToxicComment

Berrien Samuel, Biard David, Nour Nouredine, Vu-Thanh Trung

Description

Projet de l'UE Option 7 Apprentissage sur données structurées

Challenge Kaggle Toxic Comment

Structure du projet :

ToxicComment
    |-- data
    |    |-- read_data.py # Lecture csv
    |    |-- transform_data.py # Différente transformation des données
    |
    |-- model
    |    |-- conv_mode.py # Implémentation des modèle à convolution
    |    |-- recurrent_model.py # i=Implémentation du LSTM
    |
    |-- saved # Different model serializé avec pickle
    |    |-- ...
    |
    |-- utils
    |    |-- cuda.py # Fonction utiles pour CUDA
    |
    |-- live_prediction.ipynb # Pour la prédiction en direct de phrase de l'utilisateur
    |-- make_submission.ipynb # Création d'un fichier de soumission selon un modèle sauvegardé
    |-- plots.ipynb # Création des figures
    |-- toxic_comment.ipynb # Notebook principal d'entrainement

Les différents csv sont à placer dans un répertoire res situé à la racine du repertoire principal du projet :

$ # Move to ToxicComment root dir
$ cd /path/to/ToxicComment
$ # Create and move to res folder
$ mkdir res && cd res
$ # Download dataset
$ kaggle competitions download -c jigsaw-toxic-comment-classification-challenge
$ # Unzip all files
$ unzip "*.zip"