geraudster/elkfoodfacts

Repo for Elastic Suite meetup, https://geraudster.github.io/elkfoodfacts/elkfoodfacts.html

Elastic & food fact checking

La qualité sanitaire de nos aliments est un sujet qui nous préoccupe de plus en plus. On a pu le voir ces dernières années avec les enchaînements de crises sanitaires autour de la vache folle, la grippe aviaire, les OGMs, les allergènes et plus récemment la découverte de produits potentiellement cancérogènes comme le dioxyde de titane. OpenFoodFacts est une base de données recensant plusieurs milliers d’aliments (pâtes, biscuits, épicerie, bonbons…) disponibles dans le commerce. Cette base est libre d’accès sous licence Open Database License et contient pour chaque aliment des caractéristiques telles que :

• la description
• les ingrédients
• les additifs

Sous forme d’atelier, les participants apprendront à charger les données dans Elasticsearch à l’aide de Logstash. Puis ils créeront leurs dashboards afin par exemple de recenser les catégories de produits les plus allergènes, ou lister les produits dont le E171 entre dans la composition…

Utilisation

Pré-requis

• docker
• plugin docker compose

Démarrage

La première fois, clone ce repository, se positionner dedans puis:

# Start elasticsearch and kibana
docker compose up -d

Accéder à Kibana: https://localhost:5601 (login/mdp: elastic/elastic_password)

Pour arrêter:

docker compose stop

Pour lancer logstash, positionner les configurations de pipeline dans le répertoire pipeline. Placer les données dans le répertoire data. Démarrer ensuite logstash:

docker compose stop logstash
docker compose up --force-recreate logstash

Troubleshoot

You may fall on the following error when starting Elasticsearch:

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

Just set the parameter accordingly:

sudo sysctl -w vm.max_map_count=262144