Comments (3)
vmttn
commented on June 28, 2024
Tu peux aussi faire évoluer les champs cibles attendus par le mapping actuel. Ils ont été définis en se basant sur le précédent export (dont les données sont également incluses dans le tout dernier export) et n'ont pas d'autres justification.
from data-inclusion.
ColinMaudry
commented on June 28, 2024
Pour l'instant je pousse jusqu'au bout, je veux éviter de faire déborder le chantier sur la partie Airflow si possible.
from data-inclusion.
ColinMaudry
commented on June 28, 2024
Après en avoir discuté, on va arrêter de passer par des fichiers intermédiaires. Les fichiers que l'on reçoit de Pôle emploi ont une structure normalisée qui est quasiment stable. Donc on peut les convertir directement au bon format.
from data-inclusion.
Related Issues (20)
- Ajouter un precommit gitguardian
- Ajouter le precommit `end-of-file-fixer`
- Migrer le repository vers l'organisation `gip-inclusion` HOT 4
- Introduire un service layer dans l'api
- Ajouter dans l'api des métadonnées sur les sources
- Corriger un test de validation de données concernant Dora
- Préciser l'origine des données au sein d'une même source
- Vérifier le résultat des requêtes d'extraction
- Enregistrer le `User-Agent` dans les appels à l'api
- Utiliser `psycopg` v3
- Réusiner l'import des données `mediation-numerique-*`
- Exclure par défaut, dans la recherche api, les services ayant une date de suspension dépassée
- Finaliser le traitement des données agefiph HOT 1
- Utiliser l'API de l'INSEE au lieu de la donnée admin_express / MAJ admin_express
- Le DAG import_insee_firstnames devrait ecrire dans le schéma "insee" HOT 1
- Provisionner les ressources IAM scaleway via terraform
- Provisionner les applications scalingo via terraform
- tester la structure des dags d'import
- ajouter une fk sur `Structure.code_insee` vers `Commune`
- Faire en sorte que l'absence des données brevo ne bloque pas les transformations de dora
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from data-inclusion.