Data Engineer DBT, Airflow et Python

Jems Group; Paris; On-site; EUR 65,000 - 95,000; Full time

Job summary

Jems Group cherche un Data Engineer confirmé pour concevoir, développer et industrialiser les pipelines de données dans une architecture Lakehouse. Vous contribuerez activement à la robustesse et à la traçabilité des flux.

Vous travaillerez avec les architects Data et les équipes BI, en vous appuyant sur dbt, Airflow, Python et SQL pour produire des données fiables et exploitable. Le poste nécessite rigueur et autonomie, avec une culture qualité et déploiement continu.

Qualifications

• Maîtrise avancée de dbt et de la modélisation des données
• Maîtrise d'Airflow, planification et supervision des DAGs
• Maîtrise de Python pour les pipelines de données
• Maîtrise du SQL pour transformation et optimisation
• Connaissance Git et CI/CD

Responsibilities

• Concevoir et maintenir les flux de transformation avec dbt.
• Développer et maintenir les DAGs Airflow.
• Développer en Python les traitements d’ingestion et de préparation.
• Industrialiser la plateforme Lakehouse Bronze/Silver/Gold.
• Mettre en place des tests, contrôles et suivi des données.
• Documenter modèles et flux de données.
• Contribuer au catalogue et métadonnées avec OpenMetadata.
• Préparer des jeux de données pour BI (Power BI, Metabase, Superset).
• Participer à l’amélioration continue des pratiques Data.

Skills

dbt

Apache Airflow

Python

SQL

Git / CI-CD

Job description

Dans le cadre du développement et de l’industrialisation de notre plateforme Data, nous recherchons un Data Engineer confirmé disposant d’une solide expérience en environnement de production.

Vous interviendrez sur la conception, le développement et l’industrialisation des pipelines de données, avec un rôle central autour de dbt, Airflow, Python et SQL, au sein d’une architecture Lakehouse organisée en couches Bronze, Silver et Gold.

Vous travaillerez en étroite collaboration avec les architectes Data, les équipes métiers et les équipes BI, afin de mettre à disposition des données fiables, documentées et facilement exploitables.

Missions principales

• Concevoir, développer et maintenir les flux de transformation de données avec dbt.
• Développer et maintenir les DAGs Airflow pour orchestrer les traitements de données.
• Développer en Python les traitements d’ingestion, de préparation et de contrôle des données.
• Contribuer à la mise en place et à l’évolution des différentes couches de la plateforme Lakehouse : Bronze, Silver et Gold.
• Fiabiliser et industrialiser les traitements grâce à la mise en place de :
• tests de qualité des données ;
• contrôles et mécanismes de reprise ;
• optimisations des traitements ;
• supervision et suivi des exécutions.
• Documenter les modèles, traitements et flux de données.
• Contribuer au catalogage et à la gestion des métadonnées dans OpenMetadata.
• Préparer et structurer les jeux de données destinés aux usages métiers et au reporting, notamment pour Power BI, Metabase et SuperSet.
• Participer à l’amélioration continue des pratiques de développement, de déploiement et d’exploitation de la plateforme Data.

Compétences techniques

• dbt : très bonne maîtrise des modèles, macros, tests, documentation et traitements incrémentaux.
• Apache Airflow : très bonne maîtrise des DAGs, de la planification, des dépendances, de la supervision et des mécanismes de reprise.
• Python : maîtrise pour le développement de pipelines d’ingestion et de préparation des données.
• SQL : maîtrise pour l’analyse, la transformation et l’optimisation des données.
• Git / CI-CD : maîtrise des pratiques de versioning, revue de code et intégration/déploiement continu.

Architecture Data

• Expérience des architectures Lakehouse et des modèles en couches Bronze / Silver / Gold.
• Expérience avec Starburst / Trino.
• Bonne compréhension des formats de tables et catalogues Iceberg.
• Notions d’OpenMetadata : catalogage, gestion des métadonnées et traçabilité / lineage des données.
• Connaissance des outils de restitution et de reporting tels que :

Connaissance métier

• Une connaissance des métiers de l’assurance et/ou du courtage constitue un atout.

Profil recherché

• Data Engineer confirmé, avec idéalement 5 ans ou plus d’expérience en Data Engineering.
• Expérience significative de dbt et Airflow en environnement de production.
• Solide culture de la qualité logicielle et de l’industrialisation des traitements Data.
• Rigueur et autonomie dans la conception de traitements fiables, performants et maintenables.
• Capacité à travailler dans un environnement collaboratif et transverse.
• À l’aise dans les échanges avec les architectes Data, équipes métiers et équipes BI.
• Capacité à documenter les travaux réalisés et à partager les bonnes pratiques.
• Français courant.
• Anglais professionnel.

Livrables attendus

• Modèles et flux dbt testés, documentés et prêts pour la mise en production.
• DAGs Airflow robustes, testés, documentés et supervisables.
• Scripts et traitements Python dédiés à l’ingestion et à la préparation des données.
• Jeux de données structurés et qualifiés pour les différentes couches du Lakehouse.
• Jeux de données prêts à être exploités par les équipes BI et métiers.
• Documentation technique des modèles, traitements et flux de données.
• Contributions au catalogue de données et aux métadonnées dans OpenMetadata.
• Mise en place de contrôles permettant de garantir la qualité, la fiabilité et la traçabilité des données.