Data Engineer - Pipelines & Lakehouse Platform

France Defi; Orléans; Hybride; EUR 42 000 - 64 000; Plein temps

Résumé du poste

France Defi recherche un Data Engineer pour concevoir et industrialiser les pipelines de données au cœur de notre stratégie Data. Vous contribuerez à la construction et à l’évolution de notre plateforme Data, axée sur Databricks et les architectures Lakehouse, avec un fort enjeu de robustesse et d’automatisation.

Vous rejoindrez une équipe Data et Automatisation et participerez à la mise en production des traitements, au monitoring et à l’amélioration continue des processus de déploiement.

Qualifications

• Expérience en conception et industrialisation de pipelines de données.
• Connaissance des sources variées: API, bases de données, fichiers.
• Sensibilisé à la qualité et à la traçabilité des données.
• Connaissance des architectures Lakehouse et Databricks souhaitable.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données fiables et évolutifs.
• Intégrer des données issues de sources variées (API, bases de données, fichiers).
• Concevoir et faire évoluer les traitements ETL/ELT et les modèles de données.
• Contribuer à la plateforme Data cible basée sur Databricks (Lakehouse).
• Industrialiser les traitements: logs, gestion d’erreurs, reprise sur incident, optimisation.
• Mettre en place monitoring et contrôles qualité des données.

Connaissances

Data engineering

ETL/ELT

Databricks

Lakehouse

Automation

Monitoring

CI/CD

SQL

Outils

Databricks

Description du poste

France Defi recherche un Data Engineer pour concevoir et industrialiser les pipelines de données au cœur de notre stratégie Data. Vous contribuerez à la construction et à l’évolution de notre plateforme Data, axée sur Databricks et les architectures Lakehouse, avec un fort enjeu de robustesse et d’automatisation.

Vous rejoindrez une équipe Data et Automatisation et participerez à la mise en production des traitements, au monitoring et à l’amélioration continue des processus de déploiement.