Consultant Data Engineer Senior/Expert (IT) / Freelance

ODHCOM - FREELANCEREPUBLIK; Nantes; On-site; EUR 60,000 - 90,000; Full time

Job summary

ODHCOM - FREELANCEREPUBLIK recherche un data engineer senior pour l'équipe Marketing Data du pôle Data Fabric. Vous concevrez, développerez et industrialiserez des pipelines de données sur AWS Lakehouse, avec Spark, PySpark et dbt.

Vous assurerez la fiabilité et la performance des traitements, participerez à la qualité, aux tests et au suivi, et interviendrez avec les équipes produit et métiers pour traduire les besoins en solutions techniques robustness.

Qualifications

• Profil senior/expert avec autonomie et conduite de projets
• Conception et exploitation de pipelines de données sur un lakehouse AWS
• Implémentation de tests, qualité, suivi et alertes pour les pipelines

Responsibilities

• Concevoir, développer, industrialiser et exploiter des pipelines de données dans un environnement Lakehouse sur AWS
• Traduire les besoins marketing en solutions robustes en lien avec les parties prenantes
• Contribuer à la documentation, au lignage des données et à l’ingénierie de l’équipe

Tools

Spark

PySpark

Python

SQL

dbt

Apache Iceberg

Airflow

AWS

Terraform

Job description

Au sein de l’équipe Marketing Data du pôle Data Fabric, vous intervenez comme consultant Data Engineer senior ou expert. Vous prenez en charge, de manière autonome, la conception, le développement, l’industrialisation et l’exploitation de produits et de pipelines de données dans un environnement Lakehouse sur AWS. Votre objectif est de garantir des traitements fiables, performants et maintenables, tout en contribuant à la maîtrise de leur exploitation quotidienne.
Vous développez des transformations avec Spark et PySpark, Python, SQL et dbt, exploitez des données Apache Iceberg et orchestrez les traitements avec Airflow. Vous contribuez au déploiement sur AWS et à l’infrastructure en tant que code avec Terraform. Vous mettez en place des tests, des contrôles de qualité, du suivi et des alertes, et participez à l’analyse des incidents ainsi qu’à la recherche de leurs causes profondes. En lien avec les responsables produit et les interlocuteurs métier, vous traduisez les besoins marketing en solutions robustes. Vous contribuez également à la documentation, au lignage des données, aux contrats de données, au catalogue et aux pratiques d’ingénierie de l’équipe.