Data Engineer - Databricks H / F

MP Data; Boulogne-Billancourt; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise analytique à Boulogne-Billancourt recherche un Data Engineer Senior pour construire et optimiser des pipelines de données. Vous apporterez votre expertise sur Databricks et Spark pour assurer des traitements performants et sécurisés. Avec un Bac +5 et 5 ans d'expérience en Data Engineering, vous collaborerez avec les équipes Data Science et BI. Cette fonction exige rigueur, autonomie et bonnes pratiques CI/CD.

Qualifications

• Minimum 5 ans d'expérience en tant que Data Engineer dans des environnements distribués.
• Maîtrise avancée de Databricks et de l'écosystème cloud (Azure, AWS ou GCP).
• Pratique des workflows CI / CD (Git, DevOps, Terraform un plus).

Responsabilités

• Concevoir, développer et maintenir des pipelines de données.
• Optimiser les performances de traitement et garantir la qualité des données.
• Participer à l'architecture de la data platform.

Connaissances

Databricks

Apache Spark (PySpark)

Delta Lake

SQL

Outils d'orchestration (ex : Airflow, dbx)

Git

Terraform

Formation

Bac +5 en informatique, systèmes d'information

Description du poste

En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au coeur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données sur Databricks (Spark / Delta Lake).
• Optimiser les performances de traitement et garantir la qualité des données (cleaning, validation, partitioning).
• Participer à l'architecture de la data platform (modularité, sécurité, gestion des coûts).
• Travailler en étroite collaboration avec les équipes Data Science, BI, et Produit pour alimenter les cas d'usage.
• Implémenter les bonnes pratiques de versioning, CI / CD et tests sur les pipelines (Git, dbx, Unity Catalog).
• Assurer le monitoring, l'observabilité et la documentation des traitements.
• Être force de proposition sur les choix technologiques et accompagner les profils plus juniors.

Qualifications

• Bac +5 en informatique, systèmes d'information ou formation équivalente.
• Minimum 5 ans d'expérience en tant que Data Engineer dans des environnements distribués (Big Data).
• Maîtrise avancée de Databricks, Apache Spark (PySpark), Delta Lake et de l'écosystème cloud (Azure, AWS ou GCP).
• Bonne connaissance de SQL, des formats de données (Parquet, Avro) et des principes d'optimisation de requêtes.
• Solide expérience sur des outils d'orchestration (ex : Airflow, dbx, Data Factory, Dagster, etc.).
• Pratique des workflows CI / CD (Git, DevOps, Terraform un plus).
• Connaissances en gestion des accès, catalogues de données, et gouvernance (Unity Catalog, Lakehouse).
• Savoir‑Etre : rigueur, autonomie, esprit d'équipe, capacité à industrialiser des solutions complexes.