Senior Data Engineer — Databricks & Lakehouse Pipelines

Onyx-Conseil; Paris; Sur place; EUR 80 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d’industrialisation des plateformes Data.

Vous concevrez, développerez et optimiserez des pipelines robustes dans des environnements Lakehouse et Cloud, en utilisant Databricks, Delta Lake et CI/CD, tout en assurant l’ingestion et la disponibilité des données et l’évolution de l’architecture Data.

Qualifications

• Expérience confirmée en Data Engineering sur Databricks.
• Maîtrise des pipelines de données distribués et scalables.
• Conception et industrialisation des plateformes Data et bonnes pratiques Lakehouse.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données sur Databricks.
• Développer des traitements distribués avec Spark / PySpark.
• Assurer l’ingestion, la transformation et la mise à disposition des données.
• Concevoir et faire évoluer les couches d’un Data Lake / Lakehouse.
• Mettre en œuvre les bonnes pratiques Medallion Architecture et Delta Lake.
• Participer à l’évolution de l’architecture Data et optimiser les performances.

Connaissances

Pipelines de données

Spark / PySpark

Outils

Databricks

Apache Spark

PySpark

Delta Lake

Delta Tables

Git

CI/CD

Infrastructure as Code

Lakehouse

Medallion Architecture

Description du poste

Onyx-Conseil recherche un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d’industrialisation des plateformes Data.

Vous concevrez, développerez et optimiserez des pipelines robustes dans des environnements Lakehouse et Cloud, en utilisant Databricks, Delta Lake et CI/CD, tout en assurant l’ingestion et la disponibilité des données et l’évolution de l’architecture Data.