Data Engineer Senior - Databricks - Paris (IT) / Freelance

Onyx-Conseil; Paris; Sur place; EUR 80 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d’industrialisation des plateformes Data.

Vous concevrez, développerez et optimiserez des pipelines robustes dans des environnements Lakehouse et Cloud, en utilisant Databricks, Delta Lake et CI/CD, tout en assurant l’ingestion et la disponibilité des données et l’évolution de l’architecture Data.

Qualifications

• Expérience confirmée en Data Engineering sur Databricks.
• Maîtrise des pipelines de données distribués et scalables.
• Conception et industrialisation des plateformes Data et bonnes pratiques Lakehouse.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données sur Databricks.
• Développer des traitements distribués avec Spark / PySpark.
• Assurer l’ingestion, la transformation et la mise à disposition des données.
• Concevoir et faire évoluer les couches d’un Data Lake / Lakehouse.
• Mettre en œuvre les bonnes pratiques Medallion Architecture et Delta Lake.
• Participer à l’évolution de l’architecture Data et optimiser les performances.

Connaissances

Pipelines de données

Spark / PySpark

Outils

Databricks

Apache Spark

PySpark

Delta Lake

Delta Tables

Git

CI/CD

Infrastructure as Code

Lakehouse

Medallion Architecture

Description du poste

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d’industrialisation des plateformes Data.

Vous participerez à la conception, au développement et à l’optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud.

Vos principales responsabilités seront :

• Concevoir, développer et maintenir des pipelines de données sur Databricks.

• Développer des traitements distribués avec Apache Spark / PySpark.

• Assurer l’ingestion, la transformation et la mise à disposition des données.

• Concevoir et faire évoluer les différentes couches d’un Data Lake / Lakehouse.

• Mettre en œuvre les bonnes pratiques Medallion Architecture.

• Travailler avec Delta Lake / Delta Tables.

• Participer à la conception et à l’évolution de l’architecture Data.

• Optimiser les performances et la scalabilité des traitements.

• Industrialiser les développements et les déploiements.

• Mettre en place et maintenir les pipelines CI/CD.

• Utiliser Git pour la gestion, le versioning et la revue du code.

• Contribuer à l’automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code.

• Participer à l’amélioration continue de la plateforme Data et aux choix techniques.