Data Platform Engineer - Databricks

Opus Recruitment Solutions; Île-de-France; Sur place; EUR 90 000 - 120 000; Plein temps

Résumé du poste

Opus Recruitment Solutions recherche un Data Platform Engineer spécialisé Databricks pour construire des plateformes data robustes sur Azure, avec un fort enjeu de scalabilité et time-to-market.

Vous piloterez les pipelines PySpark, participerez à la migration on‑premise → cloud et assurerez l’industrialisation via Terraform et CI/CD.

Qualifications

• 7–8 ans d’expérience en Data Engineering / Data Platform.
• Expertise Azure, notamment ADLS et Azure Databricks.
• Maîtrise Python / PySpark et pipelines data à grande échelle.
• Architecture cloud moderne et approche lakehouse.
• Expérience en automation via Terraform et CI/CD.

Responsabilités

• Concevoir, déployer et faire évoluer des plateformes data sur Databricks (Azure).
• Conduire des migrations on-premise → cloud et refactorings.
• Définir des architectures robustes, scalables et performantes.
• Développer et maintenir des pipelines data à grande échelle.
• Optimiser batch et streaming sur Databricks; assurer traçabilité.
• Industrialiser via IaC (Terraform) et CI/CD (Azure DevOps / GitHub Actions).
• Automatiser déploiements et accélérer les cycles de livraison.

Connaissances

Databricks

Python

PySpark

Azure

ADLS

Lakehouse

Outils

Terraform

Azure DevOps

GitHub Actions

Description du poste

Dans le cadre d’une transformation data, nous recherchons un(e) Data Platform Engineer spécialisé(e) Databricks pour construire et industrialiser des plateformes data modernes, avec un fort enjeu de scalabilité, fiabilité et time‑to‑market.

Architecture & Data Platform

• Concevoir, déployer et faire évoluer des plateformes data sur Databricks (Azure principalement)
• Participer aux migrations on-premise → cloud (replatforming, refactoring)
• Définir des architectures robustes, scalables et orientées performance
• Développer et maintenir des pipelines data à grande échelle en Python (PySpark)
• Optimiser les traitements batch et streaming sur Databricks
• Garantir la qualité, la traçabilité et la supervision des flux
• Mettre en place des pratiques d’industrialisation : Infrastructure as Code (Terraform), CI/CD (Azure DevOps, GitHub Actions, etc.)
• Automatiser les déploiements et améliorer les cycles de livraison
• Tu disposes de 7 à 8 ans d’expérience en Data Engineering / Data Platform, avec une expertise solide sur Azure, notamment ADLS et Azure Databricks. Tu es à l’aise dans des environnements data complexes et sais concevoir des solutions robustes et performantes.
• Tu maîtrises parfaitement Python / PySpark et as déjà travaillé sur des pipelines data à grande échelle, avec des enjeux de volumétrie, de performance et de fiabilité. Tu évolues naturellement dans des architectures cloud modernes, en particulier des approches lakehouse.
• Tu as également une bonne expérience des sujets d’industrialisation, notamment via Terraform et les outils de CI/CD (Azure DevOps, GitHub Actions…), et tu attaches une grande importance à l’automatisation et à la qualité des déploiements.
• Enfin, tu fais preuve d’un esprit pragmatique, orienté résultat, avec une vraie capacité à arbitrer entre qualité technique et rapidité d’exécution, dans une logique de time‑to‑market.

Pourquoi les rejoindre :

• Intervenir sur des projets data stratégiques, au cœur de la transformation des organisations
• Évoluer dans un environnement tech moderne centré sur Azure & Databricks
• Avoir un impact concret sur des problématiques de performance, coût et industrialisation
• Travailler avec des équipes expertes dans une culture engineering & best practices
• Bénéficier d’un cadre favorisant l’innovation, l’autonomie et la montée en compétences