Databricks Tech Lead: PySpark & Unity Catalog

Hoxton-Partners; Paris; On-site; EUR 90,000 - 130,000; Full time

Job summary

Hoxton-Partners recherche un Tech Lead Data Engineering pour piloter les architectures et les pipelines Data au sein de sa plateforme. Le candidat accompagnera les Data Engineers dans la conception, le développement et l’industrialisation des solutions Databricks, PySpark et Delta Lake, tout en renforçant les pratiques CI/CD et la gouvernance des données.

Ce rôle requiert une expertise avancée sur Delta Lake et Unity Catalog, ainsi que la capacité à guider techniquement les équipes, à

Qualifications

• Maîtrise avancée des architectures Data et gouvernance des données.
• Bonne connaissance des pipelines batch et streaming.
• Capacité à encadrer techniquement des Data Engineers et à diffuser les bonnes pratiques.

Responsibilities

• Piloter les choix techniques et accompagner la conception des architectures Data sur Databricks.
• Concevoir, développer et optimiser les pipelines avec PySpark et Spark SQL.
• Mettre en œuvre et administrer Unity Catalog pour la gouvernance et la traçabilité des données.
• Garantir la qualité, la performance et la fiabilité des traitements Data sur Delta Lake.
• Encadrer techniquement les Data Engineers et réaliser les revues de code.
• Accompagner l’industrialisation des pipelines et l’intégration CI/CD.

Tools

Databricks

PySpark

Unity Catalog

Job description

Hoxton-Partners recherche un Tech Lead Data Engineering pour piloter les architectures et les pipelines Data au sein de sa plateforme. Le candidat accompagnera les Data Engineers dans la conception, le développement et l’industrialisation des solutions Databricks, PySpark et Delta Lake, tout en renforçant les pratiques CI/CD et la gouvernance des données.

Ce rôle requiert une expertise avancée sur Delta Lake et Unity Catalog, ainsi que la capacité à guider techniquement les équipes, à