Techlead Databricks (H/F) (IT) / Freelance

Hoxton-Partners; Paris; On-site; EUR 90,000 - 130,000; Full time

Job summary

Hoxton-Partners recherche un Tech Lead Data Engineering pour piloter les architectures et les pipelines Data au sein de sa plateforme. Le candidat accompagnera les Data Engineers dans la conception, le développement et l’industrialisation des solutions Databricks, PySpark et Delta Lake, tout en renforçant les pratiques CI/CD et la gouvernance des données.

Ce rôle requiert une expertise avancée sur Delta Lake et Unity Catalog, ainsi que la capacité à guider techniquement les équipes, à

Qualifications

• Maîtrise avancée des architectures Data et gouvernance des données.
• Bonne connaissance des pipelines batch et streaming.
• Capacité à encadrer techniquement des Data Engineers et à diffuser les bonnes pratiques.

Responsibilities

• Piloter les choix techniques et accompagner la conception des architectures Data sur Databricks.
• Concevoir, développer et optimiser les pipelines avec PySpark et Spark SQL.
• Mettre en œuvre et administrer Unity Catalog pour la gouvernance et la traçabilité des données.
• Garantir la qualité, la performance et la fiabilité des traitements Data sur Delta Lake.
• Encadrer techniquement les Data Engineers et réaliser les revues de code.
• Accompagner l’industrialisation des pipelines et l’intégration CI/CD.

Tools

Databricks

PySpark

Unity Catalog

Job description

Dans le cadre du développement et de l’évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineering disposant d’une expertise avancée sur Databricks, PySpark et Unity Catalog. Le consultant interviendra comme référent technique pour accompagner les équipes dans la conception, le développement et l’industrialisation des solutions Data.

Missions

• Piloter les choix techniques et accompagner la conception des architectures Data sur Databricks.

• Concevoir, développer et optimiser les pipelines de traitement de données avec PySpark et Spark SQL.

• Mettre en œuvre et administrer Unity Catalog pour structurer la gouvernance, la gestion des accès et la traçabilité des données.

• Garantir la qualité, la performance et la fiabilité des traitements Data, notamment sur les environnements Delta Lake.

• Encadrer techniquement les Data Engineers, réaliser les revues de code et diffuser les bonnes pratiques de développement.

• Accompagner l'industrialisation des pipelines, l'automatisation des déploiements et l'intégration des pratiques CI/CD.