Tech Lead Databricks

DATAMED RESEARCH; Niort; On-site; EUR 90,000 - 120,000; Full time

Job summary

Datamed Research à Niort recherche un Tech Lead Databricks Senior pour piloter techniquement la conception, le développement et l’industrialisation de solutions Data à grande échelle. Vous serez référent technique auprès des équipes Data Engineering et contribuerez aux choix d’architecture.

Le candidat idéal maîtrise Databricks, Python, PySpark, SQL et Apache Spark, et sait définir les standards, optimiser les performances et assurer la gouvernance des données.

Qualifications

• Maîtrise des concepts Databricks et Spark pour concevoir des pipelines de données
• Capacité à encadrer et faire monter en compétence une équipe technique
• Connaissance des pratiques CI/CD et gouvernance des données

Responsibilities

• Assurer le leadership technique d'une équipe de Data Engineers.
• Concevoir et faire évoluer des architectures Data basées sur Databricks.
• Piloter le développement et l'industrialisation des pipelines de données.
• Définir les standards techniques et les bonnes pratiques de développement.
• Accompagner les équipes sur Python, PySpark, SQL et Apache Spark.
• Optimiser les performances des traitements Big Data.
• Mettre en place des architectures Lakehouse avec Delta Lake.
• Garantir la qualité, la sécurité et la gouvernance des données.
• Participer aux choix d'architecture Cloud et aux décisions techniques.
• Réaliser des revues de code et accompagner la montée en compétences des développeurs.
• Superviser l'intégration continue et le déploiement des solutions Data.
• Collaborer avec les architectes, Product Owners et équipes métiers.

Skills

Databricks

Python

PySpark

SQL

Apache Spark

Delta Lake

Lakehouse

Cloud architecture

Code reviews

Team leadership

Job description

Contexte de la mission

Dans le cadre de projets stratégiques de transformation et de modernisation des plateformes Data, nous recherchons un Tech Lead Databricks Senior pour piloter techniquement la conception, le développement et l'industrialisation de solutions Data à grande échelle.

Vous interviendrez en tant que référent technique auprès des équipes Data Engineering et participerez activement aux choix d'architecture, à l'optimisation des performances et à la mise en place des bonnes pratiques de développement.

Missions principales

• Assurer le leadership technique d'une équipe de Data Engineers.

• Concevoir et faire évoluer des architectures Data basées sur Databricks.

• Piloter le développement et l'industrialisation des pipelines de données.

• Définir les standards techniques et les bonnes pratiques de développement.

• Accompagner les équipes sur Python, PySpark, SQL et Apache Spark.

• Optimiser les performances des traitements Big Data.

• Mettre en place des architectures Lakehouse avec Delta Lake.

• Garantir la qualité, la sécurité et la gouvernance des données.

• Participer aux choix d'architecture Cloud et aux décisions techniques.

• Réaliser des revues de code et accompagner la montée en compétences des développeurs.

• Superviser l'intégration continue et le déploiement des solutions Data.

• Collaborer avec les architectes, Product Owners et équipes métiers.