Senior Databricks Data Engineer: PySpark Pipelines

Devoteam Data Driven; Lyon; Sur place; EUR 55 000 - 75 000; Plein temps

Résumé du poste

Devoteam Data Driven Lyon recherche un Data Engineer pour concevoir et construire des pipelines de données robustes sur Databricks, en utilisant PySpark et Spark SQL. Vous contribuerez à l’optimisation des flux, à la qualité du code et aux pratiques DevOps dans un cadre Agile.

Vous travaillerez avec les équipes exploitation et métiers, dans un environnement Cloud (AWS/Azure/GCP) et une culture learning. Anglais B2 exigé, esprit d’équipe et rigueur indispensables.

Qualifications

• Maîtrise de Databricks, PySpark, Python et SQL.

Responsabilités

• Concevoir et construire des pipelines de données robustes sur Databricks, en utilisant PySpark et Spark SQL.
• Recueillir les besoins, participer aux ateliers de conception et optimiser les flux de données.
• Assurer la qualité du code et des données à travers des tests techniques, des revues de code et la gestion des anomalies.
• Contribuer à l'amélioration continue des processus par l'automatisation et l'application des bonnes pratiques.
• Participer activement aux cérémonies agiles et maintenir une veille technologique constante.

Connaissances

Gestion d'équipe & Communication

Agilité (Scrum)

Anglais (B2)

Esprit d'équipe

Rigueur

Outils

Databricks

PySpark

Python

SQL

Airflow

Spark

Scala

CI/CD

DevOps

Azure Data Factory

AWS

Azure

GCP

Description du poste

Devoteam Data Driven Lyon recherche un Data Engineer pour concevoir et construire des pipelines de données robustes sur Databricks, en utilisant PySpark et Spark SQL. Vous contribuerez à l’optimisation des flux, à la qualité du code et aux pratiques DevOps dans un cadre Agile.

Vous travaillerez avec les équipes exploitation et métiers, dans un environnement Cloud (AWS/Azure/GCP) et une culture learning. Anglais B2 exigé, esprit d’équipe et rigueur indispensables.