Senior Data Engineer (Databricks & PySpark)

Devoteam Data Driven; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Devoteam Lyon recherche un Data Engineer pour concevoir et maintenir des pipelines de données robustes sur Databricks avec PySpark et Spark SQL, dans un cadre agile et sécurité des données.

Vous collaborerez avec des équipes multidisciplinaires sur des projets innovants, couvrant le cloud (AWS/Azure/GCP), CI/CD, et l’automatisation des flux. Excellentes compétences techniques et anglais B2 exigés.

Qualifications

• Data Engineer doté(e) d’excellentes compétences techniques et d’une bonne capacité à communiquer et vulgariser des sujets complexes.
• Esprit d’équipe, rigueur et capacité à travailler en méthode Agile (Scrum).
• Niveau d’anglais minimum B2 attendu.

Responsabilités

• Concevoir et construire des pipelines de données robustes sur Databricks, en utilisant PySpark et Spark SQL.
• Recueillir les besoins, participer aux ateliers de conception et optimiser les flux de données.
• Assurer la qualité du code et des données à travers des tests techniques, des revues de code et la gestion des anomalies.
• Contribuer à l’amélioration continue des processus par l’automatisation et l’application des bonnes pratiques.
• Participer activement aux cérémonies agiles et maintenir une veille technologique constante.

Connaissances

Esprit d'équipe

Rigueur

Agile / Scrum

Anglais B2

Formation

Outils

Databricks

PySpark

Python

SQL

Cloud (AWS/Azure/GCP)

CI/CD / DevOps

Airflow / Azure Data Factory

Spark / Scala

Databricks Certification

Description du poste

Devoteam Lyon recherche un Data Engineer pour concevoir et maintenir des pipelines de données robustes sur Databricks avec PySpark et Spark SQL, dans un cadre agile et sécurité des données.

Vous collaborerez avec des équipes multidisciplinaires sur des projets innovants, couvrant le cloud (AWS/Azure/GCP), CI/CD, et l’automatisation des flux. Excellentes compétences techniques et anglais B2 exigés.