Senior Databricks Data Engineer | PySpark Pipelines & Cloud

Devoteam Data Driven; Lyon; Sur place; EUR 52 000 - 75 000; Plein temps

Résumé du poste

Devoteam Data Driven Lyon recrute un Data Engineer pour concevoir et construire des pipelines de données robustes sur Databricks, en PySpark et Spark SQL. Vous travaillerez avec les équipes pour recueillir les besoins, améliorer les flux de données et automatiser les processus, dans un cadre Agile, avec une attention particulière à la qualité et à la collaboration.

Une connaissance des clouds AWS/Azure/GCP et une maîtrise de l'anglais B2 sont attendues, avec une forte culture d'apprentissage et

Qualifications

• Maîtrise de Databricks, PySpark, Python et SQL.
• Compétences Cloud (AWS, Azure ou GCP).
• Connaissance des environnements CI/CD et DevOps.
• Expérience en orchestration avec Airflow ou Azure Data Factory.
• Connaissance des modèles de données et des technologies Spark et Scala est un plus.
• La certification Databricks Associate ou Professionnal est appréciée.

Responsabilités

• Concevoir et construire des pipelines de données robustes sur Databricks, en utilisant PySpark et Spark SQL.
• Recueillir les besoins, participer aux ateliers de conception et optimiser les flux de données.
• Assurer la qualité du code et des données à travers des tests techniques, des revues de code et la gestion des anomalies.
• Contribuer à l'amélioration continue des processus par l'automatisation et l'application des bonnes pratiques.
• Participer activement aux cérémonies agiles et maintenir une veille technologique constante.

Connaissances

PySpark

Databricks

Python

SQL

Cloud AWS/Azure/GCP

Airflow

CI/CD

Anglais B2

Agile/Scrum

Outils

Azure Data Factory

Description du poste

Devoteam Data Driven Lyon recrute un Data Engineer pour concevoir et construire des pipelines de données robustes sur Databricks, en PySpark et Spark SQL. Vous travaillerez avec les équipes pour recueillir les besoins, améliorer les flux de données et automatiser les processus, dans un cadre Agile, avec une attention particulière à la qualité et à la collaboration.

Une connaissance des clouds AWS/Azure/GCP et une maîtrise de l'anglais B2 sont attendues, avec une forte culture d'apprentissage et