Senior Databricks Data Engineer — PySpark & Cloud

Devoteam Data Driven; Lyon; Sur place; EUR 50 000 - 75 000; Plein temps

Résumé du poste

Devoteam Lyon recherche un Data Engineer pour concevoir et construire des pipelines de données sur Databricks, avec PySpark, Python et SQL. Vous travaillerez avec les DSI et les équipes projets pour comprendre les besoins et optimiser les flux.

Vous participerez à des ateliers, assurerez la qualité du code et des données via tests et revues, et contribuerez à l’automatisation et aux bonnes pratiques. Anglais B2 attendu; cadre Agile et Cloud (AWS/Azure/GCP) avec Airflow ou Azure Data Factory.

Qualifications

• Maîtrise de Databricks, PySpark, Python et SQL.
• Expérience avec Cloud (AWS/Azure/GCP) et CI/CD.
• Connaissance d’Airflow ou d’Azure Data Factory et des concepts Spark/Scala est un plus.

Responsabilités

• Concevoir et construire des pipelines de données robustes sur Databricks.
• Recueillir les besoins et optimiser les flux de données.
• Assurer la qualité du code et des données par tests et revues.
• Contribuer à l’automatisation et à l’application des bonnes pratiques.
• Participer activement aux cérémonies agiles et à la veille technologique.

Connaissances

Databricks

PySpark

Python

SQL

Outils

Airflow

Azure Data Factory

CI/CD

Description du poste

Devoteam Lyon recherche un Data Engineer pour concevoir et construire des pipelines de données sur Databricks, avec PySpark, Python et SQL. Vous travaillerez avec les DSI et les équipes projets pour comprendre les besoins et optimiser les flux.

Vous participerez à des ateliers, assurerez la qualité du code et des données via tests et revues, et contribuerez à l’automatisation et aux bonnes pratiques. Anglais B2 attendu; cadre Agile et Cloud (AWS/Azure/GCP) avec Airflow ou Azure Data Factory.