Databricks Data Engineer - PySpark & Cloud Pipelines

Devoteam Data Driven

Lyon

On-site

EUR 60,000 - 90,000

Full time

6 hours ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Devoteam Data Driven Lyon recherche un Data Engineer pour concevoir et déployer des pipelines de données robustes sur Databricks, avec PySpark et Spark SQL. Vous collectez les besoins, participez aux ateliers et optimisez les flux de données, tout en assurant la qualité du code et des données via tests et revues.

Vous contribuerez à l’amélioration continue des processus par l’automatisation et les bonnes pratiques, et participerez activement aux cérémonies agiles.

Qualifications

  • Maîtrise Databricks, PySpark, Python et SQL.
  • Expérience cloud (AWS/Azure/GCP).
  • Connaissance CI/CD et DevOps.
  • Expérience orchestration Airflow ou Azure Data Factory.
  • Connaissance des modèles de données et Spark/Scala est un plus.
  • La certification Databricks Associate ou Professional est appréciée.
  • Niveau d’anglais minimum B2.

Responsibilities

  • Concevoir et construire des pipelines de données robustes sur Databricks, en utilisant PySpark et Spark SQL.
  • Recueillir les besoins, participer aux ateliers de conception et optimiser les flux de données.
  • Assurer la qualité du code et des données via tests, revues et gestion des anomalies.
  • Contribuer à l’amélioration continue des processus par l’automatisation et les bonnes pratiques.
  • Participer activement aux cérémonies agiles et maintenir une veille technologique.

Skills

Databricks
PySpark
Python
SQL
AWS
Azure
GCP
Agile
Anglais B2

Tools

Airflow
Azure Data Factory
CI/CD
DevOps
Spark
Scala

Job description

Devoteam Data Driven Lyon recherche un Data Engineer pour concevoir et déployer des pipelines de données robustes sur Databricks, avec PySpark et Spark SQL. Vous collectez les besoins, participez aux ateliers et optimisez les flux de données, tout en assurant la qualité du code et des données via tests et revues.

Vous contribuerez à l’amélioration continue des processus par l’automatisation et les bonnes pratiques, et participerez activement aux cérémonies agiles.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Databricks & Data Pipelines Engineer for AI-Driven Growth
Databricks & Data Pipelines Engineer for AI-Driven Growth

Devoteam • Marcq-en-Barœul

On-site
EUR 45,000 - 65,000
Data Engineer - Pipelines & Cloud (Azure Databricks)
Data Engineer - Pipelines & Cloud (Azure Databricks)

Groupe LR Technologies • Lyon

On-site
EUR 52,000 - 86,000
Databricks Data Platform Engineer
Databricks Data Platform Engineer

Devoteam Data Driven • Marcq-en-Barœul

On-site
EUR 60,000 - 90,000
Ingénieur Data — Pipelines & Cloud sur Databricks Azure
Ingénieur Data — Pipelines & Cloud sur Databricks Azure

Groupe LR Technologies • Lyon

On-site
EUR 55,000 - 85,000
Data Engineer — Spark Pipelines & Data Quality
Data Engineer — Spark Pipelines & Data Quality

Act Digital France • Vélizy-Villacoublay

On-site
EUR 50,000 - 80,000
Data Engineer Spark & PySpark — Databricks
Data Engineer Spark & PySpark — Databricks

Celad • Lyon

Hybrid
EUR 60,000 - 80,000
15 jours de RTT (salariés) et Rachat 1
Participation aux bénéfices
Indemnité de déplacement
+6
Data Platform Engineer – Databricks & Delta Lake
Data Platform Engineer – Databricks & Delta Lake

Devoteam • Hauts-de-France

On-site
EUR 48,000 - 72,000
Data Engineer: End-to-End Pipelines & Databricks Expert
Data Engineer: End-to-End Pipelines & Databricks Expert

Sijo • Paris

On-site
EUR 60,000 - 90,000
Data Engineer Big Data - Spark/Java, Databricks & Cloud
Data Engineer Big Data - Spark/Java, Databricks & Cloud

gamme solutions • Lyon

On-site
EUR 55,000 - 75,000
Data Engineer - Spark Pipelines (Python/Scala)
Data Engineer - Spark Pipelines (Python/Scala)

Act Digital France • Vélizy-Villacoublay

On-site
EUR 40,000 - 60,000