Data Engineer – Pipelines Énergie & Cloud (Spark/AWS)

ALTEN; Bezons; On-site; EUR 65,000 - 90,000; Full time

Job summary

Worldgrid recherche un Data Engineer pour concevoir, développer et optimiser des pipelines de données à grande échelle en utilisant Apache Spark, Databricks et AWS sur des projets liés à l’énergie.

Vous travaillerez avec les équipes Data Science et Analytics pour assurer la qualité et la fiabilité des données, et participerez à l’évolution de l’architecture Data (Data Lake/Data Warehouse).

Qualifications

• Maîtrise d’Apache Spark (PySpark/Scala) et Databricks.
• Expérience avérée sur AWS (certifications un plus).
• Solides connaissances SQL et modélisation de données.

Responsibilities

• Concevoir, développer et maintenir des pipelines de données (batch et streaming) avec Spark/Databricks.
• Optimiser les traitements de données sur Databricks et AWS.
• Déployer et gérer des infrastructures AWS (S3, Glue, EMR, Lambda, Redshift).
• Automatiser les workflows de données avec Airflow ou Step Functions.
• Collaborer avec les équipes Data Science et Analytics pour fournir des données fiables et structurées.
• Assurer la qualité des données (nettoyage, validation, monitoring).
• Participer à l’évolution de l’architecture data (Data Lake/Data Warehouse).

Skills

Apache Spark (PySpark/Scala)

Databricks

AWS

SQL

Airflow

Step Functions

Team collaboration

Analytical thinking

Tools

Databricks

Airflow

Step Functions

Job description

Worldgrid recherche un Data Engineer pour concevoir, développer et optimiser des pipelines de données à grande échelle en utilisant Apache Spark, Databricks et AWS sur des projets liés à l’énergie.

Vous travaillerez avec les équipes Data Science et Analytics pour assurer la qualité et la fiabilité des données, et participerez à l’évolution de l’architecture Data (Data Lake/Data Warehouse).