Data Engineer: Powering Energy Grids with Cloud Pipelines

ALTEN; Île-de-France; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Worldgrid, société de conseil spécialisée dans la transformation digitale des acteurs de l’énergie, recherche un Data Engineer expérimenté pour concevoir et optimiser des pipelines de données à grande échelle.

Vous travaillerez sur des projets AWS, Databricks et Apache Spark (PySpark/Scala), en collaboration avec les équipes Data Science pour assurer la fiabilité et la qualité des données tout au long de la chaîne.

Qualifications

• Minimum 3 ans d’expérience en Data Engineering ou rôle similaire.
• Maîtrise d’Apache Spark (PySpark/Scala) et Databricks.
• Bonne connaissance de AWS (S3, Glue, EMR, Lambda, Redshift).
• Solides compétences en SQL et modélisation de données.
• Expérience avec des outils d’orchestration (Airflow, Step Functions).

Responsabilités

• Concevoir, développer et maintenir des pipelines de données batch et streaming (Spark/Databricks).
• Optimiser les traitements sur Databricks et assurer la qualité des données.
• Déployer et gérer des infrastructures AWS (S3, Glue, EMR, Lambda, Redshift).
• Automatiser les workflows de données (Airflow, Step Functions).
• Collabore avec les équipes Data Science et Analytics pour fournir des données fiables et structurées.

Connaissances

Apache Spark

Databricks

AWS

SQL

Airflow

Step Functions

Outils

S3

Glue

EMR

Lambda

Redshift

Description du poste

Worldgrid, société de conseil spécialisée dans la transformation digitale des acteurs de l’énergie, recherche un Data Engineer expérimenté pour concevoir et optimiser des pipelines de données à grande échelle.

Vous travaillerez sur des projets AWS, Databricks et Apache Spark (PySpark/Scala), en collaboration avec les équipes Data Science pour assurer la fiabilité et la qualité des données tout au long de la chaîne.