Data engineer - énergie H/F

Onyx-Conseil; Lyon; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Viveris recherche un Data Engineer pour intervenir sur des plateformes de données à grande échelle et soutenir la transformation SI décisionnel. Vous développerez et optimiserez les pipelines, assurerez la fiabilité des traitements et accompagnerez la migration vers le cloud avec Databricks et Spark.

Le poste nécessite une expertise en modélisation et transformation des données, et une expérience sur la migration des traitements vers Spark et le cloud. Lyon est le lieu d'affectation.

Qualifications

• Maîtriser Spark et Databricks et démontrer une expérience en modélisation des données et en transformation des traitements Data.
• Migration de traitements Informatica et PL/SQL vers Spark est souhaitée.
• Connaissances des architectures de données et du traitement des données à grande échelle.

Responsabilités

• Migration de traitements Informatica et PL/SQL vers Spark.
• Participation au projet stratégique de migration vers le cloud.
• Garantir la performance, la robustesse et la qualité des données.
• Documentation et partage de connaissances.

Connaissances

Spark

Databricks

Modélisation de données

Transformation des traitements Data

Outils

Informatica

PL/SQL

Description du poste

Contexte de la mission :

Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle.

Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme.

Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data.

Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data.

Responsabilités :

• Migration de traitements Informatica et PL/SQL vers Spark ;
• Participation au projet stratégique de migration vers le cloud ;
• Garantir la performance, la robustesse et la qualité des données ;
• Documentation et partage de connaissances.