Senior Data Architect & Lakehouse Engineer

Lehibou; Paris; On-site; EUR 70,000 - 110,000; Full time

Job summary

Onyx-Conseil recherche un Data Engineer / Data Architect Senior pour moderniser une plateforme décisionnelle en mode Lakehouse et assurer la continuité des services.

Vous rejoindrez l’équipe Cœur-Data, travaillez avec les métiers et MOA, et piloterez l’industrialisation des pipelines et l’exposition des données via Trino et les outils BI.

Le rôle implique conception, développement, tests et documentation.

Qualifications

• Concevoir l’architecture et l’organisation du Lakehouse.
• Concevoir des solutions de collecte, stockage et transformation des données.
• Migration et modernisation progressive des traitements existants.
• Industrialisation et suivi des pipelines de données.
• Mettre à disposition des données prêtes pour l’analyse et la datavisualisation.

Responsibilities

• Concevoir l’organisation des données et des flux Lakehouse.
• Développer des pipelines avec Python, Spark et PySpark.
• Mettre en place et maintenir les traitements d’ingestion et de transformation.
• Participer à l’ordonnancement des traitements avec Dagster.
• Contribuer à l’exposition des données via Trino et les outils de datavisualisation.
• Rédiger et maintenir la documentation technique.
• Participer à la recette avec la MOA et les utilisateurs.
• Estimer les charges et suivre l’avancement du projet.
• Réaliser des études en collaboration avec les équipes transverses.
• Améliorer continuellement les processus de développement et exploitation.

Skills

Data architecture

Data modeling

ETL design

Stakeholder collaboration

Tools

Python

Spark

PySpark

SQL

Amazon S3

Dagster

Trino

Git

Jenkins

Job description

Dans le cadre de la modernisation d’une plateforme décisionnelle au sein d’un acteur de l’épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior.

La mission s’inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés.

Vous rejoindrez l’équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses.

Objectifs de la mission

L’objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l’équipe Marketing.

Vous interviendrez notamment sur :

• La définition de l’architecture et de l’organisation du Lakehouse ;

• La conception de solutions de collecte, de stockage et de transformation des données ;

• La migration et la modernisation progressive des traitements existants ;

• L’industrialisation et le suivi des pipelines de données ;

• La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation.

Principales responsabilités

En tant que Data Engineer / Data Architect Senior, vous serez amené à :

• Concevoir l’organisation des données et des flux au sein d’un environnement Lakehouse basé sur S3 ;

• Développer des pipelines de traitement avec Python, Spark et PySpark ;

• Mettre en place et maintenir les traitements d’ingestion et de transformation ;

• Participer à l’ordonnancement des traitements avec Dagster ;

• Contribuer à l’exposition des données via Trino et les outils de datavisualisation ;

• Développer les solutions de collecte et de stockage répondant aux besoins métiers ;

• Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ;

• Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ;

• Rédiger et maintenir la documentation technique ;

• Participer à la recette avec la MOA et les utilisateurs ;

• Estimer les charges et contribuer au suivi de l’avancement du projet ;

• Réaliser des études en collaboration avec les équipes transverses ;

• Participer à l’amélioration continue des processus de développement et d’exploitation.

Environnement techniquePlateforme cible

• Python ;

• Apache Spark / PySpark ;

• SQL ;

• Amazon S3 ;

• Dagster ;

• Trino ;

• Git ;

• Jenkins.

Environnement existant

• Informatica ;

• DAC ;

• Oracle 19 ;

• Outils BI et de reporting.

Outils projet

• Jira ;

• Confluence ;

• Windows 10 avec WSL.