Senior Data Architect & Lakehouse Engineer

Onyx-Conseil; Paris; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer / Data Architect Senior pour moderniser une plateforme décisionnelle en mode Lakehouse et assurer la continuité des services.

Vous rejoindrez l’équipe Cœur-Data, travaillez avec les métiers et MOA, et piloterez l’industrialisation des pipelines et l’exposition des données via Trino et les outils BI.

Le rôle implique conception, développement, tests et documentation.

Qualifications

• Concevoir l’architecture et l’organisation du Lakehouse.
• Concevoir des solutions de collecte, stockage et transformation des données.
• Migration et modernisation progressive des traitements existants.
• Industrialisation et suivi des pipelines de données.
• Mettre à disposition des données prêtes pour l’analyse et la datavisualisation.

Responsabilités

• Concevoir l’organisation des données et des flux Lakehouse.
• Développer des pipelines avec Python, Spark et PySpark.
• Mettre en place et maintenir les traitements d’ingestion et de transformation.
• Participer à l’ordonnancement des traitements avec Dagster.
• Contribuer à l’exposition des données via Trino et les outils de datavisualisation.
• Rédiger et maintenir la documentation technique.
• Participer à la recette avec la MOA et les utilisateurs.
• Estimer les charges et suivre l’avancement du projet.
• Réaliser des études en collaboration avec les équipes transverses.
• Améliorer continuellement les processus de développement et exploitation.

Connaissances

Data architecture

Data modeling

ETL design

Stakeholder collaboration

Outils

Python

Spark

PySpark

SQL

Amazon S3

Dagster

Trino

Git

Jenkins

Description du poste

Onyx-Conseil recherche un Data Engineer / Data Architect Senior pour moderniser une plateforme décisionnelle en mode Lakehouse et assurer la continuité des services.

Vous rejoindrez l’équipe Cœur-Data, travaillez avec les métiers et MOA, et piloterez l’industrialisation des pipelines et l’exposition des données via Trino et les outils BI.

Le rôle implique conception, développement, tests et documentation.