Expert Data Quality (IT) / Freelance

Onyx-Conseil; Paris; Sur place; EUR 70 000 - 100 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un profil Senior en Data Engineering / Data Quality pour accompagner une plateforme Data Lakehouse dans le secteur banque et assurance, couvrant 9 pays européens. Vous serez chargé de définir un cadre structurant couvrant les KPIs, les data contracts et l'audit.

Vous proposerez des benchmarks d'outils (Elementary, DMF, Cortex, Dataiku), mettrez en place des data contracts sur trois couches et piloterez des dashboards Power BI.

Qualifications

• Profil Senior avec au moins 5 ans d'expérience en Data Engineering / Data Quality.

Responsabilités

• Concevoir et déployer un Data Quality Framework couvrant KPI, contrats de données et audits.

Connaissances

Data Quality

Data engineering

Architectural vision

Rigueur réglementaire

Outils

DBT

Snowflake

Airflow

Python

Git

CI/CD

Power BI

Collibra

Great Expectations

Soda

Description du poste

Langues : Français courant, Anglais professionnel

Contexte de la Mission

• Le client opère une plateforme Data Lakehouse pour ses activités de banque et d'assurance à travers 9 pays européens. L'architecture "médaillon" repose sur une stack moderne et code-centric (Snowflake, DBT, Airflow MWAA, AWS, Collibra, Elementary).

• Aujourd'hui, la qualité des données est assurée par des tests techniques (DBT tests, Elementary). L'enjeu de cette mission est de pallier le manque d'un framework structuré couvrant l'ensemble des dimensions de qualité, les besoins métiers et les fortes exigences d'audit. Le consultant devra notamment adresser deux recommandations d'audit : définir des KPIs centraux croisés sur l'ensemble des pays (JV) et évaluer/déployer un outil central de monitoring de la Data Quality.

Objectifs & Phases du Projet

La mission s'articule autour de la structuration d'un Data Quality Framework

• Cadrage et Définition : Récupération du framework historique, inventaire des pistes d'audit, définition des KPIs centraux cross-JV et évaluation de l'Open Data Contract Standard (ODCS).

• Structuration & Outils : Benchmark et recommandation d'outils DQ (Elementary, Snowflake DMF/Cortex, Dataiku, Great Expectations).

• Implémentation : Mise en place de data contracts sur 3 couches (Standard, Target, Business) et développement de contrôles métiers auditables.

• Industrialisation : Déploiement de tableaux de bord DQ cross-JV (Power BI), gestion structurée des rejets et implémentation de quality gates dans le CI/CD.

• Innovation & Transfert : Exploration de solutions IA pour la Data Quality (Snowflake Cortex, Dataiku), documentation complète et transfert de compétences aux équipes internes.

Environnement Technique

Le socle technique est orienté "code-centric". La solution DQ proposée devra s'aligner sur ce principe (Git, DBT, Airflow, CI/CD).

Technologie Usage dans le cadre du projet

• Snowflake Data warehouse, métriques DQ, DMF (complément IA)

• DBT + Elementary Tests DQ, observabilité, détection d'anomalies

• Apache Airflow (MWAA) Orchestration, alerting, SLA

• AWS Ingestion multi-sources (S3, Glue, DMS, AppFlow)

• Collibra Gouvernance, catalogage des règles DQ

• Power BI Dashboards qualité (IT et métier)

• Git / CI-CD TeamCity, GitHub Actions, Quality gates

• Python Scripts, intégrations API

Profil Recherché

• Nous recherchons un profil Senior (5 ans d'expérience minimum en Data Engineering / Data Quality) doté d'une forte vision architecturale et d'une rigueur liée aux contextes réglementaires.

Compétences techniques exigées :

• Expertise : Data Quality (frameworks, dimensions DAMA, data contracts, scoring).

• Niveau Avancé : DBT (tests, macros, Elementary, dbt-expectations) et Snowflake (SQL avancé, monitoring, DMF).

• Niveau Confirmé : Apache Airflow (DAGs, sensors, SLA, alerting), Python, Git et CI/CD.

Les petits plus (Nice-to-have) :

• Expérience pratique avec les Data Contracts (idéalement ODCS).

• Connaissance des solutions Snowflake Cortex Data Quality / DMF, ou d'outils comme Great Expectations / Soda.

• Connaissance de Collibra (module data quality).

• Expérience des exigences réglementaires bancaires (BCBS 239, DORA) et/ou environnement multi-pays.