Lead Data Engineer (H/F) (IT) / Freelance

Onyx-Conseil; Colombes; Hybride; EUR 75 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Lead Data Engineer (H/F) pour piloter une data platform cloud-native et scalable au service de données clients, contrats et facturation. Vous serez référent technique, architecte et garant de la qualité des données, en collaboration avec des équipes internationales.

Le poste implique leadership d’une équipe de 5 à 6 personnes, ingestion à restitution des pipelines et une forte dimension DataOps et IA/ML.

Qualifications

• Expérience avérée sur plateforme data moderne et scalable (lakehouse).
• Parfaite connaissance de Databricks et AWS data services.
• Leadership technique et delivery end-to-end sur des pipelines data.
• Capacité à définir gouvernance, qualité et observabilité des données.

Responsabilités

• Définir l’architecture de la data platform greenfield et les datacontracts.
• Piloter une feature team de 5–6 personnes et assurer le delivery end-to-end.
• Assurer la gouvernance, la qualité et l’observabilité des données.
• Gérer les pipelines, l’ingestion à la restitution et le FinOps des workloads.
• Intégrer des cas IA/ML et pousser l’automatisation CI/CD des pipelines.

Connaissances

Databricks

Python

SQL

Leadership

DataOps

CI/CD

AWS

Lakehouse

IA Coding

Outils

Confluent Kafka

Unity Catalogue

Collibra

Power BI

Jira

Confluence

S3

Glue

Step Functions

Lambda

Description du poste

Description de la mission :

Fiche de poste — Lead Data Engineer (H/F)

Contexte et objectif de la mission

Dans le cadre d’un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l’échelle mondiale, aujourd’hui fragmentée. L’objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l’Australie.

Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l’architecture, le delivery et la qualité des données.

Stack technique

• Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink
• Gouvernance des données : Unity Catalogue, Collibra
• Visualisation : Power BI
• Cloud : AWS
• Streaming : Confluent Kafka
• Langages : Python, SQL
• IA & coding : GitHub Copilot, Claude Code, outils LLM
• Collaboration : Jira, Confluence, SonarQube

Missions principales

Stratégie & Architecture Data

• Définir l’architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts)
• Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales
• Mettre en place la gouvernance des données, la qualité et l’observabilité
• Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service

Leadership & Delivery

• Être le référent technique data du programme
• Choisir les partenaires et structurer une feature team de 5 à 6 personnes
• Assurer la responsabilité end-to-end des pipelines, de l’ingestion à la restitution
• Gérer le monitoring, la performance et l’optimisation FinOps des workloads data
• Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code

IA & Vélocité

• Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles
• Intégrer des cas d’usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM
• Automatiser la génération de code, les tests de qualité des données et la documentation
• Conserver la maîtrise technique tout en augmentant la vélocité grâce à l’IA

Spécificités de l’équipe

Le périmètre comprend un chantier amont de migration de l’ensemble des données France vers l’écosystème Kaluza, dans le cadre d’un programme de replatforming B2C.

Cette migration implique deux modules en amont :

• Module d’éligibilité : définir les paramètres business pour les parcours clients/agents
• Module ETL : récupérer et transformer les données provenant de nombreux systèmes d’information avant injection dans Kaluza

Complexité forte de l’ETL :

• Orchestration multi-sources
• Micro-batch quotidien pendant plusieurs mois
• Gestion d’un service managé AWS (Glue, Step Functions, S3, Lambda…)
• Connexions API pour orchestrer les flux

Compétences appréciées

• Expérience Unity Catalogue et gouvernance des données à l’échelle
• Connaissance de Confluent Kafka et du streaming
• Familiarité avec Collibra ou équivalent
• Expérience en data modelling dans un contexte B2C
• Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM
• Expérience de contextes multi-pays ou de data platform cross-entités

Compétences / Qualités indispensables :

Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d’outils IA de développement (GitHub Copilot)

Compétences / Qualités qui seraient un + :

Unity Catalogue et gouvernance des données à l’échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entités

Informations concernant le télétravail :

Environ 3 jours par semaine, flexible selon l’autonomie