Lead Data Engineer (H/F) - Freelance

Collective.work; Colombes; Sur place; EUR 104 000 - 136 000; Plein temps

Avantages offerts par ce poste

Rémunération 650 €/jour

Résumé du poste

Collective.work recherche un Lead Data Engineer pour piloter une plateforme data cloud-native dans un programme de replatforming B2C impliquant la France, la Belgique et l'Australie. Vous serez référent technique sur l'architecture, le delivery et la qualité des données.

Vous dirigerez une feature team, assurerez l'ingestion et la mise en production des pipelines, et veillerez à la gouvernance, à la sécurité et à l'observabilité tout en pilotant les aspects FinOps.

Qualifications

• Maîtrise Databricks, Delta Lake et Unity Catalogue.
• Expérience design data platform from scratch.
• Connaissance AWS data services (Glue, S3, Kinesis).
• Leadership et delivery end-to-end.
• Approche DataOps, CI/CD et observabilité des pipelines.

Responsabilités

• Définir l'architecture data platform greenfield.
• Constituer et piloter une feature team de 5–6 personnes.
• Assurer l'ingestion, traitement et restitution des données.
• Gérer le monitoring, la performance et les coûts.
• Intégrer IA/ML et use cases data.

Connaissances

Python

PySpark

SQL

Databricks

Delta Lake

AWS

Data governance

DataOps

Leadership

Outils

Glue

Step Functions

S3

Kinesis

Confluent Kafka

GitHub Copilot

Claude Code

Power BI

Description du poste

Taux journalier (TJM): 650Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/FDescription de la mission :Fiche de poste - Lead Data Engineer (H/F)Contexte et objectif de la missionDans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie.Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données.Stack technique- Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink- Gouvernance des données : Unity Catalogue, Collibra- Visualisation : Power BI- Cloud : AWS- Streaming : Confluent Kafka- Langages : Python, SQL- IA & coding : GitHub Copilot, Claude Code, outils LLM- Collaboration : Jira, Confluence, SonarQubeMissions principalesStratégie & Architecture Data- Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts)- Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales- Mettre en place la gouvernance des données, la qualité et l'observabilité- Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a serviceLeadership & Delivery- Être le référent technique data du programme- Choisir les partenaires et structurer une feature team de 5 à 6 personnes- Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution- Gérer le monitoring, la performance et l'optimisation FinOps des workloads data- Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as codeIA & Vélocité- Exploiter GitHub Copilot, Claude Code ou équivalent pour accélérer le développement des pipelines et modèles- Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM- Automatiser la génération de code, les tests de qualité des données et la documentation- Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IASpécificités de l'équipeLe périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C.Cette migration implique deux modules en amont :- Module d'éligibilité : définir les paramètres business pour les parcours clients/agents- Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans KaluzaComplexité forte de l'ETL :- Orchestration multi-sources- Micro-batch quotidien pendant plusieurs mois- Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda.)- Connexions API pour orchestrer les fluxProfil recherchéCompétences indispensables- Services managés AWS (Glue, Step Functions, API Gateway, S3.)- Orchestration API- Expertise avancée Databricks, incluant Delta Lake, Unity Catalogue, Spark et workflows- Solide expérience AWS en environnement data, incluant S3, Glue, Kinesis ou Flink, IAM et sécurité cloud- Mindset IA natif avec usage actif de GitHub Copilot ou équivalent comme outil principal de développement- Maîtrise experte de Python, notamment PySpark, pandas et APIs- Expérience de conception d'une data platform from scratch- Culture DataOps : tests automatisés, CI/CD data, observabilité des pipelines- Approche lean et responsabilité end-to-end- Leadership et capacité à embarquer et structurer une équipe

Type de contrat Profession libérale
Emploi non salarié Salaire

• Rémunération : 650 € par jour

Expérience

• Débutant accepté