Staff Data Platform Engineer (IT) / Freelance

Onyx-Conseil; Lille; Sur place; EUR 75 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Staff Data Platform Engineer pour accompagner une Data Platform moderne et Data Mesh mature. Vous serez référent technique et facilitateur entre la plateforme centrale et les équipes produit, avec un fort focus sur DevEx, standardisation et production rapide des produits data.

Vos missions couvrent l'optimisation des pipelines, la conception de paved paths, le développement de composants et templates, et la mise en place de standards CI/CD, tests, observabilité et data

Responsabilités

• Optimiser le cycle de vie des pipelines Data, du développement local jusqu'à la production.
• Concevoir et standardiser des paved paths permettant aux équipes Data de développer et déployer plus efficacement.
• Développer et partager des composants, templates et outils facilitant le travail des Data Engineers.
• Contribuer à la mise en place de standards autour du CI/CD, des tests, de l'observabilité et de la qualité.
• Promouvoir les bonnes pratiques d'ingénierie logicielle au sein de la communauté Data.

Connaissances

Data Platform

Data Mesh

DevEx

AI Engineering

Outils

GCP / BigQuery

CI/CD

Data Vault

Star Schema

Observabilité

Data Contracts

GenAI / Copilots

Open Lakehouse

FinOps

RGPD by design

Description du poste

Contexte

Dans le cadre de l'évolution et de la modernisation d'une Data Platform, nous recherchons un(e) Staff Data Platform Engineer pour contribuer à l'excellence engineering de l'écosystème data.

Au sein d'une organisation Data Mesh mature, vous aurez un rôle transverse de facilitateur, d'accélérateur et de référent technique auprès des différentes équipes Data Engineering.

Votre mission sera de faire le lien entre les capacités de la plateforme centrale et les besoins opérationnels des équipes produit, avec un fort enjeu autour de la Developer Experience (DevEx), de la standardisation des pratiques et de l'accélération de la mise en production des produits data.

Vos missionsDeveloper Experience & Data Engineering

• Optimiser le cycle de vie des pipelines Data, du développement local jusqu'à la production.

• Concevoir et standardiser des paved paths permettant aux équipes Data de développer et déployer plus efficacement.

• Développer et partager des composants, templates et outils facilitant le travail des Data Engineers.

• Contribuer à la mise en place de standards autour du CI/CD, des tests, de l'observabilité et de la qualité.

• Promouvoir les bonnes pratiques d'ingénierie logicielle au sein de la communauté Data.

Innovation & IA

• Intégrer les outils d'IA générative et de développement assisté dans les pratiques quotidiennes des Data Engineers.

• Identifier et développer des cas d'usage permettant d'améliorer la productivité des équipes.

• Participer à la construction d'un AI Toolkit dédié aux besoins du Data Engineering.

• Accompagner l'évolution des pratiques vers une ingénierie Data augmentée par l'IA.

Architecture & Excellence technique

• Concevoir des frameworks et patterns favorisant la qualité, la maintenabilité et la fiabilité des pipelines.

• Mettre en place des mécanismes de feedback loop, observabilité, data quality et data contracts.

• Contribuer à l'évolution de l'architecture Data et à sa modernisation progressive.

• Challenger les pratiques et architectures existantes afin d'identifier les axes d'amélioration.

• Accompagner la transition progressive vers des architectures Open Lakehouse et des modèles Data modernes.

• Prendre en compte les enjeux de FinOps, sécurité et RGPD by design.

Gouvernance & accompagnement

• Être le représentant des besoins de la communauté Data Engineering auprès de l'équipe Platform.

• Faciliter l'alignement entre les pratiques locales et les standards d'ingénierie globaux.

• Conseiller les équipes responsables du socle technique de la plateforme.

• Favoriser le partage de connaissances et la mutualisation des initiatives au sein de la communauté Data.

• Travailler avec des équipes internationales dans un environnement matriciel.

Environnement technique

• Data Engineering / Data Platform

• Data Mesh

• GCP / BigQuery

• Data Vault / Star Schema

• CI/CD

• DataOps

• Data Quality

• Data Contracts

• Observabilité

• API / CLI tooling

• YAML

• Automatisation

• GenAI / Copilots / AI Engineering

• Open Lakehouse

• FinOps

• GDPR / Privacy by Design