Data Engineer

Onyx-Conseil; Paris; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

Onyx-Conseil recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data dédiées aux analystes métiers et data scientists à Paris.

Vous piloterez des projets d’intégration (temps réel, big data) et déployerez des pipelines robustes, assurant la qualité des données pour les modèles ML et l’exploitation par les équipes. Une collaboration internationale avec les Pays-Bas est envisagée.

Qualifications

• Expertise en ingénierie des données et architectures de flux.
• Expérience avec les plateformes cloud et les pipelines de données.
• Connaissance d’Azure Data Services et d’orchestrations.

Responsabilités

• Mener les projets d’intégration (temps réel) et data (big data & insights).
• Concevoir et déployer des pipelines de données robustes pour les data scientists et data analysts.
• Assurer la qualité des données pour les projets ML (préparation, épuration, enrichissement).
• Développer les flux d’intégration avec Azure Service Bus, Functions, Event Grid et Data Factory.
• Collaborer avec les équipes basées aux Pays-Bas pour le data-sharing et optimiser les architectures.
• Contribuer à la gouvernance et à la confidentialité des données.

Description du poste

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists.

Principales missions :

• Mener les projets d'intégration (temps réel) et data (big data & insights)
• Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists)
• Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques
• Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation)
• Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétion, épuration, enrichissement) dans le but d'optimiser les performances des modèles
• Améliorer les processus internes: localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation
• Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures
• Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données

Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant d’hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS.

Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes.

Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones.

Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange.

Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles.

Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux.

Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux.

Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.