Data Engineer

ITS Group Benelux; Elsene; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

SPW Digital recherche un Data Engineer pour définir et piloter les processus d’intégration, de contrôle qualité et de nettoyage des données du référentiel des entreprises. Vous travaillerez au sein d’une équipe du SPW et contribuerez à la fiabilité et à la disponibilité des données.

Le poste implique l’implémentation, le testing et l’amélioration continue des pipelines, avec une forte orientation “quality by design” et une collaboration avec les équipes DGVD et VD. Poste sur site en Belgique.

Qualifications

• Expérience en gouvernance et qualité des données.
• Conception et mise en œuvre de processus d’intégration et d’alimentation du référentiel.

Responsabilités

• Concevoir et mettre en œuvre la consolidation et la gestion des données de référence.
• Mettre en œuvre les flux d’intégration via FME et assurer la traçabilité des échanges.
• Définir les contrôles qualité et les règles de validation des données dans le référentiel.

Connaissances

Gouvernance des données

Intégration de données

Qualité des données

ETL

SQL

Outils

FME

Talend

SQL Server

Description du poste

Le Data engineer sera responsable de la définition des processus d’intégration, de contrôle qualité, de détection et de suivi d’incohérences du référentiel des entreprises.

• Conception, en collaboration avec l’ensemble des équipes du Digital,
• Des processus d’alimentation et de contrôle qualité du référentiel
• Des mécanismes de suivi d’incohérences et de nettoyage des données
• Implémentation de ces processus, testing, mise en œuvre

Il sera intégré à une équipe comportant un chef de projet, un coordinateur technique et un analyste. L’équipe fera partie intégrante de la direction de la Gestion et Valorisation de la donnée (DGVD).

Définir les processus d’intégration, d’analyse et de contrôle qualité, de détection et de suivi des incohérences et de nettoyage des données pour le référentiel des entreprises.

Le Data Engineer est responsable de la conception, de la mise en œuvre et de l’amélioration continue des processus permettant d’alimenter, de contrôler, de fiabiliser et de maintenir la qualité des données du Référentiel des Entreprises. Il assure l’intégration cohérente des données provenant de multiples sources internes et externes, met en place les mécanismes de détection des anomalies et garantit la disponibilité de données fiables, complètes et réutilisables pour l’ensemble des applications et processus du SPW.

Cette mission s’inscrit dans une logique de « quality by design », où la qualité des données est intégrée dès les phases d’ingestion, d’intégration et d’exploitation du référentiel.

Dans ce cadre, il assurera notamment les missions suivantes :

Définition et mise en œuvre de la consolidation et de la gestion des données de référence
Le Data Engineer apporte son expertise pour définir, concevoir et mettre en œuvre

Les mécanismes assurant la génération et la gestion de l’identifiant unique du SPW ;
Les mécanismes de déduplication des entreprises ;
Les règles de consolidation et de priorisation entre sources
Les mécanismes de gestion des conflits de données.
Il collabore avec le Centre de Service Virtualisation des Données et la DGVD pour garantir la cohérence de la vue consolidée des entreprises mise à disposition des applications.

Définition et mise en œuvre des processus d’intégration des données
Le Data Engineer apporte son expertise pour

Concevoir et maintenir, sur base de la plate-forme FME, les chaînes d’alimentation du référentiel à partir des sources de données et des applications contributrices, en étroite collaboration avec la DGVD et le CS VD et en assurant le respect des standards en matière de partage et d’échange de données.
Définir, sur base de la plate-forme FME, les règles de transformation, de normalisation et de consolidation des données.
Mettre en œuvre les connecteurs et flux d’intégration nécessaires à l’alimentation et à la diffusion des données du référentiel.
Garantir la traçabilité complète des échanges de données et le respect des standards d’architecture du SPW.
Définition des contrôles qualité et des règles de validation
En liaison avec l’équipe de la Direction de la Gestion et Valorisation des données, il définit les contrôles de qualité applicables aux données lors de leur intégration dans le référentiel. Pour ce faire, il se base sur les outils FME mais également sur le DataLift développé au sein de la direction de la Gestion et Valorisation des Données. Il veille à définir notamment les contrôles de qualité préalables à l’intégration des données dans le référentiel en termes de :

validation des formats ;
contrôles de complétude ;
contrôles de cohérence temporelle ;
validation croisée entre plusieurs sources ;
contrôles d’unicité.
Il veille à automatiser l’exécution de ces contrôles lors de l’ingestion et sur les données déjà présentes dans le référentiel et à prévoir les outils permettant au futur gestionnaire du référentiel des entreprises de faire évoluer les règles de validation en fonction des nouveaux besoins métiers et des évolutions réglementaires.

Détection et suivi des incohérences
Le Data Engineer apporte son expertise pour :

Concevoir les mécanismes de détection des anomalies et incohérences et d’alertes au sein du référentiel :
doublons ;
valeurs aberrantes ;
incohérences entre systèmes ;
divergences entre sources de données ;
Contribuer à la définition des indicateurs de qualité et des tableaux de bord de suivi.
Concevoir les services permettant la production de rapports identifiant les problèmes récurrents et d’en mesurer l’évolution.
Contribuer à la définition d’une classification des anomalies selon leur criticité afin de prioriser les actions correctrices.
Nettoyage et remédiation des données
Développer les processus de nettoyage automatisé des données :

standardisation ;
normalisation ;
déduplication ;
enrichissement ;
correction des erreurs détectées.
Concevoir les mécanismes et processus permettant

D’identifier les causes racines des défauts de qualité.
De favoriser la correction des anomalies à la source conformément aux principes de gouvernance du référentiel.
Monitoring et amélioration continue
Mettre en place un dispositif permanent de surveillance de la qualité des données.

Mesurer les principaux indicateurs de qualité :

exactitude ;
complétude ;
cohérence ;
unicité ;
fraîcheur ;
conformité.
Analyser les tendances et proposer des améliorations techniques ou organisationnelles.

Contribuer à l’exploitation opérationnelle du référentiel
Durant la phase de construction et de raccordement progressif du référentiel aux sources de données du SPW, le Data Engineer

Assiste les équipes du SPW Digital à la résolution des incidents techniques liés aux données
Documente les processus et outils pour garantir la maintenance évolutive et la reprise des dispositifs de gestion du référentiel par les équipes du SPW Digital ;
Coordonner techniquement le raccordement progressif des applications au référentiel des entreprises.
Le Data Engineer apporte son expertise afin de

Analyser les impacts techniques et fonctionnels de chaque raccordement
Contribuer à la définition des scénarios de tests fonctionnels et techniques et les campagnes de tests d’intégration.

• Connaissance des principes de gouvernance de données (DAMA, etc…)Level T1 - Junior Most recent experience Any time
• Connaissance théorique et pratique des outils ETL et analyse de qualité exigée (FME et Talend standards SPW)Level T2 - Confirmed Most recent experience Any time
• Maîtrise des processus d’analyse et de conception des systèmes de gestion de bases de données.Level T2 - Confirmed Most recent experience Any time
• Maîtrise des processus de Data Quality Management (connaissance théorique et pratique)Level T2 - Confirmed Most recent experience Any time

Votre profil

Processus de recrutement

Expérience3 ans et < 5 ans
Fonction managériale :Non
Mobilité :Non
Mode de poste :Sur Site
Salaire :Salary conform to your experience & skills
Réf.JL0547