Data Engineer

Atos; Brussel Hoofdstad; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

Atos zoekt een ervaren Data Engineer / Data Platform Engineer die een metadata-gedreven dataplatform bouwt met Microsoft Fabric, Azure en Python. Je werkt binnen een Medallion Architecture-project om data uit diverse bronsystemen te normaliseren naar betrouwbare datasets en dataproducten voor analytics.

Je ontwerpt en implementeert ETL/ELT-processen, voert data quality en SCD Type 2 controles uit, en ontwikkelt de Gold-laag inclusief dimensional models en materialized lake views.

Qualifications

• Minimaal 4 jaar relevante werkervaring als Data Engineer / Data Platform Engineer
• Aantoonbare ervaring met Microsoft Fabric
• Goede kennis van Microsoft Azure en Azure data-oplossingen
• Sterke programmeervaardigheden in Python
• Ervaring met het ontwerpen en implementeren van een Medallion Architecture (Bronze, Silver, Gold)
• Ervaring met ETL/ELT en metadata-gedreven dataverwerking
• Kennis van Data Quality, validatie en datamonitoring
• Ervaring met dimensionele datamodellering en SCD Type 2
• Ervaring met het ontwikkelen van datasets en dataproducten voor eindgebruikers
• Analytisch sterk en kunt complexe datavraagstukken vertalen naar robuuste technische oplossingen

Responsabilités

• Ontwerpen, ontwikkelen, testen, documenteren en beheren van een metadata-gedreven Medallion Architecture binnen Microsoft Fabric
• Ontwikkelen van generieke en herbruikbare ETL/ELT-processen voor data uit circa 11 verschillende bronsystemen
• Realiseren van metadata-gestuurde imports van brondata
• Verwerken van data vanuit de Bronze-laag naar de Silver-laag, inclusief Data Quality-controles
• Validatie en monitoring; SCD Type 2 historisering; foutafhandeling en logging
• Ontwikkelen van de Gold-laag met Materialized Lake Views en dimensionele datamodellen
• Beschikbaar maken van datasets en dataproducten voor eindgebruikers en analytics
• Ontwikkelen van een onderhoudsapplicatie waarmee procesmetadata beheerd en onderhouden kan worden
• Bijdragen aan standaardisatie, schaalbaarheid, betrouwbaarheid en performance van het dataplatform
• Samenwerken met data engineers, platform engineers, data professionals en business stakeholders
• Documenteren van technische oplossingen, datastromen en processen

Connaissances

Microsoft Fabric

Microsoft Azure

Python

ETL/ELT

Medallion Architecture

Data Quality

SCD Type 2

Data Modeling

Description du poste

Over de functie

Voor onze opdrachtgever zijn we op zoek naar een ervaren Data Engineer / Data Platform Engineer met sterke kennis van Microsoft Fabric, Azure en Python. Je speelt een belangrijke rol in de verdere ontwikkeling en het beheer van een modern, metadata-gedreven dataplatform.

Als Data Engineer werk je aan een Medallion Architecture binnen Microsoft Fabric, waarbij data vanuit verschillende bronsystemen op een gestandaardiseerde en schaalbare manier wordt verwerkt naar betrouwbare datasets en dataproducten voor analytics, rapportages en andere toepassingen.

Jouw verantwoordelijkheden

• Ontwerpen, ontwikkelen, testen, documenteren en beheren van een metadata-gedreven Medallion Architecture binnen Microsoft Fabric.
• Ontwikkelen van generieke en herbruikbare ETL/ELT-processen voor data uit circa 11 verschillende bronsystemen.
• Realiseren van metadata-gestuurde imports van brondata.
• Verwerken van data vanuit de Bronze-laag naar de Silver-laag, inclusief:
• Data Quality-controles;
• Validatie en monitoring;
• SCD Type 2 historisering;
• Foutafhandeling en logging.
• Ontwikkelen van de Gold-laag, onder andere met:
• Materialized Lake Views;
• Dimensionele datamodellen;
• Feitentabellen en dimensietabellen;
• Datamodellen voor verschillende businessdomeinen.
• Beschikbaar maken van datasets en dataproducten voor eindgebruikers, analytics en rapportagedoeleinden.
• Ontwikkelen van een onderhoudsapplicatie waarmee procesmetadata beheerd en onderhouden kan worden.
• Bijdragen aan de verdere standaardisatie, schaalbaarheid, betrouwbaarheid en performance van het dataplatform.
• Samenwerken met data engineers, platform engineers, data professionals en business stakeholders.
• Documenteren van technische oplossingen, datastromen en processen.

Jouw profiel

Je bent een ervaren Data Engineer die zich prettig voelt in een moderne cloud dataomgeving en ervaring heeft met het ontwerpen en realiseren van schaalbare dataplatformen.

Must-haves

• Minimaal 4 jaar relevante werkervaring als Data Engineer / Data Platform Engineer.
• Aantoonbare ervaring met Microsoft Fabric.
• Goede kennis van Microsoft Azure en Azure data-oplossingen.
• Sterke programmeervaardigheden in Python.
• Ervaring met het ontwerpen en implementeren van een Medallion Architecture (Bronze, Silver, Gold).
• Ervaring met ETL/ELT en metadata-gedreven dataverwerking.
• Kennis van Data Quality, validatie en datamonitoring.
• Ervaring met dimensionele datamodellering en SCD Type 2.
• Ervaring met het ontwikkelen van datasets en dataproducten voor eindgebruikers.
• Je bent analytisch sterk en kunt complexe datavraagstukken vertalen naar robuuste technische oplossingen.

Pré

• Ervaring met Materialized Lake Views.
• Ervaring met Microsoft Fabric Lakehouse en/of andere Fabric-componenten.
• Ervaring met het ontwikkelen van metadata- of configuratiegedreven frameworks.
• Ervaring met meerdere bronsystemen en heterogene datastromen.
• Ervaring met data governance, lineage en data cataloguing.
• Ervaring binnen grote enterprise-omgevingen.

Wat je kunt verwachten

• Een uitdagende rol binnen een moderne Microsoft Fabric / Azure dataomgeving.
• De mogelijkheid om mee te bouwen aan een schaalbaar en toekomstbestendig dataplatform.
• Veel ruimte voor technische verantwoordelijkheid en eigen inbreng.
• Werken aan verschillende businessdomeinen en concrete dataproducten.
• Een omgeving waarin data engineering, cloud technologie en analytics samenkomen.