Data Platform Engineer (Medallion) — Azure & Fabric

Atos; Brussel Hoofdstad; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

Atos zoekt een ervaren Data Engineer / Data Platform Engineer die een metadata-gedreven dataplatform bouwt met Microsoft Fabric, Azure en Python. Je werkt binnen een Medallion Architecture-project om data uit diverse bronsystemen te normaliseren naar betrouwbare datasets en dataproducten voor analytics.

Je ontwerpt en implementeert ETL/ELT-processen, voert data quality en SCD Type 2 controles uit, en ontwikkelt de Gold-laag inclusief dimensional models en materialized lake views.

Qualifications

• Minimaal 4 jaar relevante werkervaring als Data Engineer / Data Platform Engineer
• Aantoonbare ervaring met Microsoft Fabric
• Goede kennis van Microsoft Azure en Azure data-oplossingen
• Sterke programmeervaardigheden in Python
• Ervaring met het ontwerpen en implementeren van een Medallion Architecture (Bronze, Silver, Gold)
• Ervaring met ETL/ELT en metadata-gedreven dataverwerking
• Kennis van Data Quality, validatie en datamonitoring
• Ervaring met dimensionele datamodellering en SCD Type 2
• Ervaring met het ontwikkelen van datasets en dataproducten voor eindgebruikers
• Analytisch sterk en kunt complexe datavraagstukken vertalen naar robuuste technische oplossingen

Responsabilités

• Ontwerpen, ontwikkelen, testen, documenteren en beheren van een metadata-gedreven Medallion Architecture binnen Microsoft Fabric
• Ontwikkelen van generieke en herbruikbare ETL/ELT-processen voor data uit circa 11 verschillende bronsystemen
• Realiseren van metadata-gestuurde imports van brondata
• Verwerken van data vanuit de Bronze-laag naar de Silver-laag, inclusief Data Quality-controles
• Validatie en monitoring; SCD Type 2 historisering; foutafhandeling en logging
• Ontwikkelen van de Gold-laag met Materialized Lake Views en dimensionele datamodellen
• Beschikbaar maken van datasets en dataproducten voor eindgebruikers en analytics
• Ontwikkelen van een onderhoudsapplicatie waarmee procesmetadata beheerd en onderhouden kan worden
• Bijdragen aan standaardisatie, schaalbaarheid, betrouwbaarheid en performance van het dataplatform
• Samenwerken met data engineers, platform engineers, data professionals en business stakeholders
• Documenteren van technische oplossingen, datastromen en processen

Connaissances

Microsoft Fabric

Microsoft Azure

Python

ETL/ELT

Medallion Architecture

Data Quality

SCD Type 2

Data Modeling

Description du poste

Atos zoekt een ervaren Data Engineer / Data Platform Engineer die een metadata-gedreven dataplatform bouwt met Microsoft Fabric, Azure en Python. Je werkt binnen een Medallion Architecture-project om data uit diverse bronsystemen te normaliseren naar betrouwbare datasets en dataproducten voor analytics.

Je ontwerpt en implementeert ETL/ELT-processen, voert data quality en SCD Type 2 controles uit, en ontwikkelt de Gold-laag inclusief dimensional models en materialized lake views.