Data Engineer

Atos; Brussel Hoofdstad; Sur place; EUR 70 000 - 90 000; Plein temps

Résumé du poste

Atos zoekt een ervaren Data Engineer / Data Platform Engineer die sterk is in Microsoft Fabric, Azure en Python. Je werkt aan een metadata-gedreven dataplatform en speelt een sleutelrol in de verdere ontwikkeling en het beheer.

Je ontwerpt en bouwt een Medallion Architecture, ETL/ELT-processen en datasets voor analytics en rapportage. Je werkt samen met data engineers, platform engineers en business stakeholders om schaalbare oplossingen te leveren.

Qualifications

• Minimaal 4 jaar relevante werkervaring als Data Engineer / Data Platform Engineer.
• Goede kennis van Microsoft Azure en Azure data-oplossingen.
• Sterke programmeervaardigheden in Python.
• Ervaring met Medallion Architecture (Bronze, Silver, Gold).
• Ervaring met ETL/ELT en metadata-gedreven dataverwerking.

Responsabilités

• Ontwerpen, ontwikkelen, testen, documenteren en beheren van metadata-gedreven Medallion Architecture binnen Microsoft Fabric.
• Ontwikkelen van generieke en herbruikbare ETL/ELT-processen voor data uit circa 11 bronsystemen.
• Realiseren van metadata-gestuurde imports van brondata.
• Verwerken van data vanuit de Bronze-laag naar de Silver-laag, inclusief validatie en monitoring.
• Ontwikkelen van de Gold-laag en datamodellen voor diverse businessdomeinen.
• Beschikbaar maken van datasets en dataproducten voor eindgebruikers.

Connaissances

Python

Microsoft Fabric

Azure

Description du poste

Voor onze opdrachtgever zijn we op zoek naar een ervaren Data Engineer / Data Platform Engineer met sterke kennis van Microsoft Fabric, Azure en Python. Je speelt een belangrijke rol in de verdere ontwikkeling en het beheer van een modern, metadata-gedreven dataplatform.

Als Data Engineer werk je aan een Medallion Architecture binnen Microsoft Fabric, waarbij data vanuit verschillende bronsystemen op een gestandaardiseerde en schaalbare manier wordt verwerkt naar betrouwbare datasets en dataproducten voor analytics, rapportages en andere toepassingen.

Jouw verantwoordelijkheden

• Ontwerpen, ontwikkelen, testen, documenteren en beheren van een metadata-gedreven Medallion Architecture binnen Microsoft Fabric.
• Ontwikkelen van generieke en herbruikbare ETL/ELT-processen voor data uit circa 11 verschillende bronsystemen.
• Realiseren van metadata-gestuurde imports van brondata.
• Verwerken van data vanuit de Bronze-laag naar de Silver-laag, inclusief:
• Validatie en monitoring;
• Foutafhandeling en logging.
• Ontwikkelen van de Gold-laag, onder andere met:
• Feitentabellen en dimensietabellen;
• Datamodellen voor verschillende businessdomeinen.
• Beschikbaar maken van datasets en dataproducten voor eindgebruikers, analytics en rapportagedoeleinden.
• Ontwikkelen van een onderhoudsapplicatie waarmee procesmetadata beheerd en onderhouden kan worden.
• Bijdragen aan de verdere standaardisatie, schaalbaarheid, betrouwbaarheid en performance van het dataplatform.
• Samenwerken met data engineers, platform engineers, data professionals en business stakeholders.
• Documenteren van technische oplossingen, datastromen en processen.

Je bent een ervaren Data Engineer die zich prettig voelt in een moderne cloud dataomgeving en ervaring heeft met het ontwerpen en realiseren van schaalbare dataplatformen.

• Minimaal 4 jaar relevante werkervaring als Data Engineer / Data Platform Engineer.
• Goede kennis van Microsoft Azure en Azure data-oplossingen.
• Sterke programmeervaardigheden in Python.
• Ervaring met het ontwerpen en implementeren van een Medallion Architecture (Bronze, Silver, Gold).
• Ervaring met ETL/ELT en metadata-gedreven dataverwerking.
• Kennis van Data Quality, validatie en datamonitoring.
• Ervaring met dimensionele datamodellering en SCD Type 2.
• Ervaring met het ontwikkelen van datasets en dataproducten voor eindgebruikers.
• Je bent analytisch sterk en kunt complexe datavraagstukken vertalen naar robuuste technische oplossingen.
• Ervaring met Materialized Lake Views.
• Ervaring met het ontwikkelen van metadata- of configuratiegedreven frameworks.
• Ervaring met meerdere bronsystemen en heterogene datastromen.
• Ervaring met data governance, lineage en data cataloguing.
• Ervaring binnen grote enterprise-omgevingen.

Wat je kunt verwachten

• Een uitdagende rol binnen een moderne Microsoft Fabric / Azure dataomgeving.
• De mogelijkheid om mee te bouwen aan een schaalbaar en toekomstbestendig dataplatform.
• Veel ruimte voor technische verantwoordelijkheid en eigen inbreng.
• Werken aan verschillende businessdomeinen en concrete dataproducten.
• Een omgeving waarin data engineering, cloud technologie en analytics samenkomen.