Data engineer migratie – Datalab VWS

Zyfer; Den Haag; On-site; EUR 70,000 - 90,000; Full time

Job summary

Het Datalab van het Ministerie van VWS in Den Haag zoekt een ervaren data engineer. Je bouwt en onderhoudt ETL/ELT-processen met Python en PySpark en zorgt voor robuuste semantische modellen, zodat data van bron tot productielaag klopt.

Je werkt aan migraties en ontsluit bronnen via API's binnen een Azure Databricks-omgeving. Je bent verantwoordelijk voor het onderhoud van het Azure dataplatform samen met de beheerpartij en fungeert als het aanspreekpunt.

Qualifications

• Minimaal HBO werk- en denkniveau met aantoonbare relevante ervaring.
• Drie jaar ervaring als data engineer op Microsoft Azure.
• Aantoonbare kennis van Databricks, Python en PySpark.
• Ervaring met datamodellering, ETL/ELT en pipelines.
• Kennis van API-integraties en Azure dataplatformen.
• Ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform).
• Competenties in werken in Agile teams en CI/CD-praktijken.
• Ervaring met platformmigraties en semantische modellen is een plus.

Responsibilities

• Ontwerp en implementeer ETL/ELT-processen van bronsysteem naar productielaag met Python en PySpark.
• Ontwerp en onderhoud centrale semantische modellen zodat definities kloppen.
• Onderhoud Azure dataplatform samen met de beheerpartij en fungeer als aanspreekpunt.
• Zorg dat de Datalab-omgeving stabiel en operationeel blijft.
• Draag bij aan migratie naar een vernieuwd platform en ontsluit bronsystemen via API's.
• Werk mee aan doorontwikkeling en verken AI-toepassingen om werklast te verlagen.

Skills

Python

PySpark

Databricks

ETL/ELT

Azure

APIs

CI/CD

Terraform

Data modeling

Power BI

Education

HBO werk- en denkniveau

Tools

Azure Databricks

Delta Lake

Unity Catalog

Azure Data Factory

Azure Storage / ADLS

Job description

Bij het Datalab van het Ministerie van VWS in Den Haag word jij de technische ruggengraat van het team voor de complexere datavraagstukken. Het Datalab is de omgeving waarin de directies van VWS hun data-initiatieven onderbrengen, gebouwd op Microsoft Azure met Databricks als centrale component. Je houdt de bestaande omgeving draaiend én je bouwt mee aan wat eraan komt: de migratie naar een vernieuwd platform en het via API's ontsluiten van bronsystemen. Jouw pipelines en semantische modellen zorgen ervoor dat data van bron tot productielaag klopt en dat er stabiele Power BI-rapportages op gebouwd kunnen worden.

Je werkt met Python en PySpark aan ETL/ELT-processen die data van bron tot productielaag in het data lake brengen. Daarnaast ontwerp en onderhoud je de centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten. Het Azure dataplatform onderhoud je samen met de beheerpartij van de cloudomgeving; jij bent daarvoor het aanspreekpunt.

Binnen het team ben jij degene bij wie collega's aankloppen voor de moeilijkste datatransformaties en schema-updates. Je denkt mee over de aanpak van de doorontwikkeling en nieuwe initiatieven, en je verkent actief hoe AI de werklast van de operationele teams kan verlagen. Kortom: je combineert stevig technisch werk met invloed op de richting van het platform.

• Je ontwerpt en implementeert ETL/ELT-processen die data van bron tot productielaag in het data lake brengen met Python en PySpark.
• Je ontwerpt en onderhoudt de centrale semantische modellen, zodat datastructuren en definities aansluiten en stabiele Power BI-rapportages mogelijk zijn.
• Je onderhoudt het Azure dataplatform samen met de beheerpartij van de cloudomgeving en bent daarvoor het aanspreekpunt.
• Je houdt de bestaande Datalab-omgeving stabiel en operationeel.
• Je draagt bij aan de migratie naar een vernieuwd platform.
• Je ontsluit bronsystemen via API's.
• Je bent binnen het team het aanspreekpunt voor de moeilijkste datatransformaties en schema-updates.
• Je denkt mee over de aanpak van de doorontwikkeling en nieuwe initiatieven.
• Je verkent actief hoe AI de werklast bij de operationele teams kan verlagen.

Dit breng je mee

• Je bent een ervaren data engineer op Microsoft Azure die zich thuis voelt in Databricks, Python en PySpark.
• Je vindt het leuk om de lastigste datatransformaties en schema-updates naar je toe te trekken en collega's daarin verder te helpen.
• Je kijkt verder dan je eigen pipeline: je denkt mee over doorontwikkeling, migratie en nieuwe initiatieven.
• Je bent nieuwsgierig naar wat AI kan betekenen voor het verlagen van operationele werklast en gaat daar actief mee aan de slag.
• Je schakelt makkelijk met een externe beheerpartij en bent een helder aanspreekpunt voor het platform.

Voorwaarden

• Loondienst of freelance: beide mogelijk.
• Kandidaat is minimaal 32 uur per week beschikbaar voor de duur van de opdracht
• Kandidaat beschikt over minimaal HBO werk- en denkniveau (kan worden aangetoond dmv een afgeronde HBO opleiding en/of aantoonbare werkervaring van minimaal 3 jaar op HBO niveau)
• Kandidaat beschikt over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure
• Kandidaat beschikt over aantoonbare kennis van en ervaring met Databricks, Python en PySpark
• Kandidaat beschikt over aantoonbare kennis van en ervaring met datamodellering, ETL-processen en het bouwen van pipelines
• + Mate waarin de kandidaat ervaring heeft met het werken in agile teams
• + Mate waarin de kandidaat kennis heeft van het Azure dataplatform (Databricks, Delta Lake, Unity Catalog, Azure Data Factory, ADLS) en ervaring heeft met platformmigraties
• + Mate waarin de kandidaat kennis heeft van datamodellering en semantische modellen, het opzetten van ETL/ELT-processen en het bouwen van pipelines met Python en PySpark, inclusief API-integraties
• + Mate waarin de kandidaat beschikt over relevante certificeringen vanuit de DP reeks en aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform)
• + Mate waarin kandidaat beschikt over de gevraagde competenties en vaardigheden (toetsbaar in CV, motivatie en/of mogelijk gesprek)

Looptijd 4 maanden

Contractvorm Freelance

Uren per week 36 uur per week

Standplaats / thuiswerken The Hague

Alleen kandidaten die aantoonbaar aan alle knock-outeisen voldoen worden in behandeling genomen.