Senior Azure Data Engineer – Databricks, PySpark & AI

Zyfer; Den Haag; On-site; EUR 70,000 - 90,000; Full time

Job summary

Het Datalab van het Ministerie van VWS in Den Haag zoekt een ervaren data engineer. Je bouwt en onderhoudt ETL/ELT-processen met Python en PySpark en zorgt voor robuuste semantische modellen, zodat data van bron tot productielaag klopt.

Je werkt aan migraties en ontsluit bronnen via API's binnen een Azure Databricks-omgeving. Je bent verantwoordelijk voor het onderhoud van het Azure dataplatform samen met de beheerpartij en fungeert als het aanspreekpunt.

Qualifications

• Minimaal HBO werk- en denkniveau met aantoonbare relevante ervaring.
• Drie jaar ervaring als data engineer op Microsoft Azure.
• Aantoonbare kennis van Databricks, Python en PySpark.
• Ervaring met datamodellering, ETL/ELT en pipelines.
• Kennis van API-integraties en Azure dataplatformen.
• Ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform).
• Competenties in werken in Agile teams en CI/CD-praktijken.
• Ervaring met platformmigraties en semantische modellen is een plus.

Responsibilities

• Ontwerp en implementeer ETL/ELT-processen van bronsysteem naar productielaag met Python en PySpark.
• Ontwerp en onderhoud centrale semantische modellen zodat definities kloppen.
• Onderhoud Azure dataplatform samen met de beheerpartij en fungeer als aanspreekpunt.
• Zorg dat de Datalab-omgeving stabiel en operationeel blijft.
• Draag bij aan migratie naar een vernieuwd platform en ontsluit bronsystemen via API's.
• Werk mee aan doorontwikkeling en verken AI-toepassingen om werklast te verlagen.

Skills

Python

PySpark

Databricks

ETL/ELT

Azure

APIs

CI/CD

Terraform

Data modeling

Power BI

Education

HBO werk- en denkniveau

Tools

Azure Databricks

Delta Lake

Unity Catalog

Azure Data Factory

Azure Storage / ADLS

Job description

Het Datalab van het Ministerie van VWS in Den Haag zoekt een ervaren data engineer. Je bouwt en onderhoudt ETL/ELT-processen met Python en PySpark en zorgt voor robuuste semantische modellen, zodat data van bron tot productielaag klopt.

Je werkt aan migraties en ontsluit bronnen via API's binnen een Azure Databricks-omgeving. Je bent verantwoordelijk voor het onderhoud van het Azure dataplatform samen met de beheerpartij en fungeert als het aanspreekpunt.