Senior Data Engineer: Azure Data Platform & Public Data

KBenP; Holland, Northern (MI, KY); Hybrid; USD 96,000 - 103,000; Full time

Job summary

Het Ministerie van Sociale Zaken en Werkgelegenheid zoekt een Senior Data Engineer om publieke databronnen centraal te ontsluiten en te verrijken binnen het Cloud Data Platform. Je bouwt en onderhoudt data-ingestie- en transformatiepipelines met Azure/Databricks, bewaakt kwaliteit en zorgt voor herbruikbare datasets voor analyses en dashboards.

De rol vraagt minimaal 5 jaar ervaring, ervaring met Azure Data Platform-componenten zoals Databricks, Data Factory en Delta Lake, en vermogen om nauw

Qualifications

• WO werk- en denkniveau.
• Minimaal 5 jaar werkervaring als Data Engineer of vergelijkbare rol.
• Kennis van data-engineering in Microsoft Azure en ervaring met API's of open databronnen.

Responsibilities

• Ontwerpen en realiseren van robuuste data-ingestie- en transformatiepipelines op het Cloud Data Platform.
• Opschonen, transformeren en verrijken van publieke databronnen voor intern hergebruik.
• Inrichten van herhaalbare pipelines in Azure/Databricks met logging, monitoring en foutafhandeling.
• Afstemmen met DACC, data-afnemers en platformteams over data-modellering en metadata.
• Bijdragen aan kwaliteits- en beheerrichtlijnen voor data en databronnen.

Skills

Azure Data Platform

Data pipelines

Python

SQL

Delta Lake

Spark

Azure Databricks

Data governance

Education

WO werk- en denkniveau

Tools

Azure Storage

Azure Data Factory

Job description

Het Ministerie van Sociale Zaken en Werkgelegenheid zoekt een Senior Data Engineer om publieke databronnen centraal te ontsluiten en te verrijken binnen het Cloud Data Platform. Je bouwt en onderhoudt data-ingestie- en transformatiepipelines met Azure/Databricks, bewaakt kwaliteit en zorgt voor herbruikbare datasets voor analyses en dashboards.

De rol vraagt minimaal 5 jaar ervaring, ervaring met Azure Data Platform-componenten zoals Databricks, Data Factory en Delta Lake, en vermogen om nauw