Senior Data Engineer - NVWA

Opdracht Overheid; Utrecht; On-site; EUR 70,000 - 110,000; Full time

Job summary

NVWA zoekt een Senior Data Engineer voor een pilot met een open source dataplatform dat de huidige analyse- en rapportageomgeving kan vervangen. Je bouwt de casussen zelf en zorgt dat ontwikkelaars uit diverse teams mee kunnen bouwen, onder toezicht van NVWA en binnen het pilotkader.

De rol vraagt senior niveau, ervaring met moderne dataplatformen en een proactieve houding in kennisdeling. Voorafgaande ervaring met exact deze componenten is geen vereiste; focus ligt op leervermogen en

Qualifications

• Senior data engineer met aantoonbare ervaring met open source dataplatformen en data-architectuur.
• In staat om pilots te leiden en touwenwerk tussen teams te organiseren.
• Affiniteit met open source en leveranciersonafhankelijke oplossingen.

Responsibilities

• Inrichten en uitwerken van de pilotcasussen op het open source dataplatform, met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen.
• Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack, en het vastleggen van verschillen en beperkingen.
• Bewaken van het tempo: casussen worden binnen de afgesproken doorlooptijd afgerond en opgeleverd met reproduceerbare resultaten.

Skills

Senior data engineer

Tools

Apache NiFi

Apache Spark

Trino

Apache Iceberg

dbt

Apache Airflow

Superset

OpenMetadata

OPA op Kubernetes

Job description

Voor de Nederlandse Voedsel- en Warenautoriteit (NVWA) zoeken we een Senior Data Engineer voor een pilot waarin wordt onderzocht of een open source dataplatform de huidige analyse- en rapportageomgeving kan vervangen. De pilot wordt uitgevoerd aan de hand van een vooraf vastgesteld aantal casussen, die samen de keten van bronontsluiting tot en met ontsluiting naar de business afdekken. De Senior Data Engineer is de inhoudelijke motor van de pilot: je bouwt de casussen daadwerkelijk en zorgt dat de betrokken ontwikkelaars uit de verschillende teams in staat zijn om zelf mee te bouwen. De werkzaamheden worden uitgevoerd onder aanwijzing en toezicht van de NVWA, binnen de kaders van het pilotplan en in afstemming met de projectleider.

Hoofdverantwoordelijkheden & Realisatie casussen

• Inrichten en uitwerken van de pilotcasussen op het open source dataplatform, met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen.
• Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack, en het vastleggen van verschillen en beperkingen.
• Bewaken van het tempo: casussen worden binnen de afgesproken doorlooptijd afgerond en opgeleverd met reproduceerbare resultaten.

Samenwerking en kennisoverdracht

Meenemen van ontwikkelaars uit de verschillende teams volgens het principe 'voordoen > samendoen > zelf doen'; de kennis blijft na afloop binnen de NVWA.

Faciliteren in plaats van sturen

ruimte laten aan de teams, maar wel voortgang houden op de afgesproken mijlpalen.

Onderbouwing en oplevering

Vastleggen van de bevindingen per casus (functionaliteit, performance, beheerlast, beveiliging, kosten) als input voor de vervolgbesluitvorming.

Opleveren van herbruikbare bouwblokken, configuratie als code en documentatie.

Signaleren van risico's en knelpunten richting de projectleider, tijdig en onderbouwd.

We zoeken in de eerste plaats een ervaren, senior data engineer. Voorafgaande ervaring met exact deze open source componenten is geen vereiste. Van de professional wordt wel verwacht dat hij/zij zich op basis van vergelijkbare ervaring met moderne dataplatformen (bijvoorbeeld Databricks, Microsoft Fabric of een eigen Spark-omgeving) de stack binnen korte tijd eigen maakt en zelfstandig productief is. Affiniteit met open source en met leveranciersonafhankelijke oplossingen is een pre.

Achtergrond opdracht

De NVWA werkt aan de vernieuwing van haar datafundament. Onderzocht wordt of een open source, Kubernetes-gebaseerd dataplatform de huidige analyse- en rapportageomgeving functioneel en beheersmatig kan vervangen. Aanleiding zijn de gewenste leveranciersonafhankelijkheid, digitale autonomie en beheersbaarheid van kosten en licenties. De pilot loopt via een reeks representatieve casussen en wordt uitgevoerd samen met de datateams en DICTU. De uitkomst vormt input voor de besluitvorming over het toekomstige dataplatform van de NVWA. Om de casussen binnen de looptijd van de pilot te kunnen realiseren en de betrokken teams daarin mee te nemen, is aanvullende engineeringcapaciteit op senior niveau nodig.