Senior Data Engineer NVWA

OverheidZZP; Utrecht; On-site; EUR 70,000 - 110,000; Full time

Job summary

NVWA zoekt een ervaren data engineer voor het bouwen van pilotcasussen op een open source datap platform. Je realiseert data-ingestie en transformatie, en brengt teams mee in de nieuwe stack op Kubernetes.

Je werkt aan migraties van bestaande analyses naar de nieuwe omgeving, documenteert bevindingen, en levert herbruikbare bouwblokken op met duidelijke risico-inschatting.

Qualifications

• Minimaal 10 jaar aantoonbare IT-ervaring
• Minimaal 5 jaar ervaring als data engineer en met bouwen/beheer van datapijplijnen
• Minimaal 3 jaar ervaring met gedistribueerde data verwerking op moderne platforms (Spark/PySpark, Databricks, Fabric)
• Minimaal 3 jaar ervaring met SQL en/of Python
• Minimaal 3 jaar ervaring met CI/CD, versiebeheer en infrastructure as code
• Aantoonbare ervaring met open source en leveranciersonafhankelijke oplossingen

Responsibilities

• Inrichten en uitwerken van pilotcasussen op een open source datap platform inclusief Kubernetes-componenten
• Bouwen van data-ingestie, transformatie en ontsluiting op NVWA-databronnen
• Vertalen huidige functionaliteit naar de nieuwe stack en vastleggen van verschillen en beperkingen
• Bewaken van tempo en opleveren met reproduceerbare resultaten

Skills

SQL

Python

CI/CD

Open source

Education

HBO-opleiding

Tools

Apache Spark

PySpark

Databricks

Trino

dbt

Apache Airflow

NiFi

Iceberg

OpenMetadata

Job description

Over de functie

In het kort: Je gaat als senior data engineer pilotcasussen bouwen op een open source dataplatform, data-ingestie en -transformatie realiseren, teams meenemen in de nieuwe stack en bevindingen en herbruikbare bouwblokken documenteren.

Opdrachtomschrijving

Onderzocht of een open source dataplatform de huidige analyse- en rapportageomgeving kan vervangen. De pilot wordt uitgevoerd aan de hand van een vooraf vastgesteld aantal casussen, die samen de keten van bronontsluiting tot en met ontsluiting naar de business afdekken.

Hoofdverantwoordelijkheden & Realisatie Casussen

• Inrichten en uitwerken van de pilotcasussen op het open source dataplatform, met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen.
• Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack, en het vastleggen van verschillen en beperkingen.
• Bewaken van het tempo: casussen worden binnen de afgesproken doorlooptijd afgerond en opgeleverd met reproduceerbare resultaten.

Samenwerking En Kennisoverdracht

• Meenemen van ontwikkelaars uit de verschillende teams volgens het principe ‘voordoen > samendoen > zelf doen’; de kennis blijft na afloop binnen de NVWA.
• Faciliteren in plaats van sturen: ruimte laten aan de teams, maar wel voortgang houden op de afgesproken mijlpalen.

Onderbouwing En Oplevering

• Vastleggen van de bevindingen per casus (functionaliteit, performance, beheerlast, beveiliging, kosten) als input voor de vervolgbesluitvorming.
• Opleveren van herbruikbare bouwblokken, configuratie als code en documentatie.
• Signaleren van risico’s en knelpunten richting de projectleider, tijdig en onderbouwd.

Achtergrond

De NVWA werkt aan de vernieuwing van haar datafundament. Onderzocht wordt of een open source, Kubernetes-gebaseerd dataplatform de huidige analyse- en rapportageomgeving functioneel en beheersmatig kan vervangen. Aanleiding zijn de gewenste leveranciersonafhankelijkheid, digitale autonomie en beheersbaarheid van kosten en licenties.

De pilot loopt via een reeks representatieve casussen en wordt uitgevoerd samen met de datateams en DICTU. De uitkomst vormt input voor de besluitvorming over het toekomstige dataplatform van de NVWA. Om de casussen binnen de looptijd van de pilot te kunnen realiseren en de betrokken teams daarin mee te nemen, is aanvullende engineeringcapaciteit op senior niveau nodig.

Eisen

• Dienstverband: Detachering
• Opmaak cv: in het Nederlands, in Word en maximaal 5 pagina’s.
• Kandidaat heeft minimaal 10 jaar aantoonbare werkervaring in de IT minimaal 10 jaar
• Kandidaat heeft minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen minimaal 5 jaar
• Kandidaat heeft minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform, zoals spark/pyspark, databricks, fabric of gelijkwaardig minimaal 3 jaar
• Kandidaat heeft minimaal 3 jaar aantoonbaar werkervaring met SQL en/of Python minimaal 3 jaar
• Kandidaat heeft minimaal 3 jaar aantoonbare werkervaring met CI/ CD, versiebeheer en configuratie als code minimaal 3 jaar
• Kandidaat heeft aantoonbaar werkervaring met open source en met leveranciersonafhankelijke oplossingen

Wensen

• Een afgeronde HBO opleiding
• Kandidaat heeft aantoonbare werkervaring met het bouwen van dataplatformen en datapijplijnen op schaal, en aantoonbaar vermogen om zich een nieuwe (open source (o.a. Spark, Trino, dbt, Airflow, NiFi)) stack snel eigen te maken
• Kandidaat heeft aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen
• Kandidaat heeft aantoonbaar ervaring met de migratie of vervanging van een bestaand dataplatform, inclusief het aantoonbaar overzetten van functionaliteit – Weging: 10%
• Kandidaat heeft aantoonbaar ervaring met dataomgevingen, inclusief inrichting van security, rechten en toegangsbeheer
• Kandidaat heeft aantoonbaar ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijk gevoelige omgeving
• Kandidaat begrijpt de opdracht en past bij de organisatie

Competenties

• Objectief & Pragmatisch
• Politiek bestuurlijke sensitiviteit
• Resultaatgericht & passie
• Verbindend vermogen & didactisch

Overige informatie

Optie tot verlenging: Ja, verlenging mogelijk

Gespreksdatum: zo spoedig mogelijk

Dienstverband: Detachering

Over de opdrachtgever

De Nederlandse Voedsel- en Warenautoriteit (NVWA) is een Nederlandse overheidsorganisatie die verantwoordelijk is voor de voedselveiligheid, diergezondheid en het dierenwelzijn. De NVWA houdt toezicht op de naleving van wet- en regelgeving binnen de voedsel- en warensector om de gezondheid en veiligheid van consumenten te waarborgen. Hierbij worden inspecties uitgevoerd en worden er maatregelen genomen om risico's voor de volksgezondheid te voorkomen. De NVWA voert controles uit op onder andere voedingsmiddelen, diervoeders, gewasbeschermingsmiddelen, en producten van dierlijke oorsprong om ervoor te zorgen dat deze voldoen aan de wettelijke eisen en normen.

De sluitingsdatum van deze opdracht is de harde deadline van onze opdrachtgever.