Senior Data Engineer – NVWA

1UP Talent; Utrecht; On-site; EUR 85,000 - 110,000; Full time

Job summary

1UP Talent zoekt een Senior Data Engineer voor een pilot die een open source, Kubernetes-gebaseerd dataplatorm onderzoekt als vervanging voor huidige analyse- en rapportageomgevingen. Je bouwt casussen en leidt ontwikkelaars uit diverse teams op zodat zij zelfstandig productief worden.

Je vertaalt huidige functionaliteit naar de nieuwe stack, bewaakt doorlooptijden en levert reproduceerbare resultaten op. Ervaring met data pipelines en beveiliging is vereist.

Qualifications

• Minimaal 5 jaar aantoonbare werkervaring met SQL en Python.
• Minimaal 3 jaar aantoonbare werkervaring met CI/CD, versiebeheer en configuratie als code.
• Minimaal 10 jaar aantoonbare werkervaring in de IT.
• Minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen.

Responsibilities

• Inrichten en uitwerken van pilotcasussen op een open source dataplatform met componenten zoals NiFi, Spark, Trino, Iceberg, dbt, Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande databronnen.
• Vertalen van huidige functionaliteit uit de analyse- en rapportageomgeving naar de nieuwe stack en vastleggen van verschillen en beperkingen.
• Bewaken van het tempo en opleveren van casussen binnen afgesproken doorlooptijden met reproduceerbare resultaten.
• Vastleggen van bevindingen per casus als input voor vervolgbesluitvorming.

Skills

SQL

Python

Analytisch

Resultaatgericht

Education

HBO/WO diploma

Tools

Apache NiFi

Apache Spark

Trino

Apache Iceberg

dbt

Apache Airflow

Superset

OpenMetadata

OPA

Kubernetes

Job description

Functieomschrijving

Wij zoeken een Senior Data Engineer voor een pilot waarin wordt onderzocht of een open source, Kubernetes-gebaseerd dataplatform de huidige analyse- en rapportageomgeving kan vervangen. De pilot omvat een vastgesteld aantal casussen die de keten van bronontsluiting tot en met ontsluiting naar de business dekken. Als Senior Data Engineer bouw je de casussen daadwerkelijk en maak je betrokken ontwikkelaars uit verschillende teams zelfstandig productief. Werkzaamheden vinden plaats binnen de kaders van het pilotplan en in afstemming met de projectleider.

Hoofdverantwoordelijkheden & realisatie casussen

• Inrichten en uitwerken van pilotcasussen op een open source dataplatform met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande databronnen.
• Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack en vastleggen van verschillen en beperkingen.
• Bewaken van het tempo: casussen binnen afgesproken doorlooptijd opleveren met reproduceerbare resultaten.

Samenwerking en kennisoverdracht

• Ontwikkelaars uit verschillende teams meenemen volgens het principe ‘voordoen > samendoen > zelf doen’ zodat kennis binnen de organisatie blijft.
• Faciliteren in plaats van sturen: ruimte laten aan teams, maar voortgang houden op afgesproken mijlpalen.

Onderbouwing en oplevering

• Vastleggen van bevindingen per casus (functionaliteit, performance, beheerlast, beveiliging, kosten) als input voor vervolgbesluitvorming.
• Opleveren van herbruikbare bouwblokken, configuratie als code en documentatie.
• Signaleren van risico’s en knelpunten richting de projectleiding, tijdig en onderbouwd.

Profiel

Eisen

• Afgeronde HBO- of WO-opleiding.
• Minimaal 5 jaar aantoonbare werkervaring met SQL en Python.
• Minimaal 3 jaar aantoonbare werkervaring met CI/CD, versiebeheer en configuratie als code.
• Minimaal 10 jaar aantoonbare werkervaring in de IT.
• Minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen.

Wensen

• Minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform zoals Spark/PySpark, Databricks, Fabric of gelijkwaardig.
• Aantoonbare ervaring met inrichting van security, rechten en toegangsbeheer in dataomgevingen.
• Aantoonbare ervaring met migratie of vervanging van een bestaand dataplatform en het overzetten van functionaliteit.
• Aantoonbare ervaring met het bouwen van dataplatformen en datapijplijnen op schaal en het snel eigen maken van een nieuwe (open source) stack.
• Aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen.
• Ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijk gevoelige omgeving is een pre.
• Passende aansluiting op de opdracht en organisatie.

Competenties

• Objectief & pragmatisch
• Politiek-bestuurlijke sensitiviteit
• Verbindend vermogen & didactisch
• Resultaatgericht & passie

Eisen

• Kandidaat heeft minimaal een afgeronde HBO opleiding of WO opleiding
• Kandidaat heeft minimaal 5 jaar aantoonbaar werkervaring met SQL en Python
• Kandidaat heeft minimaal 3 jaar aantoonbare werkervaring met CI/ CD, versiebeheer en configuratie als code
• Kandidaat heeft minimaal 10 jaar aantoonbare werkervaring in de IT
• Kandidaat heeft minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen

Gunningscriteria

• Kandidaat heeft minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform zoals spark/pyspark, databricks, fabric of gelijkwaardig
• Kandidaat heeft aantoonbaar ervaring met dataomgevingen, inclusief inrichting van security, rechten en toegangsbeheer
• Kandidaat heeft aantoonbaar ervaring met de migratie of vervanging van een bestaand dataplatform, inclusief het aantoonbaar overzetten van functionaliteit
• Kandidaat heeft aantoonbare werkervaring met het bouwen van dataplatformen en datapijplijnen op schaal, en aantoonbaar vermogen om zich een nieuwe (open source (o.a. Spark, Trino, dbt, Airflow, NiFi)) stack snel eigen te maken
• Kandidaat heeft aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen
• Kandidaat heeft aantoonbaar ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijke gevoelige omgeving
• Kandidaat begrijpt de opdracht en past bij de organisatie

Competenties

• Objectief
• Pragmatisch
• Politiek bestuurlijke sensitiviteit
• Verbindend vermogen
• Didactisch
• Resultaatgericht
• Passie