Senior Data Engineer – Open Source Data Platform Pilot

1UP Talent; Utrecht; On-site; EUR 85,000 - 110,000; Full time

Job summary

1UP Talent zoekt een Senior Data Engineer voor een pilot die een open source, Kubernetes-gebaseerd dataplatorm onderzoekt als vervanging voor huidige analyse- en rapportageomgevingen. Je bouwt casussen en leidt ontwikkelaars uit diverse teams op zodat zij zelfstandig productief worden.

Je vertaalt huidige functionaliteit naar de nieuwe stack, bewaakt doorlooptijden en levert reproduceerbare resultaten op. Ervaring met data pipelines en beveiliging is vereist.

Qualifications

• Minimaal 5 jaar aantoonbare werkervaring met SQL en Python.
• Minimaal 3 jaar aantoonbare werkervaring met CI/CD, versiebeheer en configuratie als code.
• Minimaal 10 jaar aantoonbare werkervaring in de IT.
• Minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen.

Responsibilities

• Inrichten en uitwerken van pilotcasussen op een open source dataplatform met componenten zoals NiFi, Spark, Trino, Iceberg, dbt, Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande databronnen.
• Vertalen van huidige functionaliteit uit de analyse- en rapportageomgeving naar de nieuwe stack en vastleggen van verschillen en beperkingen.
• Bewaken van het tempo en opleveren van casussen binnen afgesproken doorlooptijden met reproduceerbare resultaten.
• Vastleggen van bevindingen per casus als input voor vervolgbesluitvorming.

Skills

SQL

Python

Analytisch

Resultaatgericht

Education

HBO/WO diploma

Tools

Apache NiFi

Apache Spark

Trino

Apache Iceberg

dbt

Apache Airflow

Superset

OpenMetadata

OPA

Kubernetes

Job description

1UP Talent zoekt een Senior Data Engineer voor een pilot die een open source, Kubernetes-gebaseerd dataplatorm onderzoekt als vervanging voor huidige analyse- en rapportageomgevingen. Je bouwt casussen en leidt ontwikkelaars uit diverse teams op zodat zij zelfstandig productief worden.

Je vertaalt huidige functionaliteit naar de nieuwe stack, bewaakt doorlooptijden en levert reproduceerbare resultaten op. Ervaring met data pipelines en beveiliging is vereist.