Data Ingestion Engineer

GreenPepper; Utrecht; On-site; EUR 75,000 - 110,000; Full time

Job summary

Nederlandse Spoorwegen zoekt een Data Ingestion Engineer die de brug slaat tussen software- en data-engineering. Je ontwikkelt Python-services, bouwt generieke API/FTP-componenten en zorgt voor betrouwbare data pipelines met valida- tie en metadata-management.

Je werkt met Databricks/PostgreSQL en draait pipelines in Azure Container Apps. Met minimaal een HBO-opleiding en 3 jaar ervaring lever je een cruciale bijdrage aan een schaalbaar data platform voor miljoenen datapoints, met focus op

Qualifications

• Minimaal HBO werk- en denkniveau.
• Minimaal 3 jaar ervaring in een vergelijkbare rol.
• Ervaring met robuuste, schaalbare en onderhoudbare Python-services.

Responsibilities

• Ontwikkelen van core services voor data-ingestieplatforms met Python.
• Implementeren van generieke componenten voor API en FTP opnamesystemen.
• Zorgen voor validatie, versioning en metadata-management voor betrouwbare data pipelines.
• Werken met RDBMS zoals PostgreSQL voor opslag van dataconfiguraties.
• Inzetten van pipelines in Azure Container Apps en ontwerpen van API's.

Skills

Python

Data ingesti"on

API design

Azure

Microservices

CI/CD

Education

HBO-diploma

Tools

Databricks

PostgreSQL

Terraform

Bicep

Azure Container Apps

Job description

Nederlandse Spoorwegen zoekt een Data Ingestion Engineer.

Dit ga je doen

Als Data Ingestion Engineer ben je geen traditionele 'pijplijnbouwer'. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van het platform. De focus ligt op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jouw Python programmeerskills en ervaring met data-ingestie draag je bij aan een solide, gestandaardiseerde achterzijde die data valideert en als betrouwbaar product aanbiedt.

• Je ontwikkelt met Python de core services van het data-ingestieplatform, inclusief generieke componenten voor patronen zoals API en FTP en het implementeren van data push-principes, bijvoorbeeld endpoints voor bronnen.
• Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat een betrouwbare bron- en zilverlaag wordt aangeboden in Databricks in plaats van enkel ruwe bestanden.
• Je werkt met RDBMS, bijvoorbeeld Postgres, voor efficiënte opslag van dataconfiguraties.
• Je gebruikt containers in Azure Container Apps om pipelines in te draaien.
• Je ontwerpt en bouwt API's.

Dit zijn de eisen

• Minimaal hbo werk- en denkniveau.
• Minimaal 3 jaar ervaring in een soortgelijke rol.
• Ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python.
• Werkervaring bij een soortgelijke organisatie als NS, met minimaal 5000+ werkplekken.
• Hands‑on ervaring met Azure, waaronder Function Apps, Container Apps en ADLS Gen2, en met schaalbare microservice‑architecturen.
• Ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep.
• Ervaring met Databricks of Snowflake en bekendheid met OTF.
• Uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk.
• Kritisch en doortastend, met het vermogen om verbeteringen te realiseren.
• Je overziet het grotere geheel en lost problemen graag structureel op.
• Ambitieuze en collegiale teamspeler.

Wensen

• Het is een pre als je ervaring met Databricks of Snowflake hebt en bekend bent met OTF.
• Bij voorkeur heb je werkervaring bij een soortgelijke organisatie als NS, met minimaal 5000+ werkplekken.