Data Ingestion Engineer

NS; Utrecht; Hybrid; EUR 65,000 - 95,000; Full time

Benefits offered by this job

Hybride werken

Job summary

NS zoekt een Data Ingestion Engineer om een grootschalig data-ingestieplatform te bouwen en te beheren. Je werkt aan automatisering, kwaliteitsborging en brug tussen software- en data engineering voor een robuust productiewaardig los platform.

Je ontwikkelt core services in Python, beheert validatie en metadata, en werkt met Databricks, Azure en CI/CD-praktijken. Hybride werken in Utrecht met reizen binnen NL behoort tot de rol.

Qualifications

• Minimaal HBO werk- en denkniveau.
• 3 jaar ervaring in een soortgelijke rol.
• Ervaring met bouwen van robuuste, schaalbare Python-services.
• Ervaring met Azure (Function Apps, Container Apps, ADLS Gen2) en microservice-architecturen.
• Infrastructuur als Code-ervaring met Terraform of Bicep.
• Ervaring met Databricks of Snowflake en OTF.
• Uitstekende beheersing van het Nederlands, mondeling en schriftelijk.

Responsibilities

• Ontwikkel met Python de core services van het data-ingestieplatform.
• Implementeer validatie, versioning en metadata-management.
• Zorg voor opslag van data-configuraties en efficiënte data management.
• Werk met containers (Azure Container Apps) om pipelines te draaien.
• Ontwerp en bouw API's.

Skills

Python

Data ingestiе

API design

Teamwork

Education

HBO werk- en denkniveau

Tools

Azure

Databricks

Terraform

Bicep

Job description

Ben jij een Data Ingestion Engineer die graag innoverend bezig is en enthousiast wordt om samen met jouw team te bouwen aan een grootschalig data-ingestieplatform voor een datagedreven NS?

Dit ga je doen

Een van de strategische speerpunten van NS is om meer datagedreven te werken. De afdeling Data Innovatie & Analyse (DIA) speelt hierin een cruciale rol. Door datagedreven te werken, kunnen we repeterende processen verder automatiseren, beslissingen beter onderbouwen en voorspellingen doen voor de toekomst. Je maakt deel uit van team Lakehouse, één van de vijf platformteams binnen DIA. Wij bouwen een grootschalig data-ingestieplatform dat datateams maximaal faciliteert, zodat zij zich volledig kunnen richten op het maken van waardevolle data-, informatie en AI-producten.

Als Data Ingestion Engineer ben je bij ons geen traditionele 'pijplijnbouwer'. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van ons platform. De focus ligt hierbij op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jouw Python programmeerskills en ervaring met data-ingestie ben jij van onschatbare waarde bij het bouwen aan een solide, gestandaardiseerde 'achterkant' die data niet alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt. Je houdt je dagelijks bezig met:

• Je ontwikkelt met Python de core services van het data-ingestieplatform. Dit omvat generieke componenten voor patronen, zoals API en FTP en het implementeren van data push-principes (bijv. endpoints voor bronnen);
• Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat we een betrouwbare 'brons en zilver layer' aanbieden in Databricks in plaats van enkel ruwe bestanden;
• Je werkt met RDBMS (bijv. Postgres) voor efficiënte opslag van dataconfiguraties;
• Je gebruikt containers (in Azure Container Apps) om pipelines in te draaien;
• Je ontwerpt en bouwt API's.

Hier ga je werken

Je gaat werken in team Lakehouse. Dit is een autonoom scrumteam met zes Developers, een UX-designer, een Scrum Master en een Product Owner. We werken hybride, dus op ons hoofdkantoor in Utrecht of thuis. In principe hebben we één vaste kantoordag, maar je bent flexibel en vindt het geen probleem om vaker naar Utrecht of elders in het land te reizen. Samen willen we continu verbeteren, nemen we eigenaarschap en delen we actief kennis binnen en buiten het team. We zijn vooral benieuwd naar jouw visie op de functie van Data Ingestion Engineer.

Dit zijn de eisen

• Minimaal HBO werk- en denkniveau;
• Je hebt minimaal 3 jaar ervaring in een soortgelijke rol;
• Je hebt ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python;
• Je hebt werkervaring bij een soortgelijke organisatie als NS (minimaal 5000 plus werkplekken);
• Hands-on ervaring met Azure (Function Apps, Container Apps, ADLS Gen2) en schaalbare microservice-architecturen;
• Je hebt ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep;
• Ervaring met Databricks of Snowflake en je bent bekend met OTF;
• Je hebt een uitstekende beheersing (zowel mondeling als schriftelijk) van de Nederlandse taal;
• Je bent kritisch en doortastend, zodat je komt met verbetervoorstellen die je samen met je collega’s weet te realiseren;
• Je overziet het grotere geheel en lost problemen graag structureel op;
• Je bent een ambitieuze en collegiale teamspeler.