Data Ingestion Engineer

KBenP; Utrecht; On-site; EUR 70,000 - 95,000; Full time

Job summary

NS zoekt een Data Ingestion Engineer die het data-ingestieplatform verder bouwt en beheert. Je ontwikkelt Python-gebaseerde kernservices en zorgt voor validatie en metadata-management om data als een betrouwbaar product aan te bieden.

Je werkt aan brons- en zilverlagen in Databricks, maakt opslag met PostgreSQL efficiënt en gebruikt Azure Container Apps voor pipelines. Je fungeert als brug tussen software- en data engineering.

Qualifications

• Ervaring met Python en data-ingestie.
• Kennis van API-ontwerp en -integratie.
• Ervaring met Databricks en data-architectuur.
• Ervaring met relationele databases zoals PostgreSQL.

Responsibilities

• Ontwikkel met Python kernservices voor het data-ingestieplatform.
• Implementeer validatie, versiebeheer en metadata-management.
• Zorg voor een betrouwbare brons- en zilverlaag in Databricks.
• Werk met RDBMS (PostgreSQL) voor opslag van dataconfiguraties.
• Gebruik containers (Azure Container Apps) om pipelines te draaien.
• Ontwerp en bouw API's.

Skills

Python

Data ingestion

APIs

Cloud containers

Tools

Databricks

PostgreSQL

Azure Container Apps

Job description

Een van de strategische speerpunten van NS is om meer datagedreven te werken. De afdeling Data Innovatie & Analyse (DIA) speelt hierin een cruciale rol. Door datagedreven te werken, kunnen we repeterende processen verder automatiseren, beslissingen beter onderbouwen en voorspellingen doen voor de toekomst. Je maakt deel uit van team Lakehouse, één van de vijf platformteams binnen DIA. Wij bouwen een grootschalig data-ingestieplatform dat datateams maximaal faciliteert, zodat zij zich volledig kunnen richten op het maken van waardevolle data-, informatie en AI-producten.Als Data Ingestion Engineer ben je bij ons geen traditionele 'pijplijnbouwer'. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van ons platform. De focus ligt hierbij op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jou Python programmeer skills en ervaring met data-ingestie ben jij van onschatbare waarde bij het bouwen aan een solide, gestandaardiseerde 'achterkant' die data niet alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt.

Je houdt je dagelijks bezig met:

• Je ontwikkelt met Python de core services van het data-ingestieplatform. Dit omvat generieke componenten voor patronen, zoals API en FTP en het implementeren van data push-principes (bijv. endpoints voor bronnen);
• Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat we een betrouwbare 'brons en zilver layer' aanbieden in Databricks in plaats van enkel ruwe bestanden;
• Je werkt met RDBMS (bijv. Postgres) voor efficiënte opslag van dataconfiguraties;
• Je gebruikt containers (in Azure Container Apps) om pipelines in te draaien;
• Je ontwerpt en bouwt API's.