Platform-Driven Data Ingestion Engineer

KBenP; Utrecht; On-site; EUR 70,000 - 95,000; Full time

Job summary

NS zoekt een Data Ingestion Engineer die het data-ingestieplatform verder bouwt en beheert. Je ontwikkelt Python-gebaseerde kernservices en zorgt voor validatie en metadata-management om data als een betrouwbaar product aan te bieden.

Je werkt aan brons- en zilverlagen in Databricks, maakt opslag met PostgreSQL efficiënt en gebruikt Azure Container Apps voor pipelines. Je fungeert als brug tussen software- en data engineering.

Qualifications

• Ervaring met Python en data-ingestie.
• Kennis van API-ontwerp en -integratie.
• Ervaring met Databricks en data-architectuur.
• Ervaring met relationele databases zoals PostgreSQL.

Responsibilities

• Ontwikkel met Python kernservices voor het data-ingestieplatform.
• Implementeer validatie, versiebeheer en metadata-management.
• Zorg voor een betrouwbare brons- en zilverlaag in Databricks.
• Werk met RDBMS (PostgreSQL) voor opslag van dataconfiguraties.
• Gebruik containers (Azure Container Apps) om pipelines te draaien.
• Ontwerp en bouw API's.

Skills

Python

Data ingestion

APIs

Cloud containers

Tools

Databricks

PostgreSQL

Azure Container Apps

Job description

NS zoekt een Data Ingestion Engineer die het data-ingestieplatform verder bouwt en beheert. Je ontwikkelt Python-gebaseerde kernservices en zorgt voor validatie en metadata-management om data als een betrouwbaar product aan te bieden.

Je werkt aan brons- en zilverlagen in Databricks, maakt opslag met PostgreSQL efficiënt en gebruikt Azure Container Apps voor pipelines. Je fungeert als brug tussen software- en data engineering.