Data Ingestion Engineer

All About Work; Utrecht; On-site; EUR 65,000 - 90,000; Full time

Benefits offered by this job

Pensioenopbouw via StiPP

Snelle terugkoppeling

Geen relatie- of concurrentiebeding

Job summary

All About Work zoekt voor ns SRQ165957 een technisch sterke professional die software engineering en data engineering verbindt. Je werkt aan een grootschalig data-ingestieplatform en bouwt mee aan betrouwbare, schaalbare services in Python, Azure en Databricks.

Je ontwikkelt core services, creëert API's, beheert metadata en draagt bij aan de bron- en zilverlaag. Je werkt in een autonoom scrumteam met collega’s en reist af en toe naar Utrecht of elders in het land.

Qualifications

• Minimaal drie jaar ervaring in een vergelijkbare rol.
• Ervaring met bouwen van robuuste, schaalbare en onderhoudbare services in Python.
• Hands-on ervaring met Azure (Function Apps, Container Apps, ADLS Gen2) en schaalbare microservice-architecturen.
• Ervaring met Infrastructure as Code (Terraform of Bicep).
• Ervaring met Databricks of Snowflake en bekend met OTF.
• Uitstekende beheersing van de Nederlandse taal (mondeling en schriftelijk).

Responsibilities

• Core services van het data-ingestieplatform ontwikkelen met Python.
• Generieke componenten voor API en FTP bouwen en data push-principes implementeren.
• Logica rondom validatie, versioning en metadata-management verzorgen.
• Bijdragen aan een betrouwbare bron- en zilverlaag in Databricks.
• Werken met RDBMS zoals Postgres voor opslag van dataconfiguraties.
• Containers in Azure Container Apps gebruiken om pipelines te draaien.
• API's ontwerpen en bouwen.
• Samenwerken in een autonoom Scrum-team en kennisdeling stimuleren.
• Continue verbetering, eigenaarschap en kennisdeling bevorderen.

Skills

Python

Data engineering

Schaalbare oplossingen

Education

HBO werk- en denkniveau

Tools

Azure

Azure Function Apps

Container Apps

ADLS Gen2

Terraform

Bicep

Databricks

Snowflake

Job description

Over de functie

ns SRQ165957

Je werkt aan een strategisch data-initiative binnen een organisatie die sterk inzet op datagedreven werken. In deze rol bouw je mee aan een grootschalig data-ingestieplatform waarmee datateams sneller en beter waardevolle data-, informatie- en AI-producten kunnen ontwikkelen. Je bent niet alleen bezig met het ontwikkelen van technische oplossingen, maar ook met het verbeteren van kwaliteit, standaardisatie en beheerbaarheid van het platform. Daarbij sla je de brug tussen software engineering en data engineering en lever je een directe bijdrage aan een toekomstbestendig platform.

Wat ga je doen

• Je ontwikkelt met Python de core services van het data-ingestieplatform.
• Je bouwt generieke componenten voor patronen zoals API en FTP en implementeert data push-principes, bijvoorbeeld via endpoints voor bronnen.
• Je zorgt voor logica rondom validatie, versioning en metadata-management.
• Je draagt bij aan een betrouwbare bron- en zilverlaag in Databricks in plaats van enkel ruwe bestanden.
• Je werkt met RDBMS, zoals Postgres, voor efficiènte opslag van dataconfiguraties.
• Je gebruikt containers in Azure Container Apps om pipelines te draaien.
• Je ontwerpt en bouwt API's.
• Je werkt samen in een autonoom scrumteam met developers, een UX-designer, een Scrum Master en een Product Owner.
• Je denkt actief mee over continue verbetering, eigenaarschap en kennisdeling binnen en buiten het team.

Over jou

• Je bent een technisch sterke professional die software engineering en data engineering goed weet te verbinden.
• Je werkt graag aan schaalbare, onderhoudbare en productiewaardige platformoplossingen.
• Je bent kritisch en doortastend en komt met verbetervoorstellen die je samen met collega’s realiseert.
• Je overziet het grotere geheel en lost problemen het liefst structureel op.
• Je bent een ambitieuze en collegiale teamspeler.
• Je bent flexibel en vindt het geen probleem om naast thuiswerken ook regelmatig naar Utrecht of elders in het land te reizen.

Eisen

• Je beschikt over minimaal hbo werk- en denkniveau.
• Je hebt minimaal 3 jaar ervaring in een soortgelijke rol.
• Je hebt ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python.
• Je hebt werkervaring bij een soortgelijke organisatie als NS met minimaal 5000 plus werkplekken.
• Je hebt hands-on ervaring met Azure, waaronder Function Apps, Container Apps en ADLS Gen2, en met schaalbare microservice-architecturen.
• Je hebt ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep.
• Je hebt ervaring met Databricks of Snowflake en je bent bekend met OTF.
• Je hebt een uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk.

Voordelen voor detacheerders (uitzendovereenkomst) om via All About Work te werken

• Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.
• All About Work hanteert geen relatie- of concurrentiebeding.
• Vanaf dag 1 opbouw pensioen via Stipp
• Keuze loon uitbetaling per week of per vier weken.
• CAO van de opdrachtgever is van toepassing.

ns SRQ165957

Wat bieden wij vanuit All About Work

• Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.
• Je bouwt pensioen op via StiPP.
• Goede begeleiding vanuit All About Work.