Data Platform Engineer — Python, Delta Lake & CI/CD

NN Group; Amsterdam; Hybrid; EUR 52,000 - 74,000; Full time

Benefits offered by this job

Hybride werken

NS Business Card

29 vakantiedagen

Pensioenregeling

Job summary

BeFrank zoekt een software engineer die complexe datavraagstukken oplost en robuuste Python-applicaties en datapipelines bouwt. Je werkt aan data- en productinnovaties op het snijvlak van software en data, met automatische tests en CI/CD in een growth-gedreven omgeving.

Je krijgt veel ruimte voor verantwoordelijkheid en directe invloed in een relatief klein team, met aandacht voor kwaliteit en onderhoudbaarheid van het platform.

Qualifications

• Ervaring met Python en CI/CD en software-ontwerp dat ook over jaren nog onderhouden is.
• Inzicht in schaalbaarheid, data-architectuur en datakwaliteit.
• Ervaring met het opzetten van robuuste datapipelines en ETL/ELT-processen.

Responsibilities

• Productiewaardige datapipelines bouwen in Python en PySpark volgens diamant-architectuur (bronze, silver, gold) op Delta Lake.
• Data ontsluiten uit bronsystemen zoals relationele databases, NoSQL, blob/S3, REST API’s, SFTP.
• Tests schrijven op unit-, integratie- en BDD-niveau en CI/CD integreren in het AzureDevOps-proces.
• Datakwaliteitvalidaties ontwerpen en borgen van kwaliteit in het proces.
• Samenwerken met data- en businessanalisten aan datamodellen en data-producten.

Skills

Python

PySpark

Delta Lake

CI/CD

Azure

Data modeling

Education

HBO/WO werk- en denkniveau

Tools

Azure Synapse

Azure Data Factory

Azure Functions

Job description

BeFrank zoekt een software engineer die complexe datavraagstukken oplost en robuuste Python-applicaties en datapipelines bouwt. Je werkt aan data- en productinnovaties op het snijvlak van software en data, met automatische tests en CI/CD in een growth-gedreven omgeving.

Je krijgt veel ruimte voor verantwoordelijkheid en directe invloed in een relatief klein team, met aandacht voor kwaliteit en onderhoudbaarheid van het platform.