Senior Data Engineer – Azure Databricks & Lakehouse

Impact Vandaag; Zuid-Holland; Hybrid; EUR 70,000 - 110,000; Full time

Job summary

De Data & Analyse teams van De Nederlandsche Bank spelen een sleutelrol in het ontsluiten van data uit interne en externe bronnen voor operationele en analysedoeleinden. Het team werkt met Azure Databricks en moderne tooling in een agile BizDevOps-omgeving.

Als senior data engineer draag je bij aan het bouwen van een nieuw analyseplatform voor cashflows, met meerdere cloud datawarehouses en een focus op Databricks en lakehouse-architecturen.

Qualifications

• Ervaring met ontwerpen en bouwen van data pipelines in Azure Databricks.
• Ervaring met Python, PySpark en SQL.
• Kennis van lakehouse-architecturen en medallion-architectuur.

Responsibilities

• Ontwerpen, ontwikkelen en optimaliseren van data pipelines binnen Azure Databricks.
• Realiseren van data-ingestie-, transformatie- en verrijkingsprocessen met Python, PySpark en SQL.
• Inrichten en beheren van lakehouse-architecturen volgens medallion architectuur.
• Ontwikkelen en onderhouden van Databricks notebooks, workflows en Unity Catalog-structuren.
• Implementeren van Infrastructure as Code (IaC) en CI/CD-processen binnen Azure DevOps.
• Kennis van dimensioneel modelleren.
• Opzetten en uitvoeren van unit-, integratie- en regressietesten.
• Samenwerken met data-engineers, analisten en platformteam om hoogwaardige data-oplossingen te realiseren.

Skills

Python

PySpark

SQL

Databricks

Azure Databricks

CI/CD

IaC

Data pipelines

Tools

Azure Databricks

Azure Synapse

Azure SQL Server

Azure Data Factory

ADF

Job description

De Data & Analyse teams van De Nederlandsche Bank spelen een sleutelrol in het ontsluiten van data uit interne en externe bronnen voor operationele en analysedoeleinden. Het team werkt met Azure Databricks en moderne tooling in een agile BizDevOps-omgeving.

Als senior data engineer draag je bij aan het bouwen van een nieuw analyseplatform voor cashflows, met meerdere cloud datawarehouses en een focus op Databricks en lakehouse-architecturen.