Senior Data Engineer - Hybrid (Azure Databricks)

BlueTrail; Noord-Holland; Hybrid; EUR 70,000 - 110,000; Full time

Job summary

De Nederlandsche Bank zoekt een senior data engineer die meewerkt aan een nieuw analyseplatform gebouwd in Azure Databricks voor cash-stromen. Je ontwerpt en beheert data pipelines, werkt met Databricks notebooks en Unity Catalog, en implementeert IaC/CI-CD in Azure DevOps. 50/50 kantoor-thuis beleid met focus op hoogwaardige data-oplossingen.

Je werkt samen met data-engineers, analisten en platformteams en hebt ervaring met dimensioneel modelleren en testen.

Qualifications

• Ervaring met ontwerpen en bouwen van data pipelines in Azure Databricks.
• Ervaring met Python, PySpark en SQL voor data-transformatie.
• Ervaring met lakehouse-architecturen volgens medallion-architectuur.
• Ontwikkeling van notebooks, workflows en Unity Catalog-structuren.
• Ervaring met Infrastructure as Code (IaC) en CI/CD binnen Azure DevOps.
• Kennis van dimensioneel modelleren.
• Uitvoering van unit-, integratie- en regressietesten.
• Versiebeheer, code reviews, linting en security scanning.

Responsibilities

• Ontwerpen, ontwikkelen en optimaliseren van data pipelines binnen Azure Databricks.
• Realiseren van data-ingestie-, transformatie- en verrijkingsprocessen met Python, PySpark en SQL.
• Inrichten en beheren van lakehouse-architecturen volgens medallion architectuur.
• Ontwikkelen en onderhouden van Databricks notebooks, workflows en Unity Catalog-structuren.
• Implementeren van Infrastructure as Code (IaC) en CI/CD-processen binnen Azure DevOps.
• Kennis van dimensioneel modelleren.
• Opzetten en uitvoeren van unit-, integratie- en regressietesten.
• Toepassen van software engineering best practices, waaronder versiebeheer, code reviews, linting en security scanning.
• Samenwerken met data-engineers, analisten en platformteam om hoogwaardige data-oplossingen te realiseren.

Skills

Python

PySpark

SQL

Azure Databricks

CI/CD

IaC

Azure Synapse

Azure SQL Server

Databricks notebooks

Tools

Azure DevOps

Databricks

ADF (Azure Data Factory)

Unity Catalog

Job description

De Nederlandsche Bank zoekt een senior data engineer die meewerkt aan een nieuw analyseplatform gebouwd in Azure Databricks voor cash-stromen. Je ontwerpt en beheert data pipelines, werkt met Databricks notebooks en Unity Catalog, en implementeert IaC/CI-CD in Azure DevOps. 50/50 kantoor-thuis beleid met focus op hoogwaardige data-oplossingen.

Je werkt samen met data-engineers, analisten en platformteams en hebt ervaring met dimensioneel modelleren en testen.