Senior Data Engineer: Azure Databricks & Lakehouse

Impact Vandaag; Wassenaar, Amsterdam; Hybrid; EUR 78,000 - 92,000; Full time

Benefits offered by this job

8% vakantiegeld

Reiskostenvergoeding

CAO-naleving

Pensioenopbouw

Contractduur met verlengoptie

Donatie aan goed doel bij aanname

Job summary

De Nederlandsche Bank (DNB) zoekt een Senior Data Engineer voor de Data & Analyse-teams. Je werkt aan een nieuw analyseplatform in Azure Databricks en beheert afgelegen datawarehouses op Synapse, Azure SQL en ADF.

Je start in het D&A World of Warehousing-team en kunt ook ingezet worden voor Lake of Legends. Er is een mix van kantoor- en remote-werk met 50/50 en een flexibel 4x9-rooster.

Qualifications

• Minimaal 5 jaar aantoonbare werkervaring met Data Engineering in de Azure Cloud.
• Minimaal 5 jaar aantoonbare werkervaring met Python en PySpark.
• Minimaal 5 jaar aantoonbare werkervaring met SQL in een enterprise omgeving.
• Minimaal 3 jaar aantoonbare werkervaring met Databricks notebooks, pipelines en Unity Catalog.
• Minimaal 3 jaar aantoonbare werkervaring met infra-as-code (IaC) en Azure DevOps CI/CD pipelines.
• Minimaal 2 jaar aantoonbare werkervaring met data lakehouses.
• Aantoonbare ervaring met testen (unit, regressie).
• Aantoonbare ervaring met Git, code linting en code scanning.
• Minimaal HBO denk- en werkniveau.
• Goede schriftelijke en mondelinge vaardigheden in de Nederlandse taal.
• Beschikbaarheid minimaal 32 uur per week.

Responsibilities

• Ontwerpen, ontwikkelen en optimaliseren van data pipelines binnen Azure Databricks.
• Realiteren van data-ingestie-, transformatie- en verrijkingsprocessen met Python, PySpark en SQL.
• Inrichten en beheren van lakehouse-architecturen volgens medallion architectuur.
• Ontwikkelen en onderhouden van Databricks notebooks, workflows en Unity Catalog-structuren.
• Implementeren van Infrastructure as Code (IaC) en CI/CD-processen binnen Azure DevOps.
• Kennis van dimensioneel modelleren.
• Opzetten en uitvoeren van unit-, integratie- en regressietesten.
• Toepassen van software engineering best practices, waaronder versiebeheer, code reviews, linting en security scanning.
• Samenwerken met data-engineers, analisten en platformteam om hoogwaardige data-oplossingen te realiseren.

Skills

Azure Databricks

Python

PySpark

SQL

Azure Cloud

CI/CD

Education

HBO

Tools

Databricks notebooks

Unity Catalog

Azure DevOps

Azure Synapse

ADF

Job description

De Nederlandsche Bank (DNB) zoekt een Senior Data Engineer voor de Data & Analyse-teams. Je werkt aan een nieuw analyseplatform in Azure Databricks en beheert afgelegen datawarehouses op Synapse, Azure SQL en ADF.

Je start in het D&A World of Warehousing-team en kunt ook ingezet worden voor Lake of Legends. Er is een mix van kantoor- en remote-werk met 50/50 en een flexibel 4x9-rooster.