Senior Data Engineer | Azure Databricks & Lakehouse

Hercor; Amsterdam; Hybrid; EUR 85,000 - 120,000; Part time

Job summary

Hercor zoekt een Senior Data Engineer die meedraait in de Data & Analyse-teams voor een groot bankwezen. Je ontwerpt en bouwt data pipelines in Azure Databricks en beheert lakehouse-architecturen.

Je werkt aan ingestie-, transformatie- en verrijkingsprocessen met PySpark en SQL, en implementeert IaC en CI/CD via Azure DevOps. De functie vereist 5+ jaar ervaring in Azure Cloud Data Engineering, Python/PySpark, SQL en 3+ jaar met Databricks, Unity Catalog en CI/CD.

Qualifications

• Minimaal 5 jaar aantoonbare werkervaring met Data Engineering in de Azure Cloud omgeving.
• Minimaal 5 jaar aantoonbare werkervaring met Python en PySpark
• Minimaal 5 jaar aantoonbare werkervaring met SQL in een enterprise omgeving
• Minimaal 3 jaar aantoonbare werkervaring met Databricks notebooks, pipelines en Unity Catalog
• Minimaal 3 jaar aantoonbare werkervaring met infra-as-code (IAC) en Azure DevOps CI/CD pipelines
• Minimaal 2 jaar aantoonbare werkervaring met data lakehouses (bijv. medaillon structuur)
• Aantoonbare werkervaring met testen (unit testen, regressietesten)
• Aantoonbare ervaring met Git, code linting en code scanning
• Aantoonbare werkervaring met het ontwerpen en bouwen van dimensionale modellen.
• Minimaal 2 jaar werkervaring met Data Vault 2.0
• Minimaal 3 jaar werkervaring met data engineering / BI in een complexe Enterprise organisatie in de financiële sector
• Minimaal 3 jaar werkervaring met Azure Data Factory 10
• Minimaal 3 jaar werkervaring met Azure Synapse Analytics
• Goede schriftelijke en mondelinge vaardigheden in de Nederlandse taal
• Relevante Databricks certificering (Data engineer Associate of Professional)

Responsibilities

• Ontwerpen, ontwikkelen en optimaliseren van data pipelines binnen Azure Databricks.
• Realiseren van data-ingestie-, transformatie- en verrijkingsprocessen met Python, PySpark en SQL.
• Inrichten en beheren van lakehouse-architecturen volgens medallion architectuur.
• Ontwikkelen en onderhouden van Databricks notebooks, workflows en Unity Catalog-structuren.
• Implementeren van Infrastructure as Code (IaC) en CI/CD-processen binnen Azure DevOps.
• Kennis van dimensioneel modelleren.
• Opzetten en uitvoeren van unit-, integratie- en regressietesten.
• Toepassen van software engineering best practices, waaronder versiebeheer, code reviews, linting en security scanning.
• Samenwerken met data-engineers, analisten en platformteam om hoogwaardige data-oplossingen te realiseren.

Skills

Python

PySpark

SQL

Data modeling

Azure Databricks

CI/CD

Git

Education

HBO denk- en werkniveau

Tools

Azure Databricks

Azure Synapse Analytics

Azure Data Factory

Azure DevOps

Databricks notebooks

Unity Catalog

Terraform

Git

Job description

Hercor zoekt een Senior Data Engineer die meedraait in de Data & Analyse-teams voor een groot bankwezen. Je ontwerpt en bouwt data pipelines in Azure Databricks en beheert lakehouse-architecturen.

Je werkt aan ingestie-, transformatie- en verrijkingsprocessen met PySpark en SQL, en implementeert IaC en CI/CD via Azure DevOps. De functie vereist 5+ jaar ervaring in Azure Cloud Data Engineering, Python/PySpark, SQL en 3+ jaar met Databricks, Unity Catalog en CI/CD.