Azure Databricks Data Engineer - DLH Migration & Automation

Wortell People; Driebergen-Rijsenburg; Hybrid; EUR 73,000 - 95,000; Full time

Job summary

Wortell People zoekt een ervaren Data Engineer met sterke Azure Databricks-vaardigheden om een lopend dataplatform-traject te versterken. Je werkt aan een migratie van een Enterprise Data Warehouse naar een Data Lakehouse, in een jong team waar twee tot drie dagen per week op locatie gewerkt wordt.

Je realiseert snellere data-ingestie, migreert Silver naar Gold en automatiseert herhalende taken met templates en frameworks, waardoor business-Views sneller beschikbaar komen.

Qualifications

• Aantoonbare ervaring met Azure Databricks en data engineering.
• Sterk in Python, SQL en Spark (PySpark / Spark SQL).
• Kennis van lakehouse-architectuur en de Bronze/Silver/Gold modellen.
• Ervaring met migraties van een klassiek DWH naar cloudplatforms.

Responsibilities

• Versnellen van de ingestion van bronsystemen.
• Migreren van Bronze/Silver naar Gold in het data model.
• Omzetten van ruim 1.000 views van Silver naar Gold voor business gebruik.
• Standaardiseren en automatiseren via templates en generieke frameworks.

Skills

Azure Databricks

Python

SQL

Spark

Data lakehouse

Tools

Delta Lake

Unity Catalog

Databricks Workflows

Azure Data Factory

Azure Data Lake Storage

Job description

Wortell People zoekt een ervaren Data Engineer met sterke Azure Databricks-vaardigheden om een lopend dataplatform-traject te versterken. Je werkt aan een migratie van een Enterprise Data Warehouse naar een Data Lakehouse, in een jong team waar twee tot drie dagen per week op locatie gewerkt wordt.

Je realiseert snellere data-ingestie, migreert Silver naar Gold en automatiseert herhalende taken met templates en frameworks, waardoor business-Views sneller beschikbaar komen.