Data Engineer (Azure Databricks)

Wortell People; Driebergen-Rijsenburg; Hybrid; EUR 73,000 - 95,000; Full time

Job summary

Wortell People zoekt een ervaren Data Engineer met sterke Azure Databricks-vaardigheden om een lopend dataplatform-traject te versterken. Je werkt aan een migratie van een Enterprise Data Warehouse naar een Data Lakehouse, in een jong team waar twee tot drie dagen per week op locatie gewerkt wordt.

Je realiseert snellere data-ingestie, migreert Silver naar Gold en automatiseert herhalende taken met templates en frameworks, waardoor business-Views sneller beschikbaar komen.

Qualifications

• Aantoonbare ervaring met Azure Databricks en data engineering.
• Sterk in Python, SQL en Spark (PySpark / Spark SQL).
• Kennis van lakehouse-architectuur en de Bronze/Silver/Gold modellen.
• Ervaring met migraties van een klassiek DWH naar cloudplatforms.

Responsibilities

• Versnellen van de ingestion van bronsystemen.
• Migreren van Bronze/Silver naar Gold in het data model.
• Omzetten van ruim 1.000 views van Silver naar Gold voor business gebruik.
• Standaardiseren en automatiseren via templates en generieke frameworks.

Skills

Azure Databricks

Python

SQL

Spark

Data lakehouse

Tools

Delta Lake

Unity Catalog

Databricks Workflows

Azure Data Factory

Azure Data Lake Storage

Job description

Functieomschrijving

Voor een opdrachtgever zoeken wij een ervaren Data Engineer met sterke kennis van Azure Databricks. Je versterkt een lopend dataplatform-traject waarin de migratie van een bestaand Enterprise Data Warehouse (EDW) naar een Data Lakehouse (DLH) centraal staat. Je komt terecht in een gezellig en jong team, waarvan de teamleden twee à drie dagen per week op locatie werken.

Werkzaamheden

• Het versnellen van de ingestion van bronsystemen.
• Het migreren van de Silver layer van EDW naar DLH.
• Het omzetten van ruim 1.000 views van Silver naar Gold, zodat de business ze kan gebruiken.
• Veel repeterend werk, dus wie standaardiseert en automatiseert (templates, generieke frameworks) is een duidelijke plus.

Must-haves

• Aantoonbare ervaring met Azure Databricks.
• Sterk in Python, SQL en Spark (PySpark / Spark SQL).
• Ervaring met lakehouse-architectuur en de medallion-structuur (Bronze/Silver/Gold).
• Ervaring met data-migraties van een klassiek DWH naar een cloudplatform.

Nice-to-haves

• Delta Lake, Unity Catalog, Databricks Workflows.
• Azure Data Factory / Azure Data Lake Storage.
• CI/CD voor data (Azure DevOps of GitHub), dbt of vergelijkbare tooling.

Randvoorwaarden

• Start: per direct / zo spoedig mogelijk
• Inzet: fulltime (40 uur per week)
• Duur: 3 maanden, met optie tot verlenging
• Locatie: Driebergen-Zeist