Senior Data Engineer: Azure Fabric, PySpark & Lakehouse

1UPPLY

Rotterdam

On-site

EUR 90,000 - 130,000

Full time

4 days ago

Be an early applicant

Application generator

An application made for this job — a tailored resume and cover letter that speak straight to the posting.

Get past ATS filters

Job summary

1UPPLY zoekt een Senior Data Engineer om het centrale data- en analyticsplatform CREDO verder te ontwikkelen en te beheren. Je bouwt schaalbare datapipelines, zet de migratie naar Microsoft Fabric op en bewaakt performance en kosten.

Je expertises omvatten PySpark, Delta Lake en lakehouse/medallion-architecturen, met ervaring in migraties van Synapse naar Fabric en uitgebreide kennis van dimensionale modellering en data quality frameworks.

Qualifications

Meer dan 7 jaar ervaring als data engineer.
Aantoonbare ervaring met Azure Cloud en dataplatformen.
Ervaring met migraties naar Microsoft Fabric of vergelijkbare platforms.
Kennis van dimensionele datamodellering en verwerking van data.
Ervaring met data quality frameworks en data cleansing.
CI/CD processen inclusief security checks.
Ervaring met Agile teams en lead-rollen.

Responsibilities

Ontwikkeling en beheer van het data- en analyticsplatform CREDO.
Migratie van Synapse naar Microsoft Fabric en omzetting van pipelines/notebooks/datamodellen.
Bouwen en onderhouden van datapipelines en PySpark-notebooks in medallion-architecturen.
Implementeren van dimensionale datamodellering en data-ontsluiting.
Ontwikkelen van data quality checks en automatiseren van ETL/ELT-processen.
Beheer van SQL-datawarehouse zoals Azure SQL Database en Fabric Database.
Samenwerken met data-analisten en engineers in een Agile omgeving.
Lead nemen bij het vertalen van epics naar features binnen squads.