Senior Data Engineer: Build the CREDO Platform (Azure)

Impact Vandaag; Rotterdam; On-site; EUR 68,000 - 92,000; Full time

Benefits offered by this job

Hoog salaris

8% vakantiegeld

CAO-naleving

Pensioenopbouw

Job summary

Impact Vandaag zoekt een Senior Data Engineer om RET om te vormen tot een volledig datagedreven organisatie. Je werkt aan het CREDO-platform, ontsluit en verwerkt data uit diverse bronnen en bouwt schaalbare datapipelines met PySpark in een medallion-architectuur.

Je werkt nauw samen met analisten en tech-stakeholders in een agile omgeving, voert CI/CD uit en draagt bij aan de doorontwikkeling van Azure Fabric en Delta Lake-achtige modellen.

Qualifications

• Meer dan 7 jaar werkervaring als data engineer met de ontwikkeling en het beheer van een dataplatform in de Azure Cloud.
• Ervaring met implementeren van oplossingen in een complexe omgeving met meerdere bronsystemen en stakeholders.
• Ervaring met lakehouse-architectuur en medallion-principles.
• Uitgebreide kennis van dimensionele datamodellering, SQL en PySpark.
• Ervaring met automatiseren van workflows en CI/CD (Azure DevOps, Git).
• Werkervaring in een Agile-omgeving en het leiden van epics naar features.
• Microsoft Azure-certificeringen zoals DP-203.

Responsibilities

• Bijdragen aan de ontwikkeling en doorontwikkeling van het CREDO-dataplatform binnen Azure/ Fabric.
• Migratie van CREDO in Synapse naar Microsoft Fabric en aanpassen van pipelines en datamodellen.
• Bouwen en onderhouden van schaalbare datapipelines en PySpark-notebooks in de medallion-structuur.
• Ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen met dimensionele modellen.
• Implementeren van data quality checks en data cleansing voor ETL/ELT-processen.
• Ondersteunen van SQL datawarehouse beheer in Azure SQL en Fabric Database.
• Samenwerken met data-analisten en stakeholders; CI/CD workflows met kwaliteitscontroles.

Skills

Azure Cloud

Microsoft Fabric

Azure Synapse Analytics

PySpark

SQL

CI/CD

Agile

Leadership

Data modeling

Data quality

Education

Azure Data Engineer DP-203

Tools

Azure DevOps

Git

Azure Fabric

Synapse Studio

Job description

Impact Vandaag zoekt een Senior Data Engineer om RET om te vormen tot een volledig datagedreven organisatie. Je werkt aan het CREDO-platform, ontsluit en verwerkt data uit diverse bronnen en bouwt schaalbare datapipelines met PySpark in een medallion-architectuur.

Je werkt nauw samen met analisten en tech-stakeholders in een agile omgeving, voert CI/CD uit en draagt bij aan de doorontwikkeling van Azure Fabric en Delta Lake-achtige modellen.