Senior Data Engineer — Drive CREDO on Fabric & Azure

DC Engineers B.V.; Rotterdam; Sur place; EUR 90 000 - 130 000; Plein temps

Résumé du poste

DC Engineers B.V. zoekt een Senior Data Engineer met ruime ervaring in Azure-data-omgevingen en het beheren van een dataplatform. Je werkt aan de ontwikkeling en doorontwikkeling van CREDO en begeleidt migratie naar Microsoft Fabric.

Je ontwikkelt schaalbare datapipelines, dimensionele modellen en PySpark-notebooks, en werkt samen met data-analisten en stakeholders vanuit de business. Ervaring met CI/CD en Azure DevOps is vereist.

Qualifications

• 7+ jaar ervaring met ontwikkelen en beheren van een dataplatform binnen Azure.
• Aantoonbare ervaring met Microsoft Fabric en/of Azure Synapse Analytics.
• Ervaring met dataoplossingen in complexe omgevingen met meerdere bronsystemen en stakeholders.
• Ervaring met lakehouse-architecturen en medallion-principes.
• Minimaal 5 jaar ervaring met dimensioneel datamodelleren, SQL-programmering en PySpark-notebooks.
• Ervaring met standaardiseren en automatiseren van workflows en CI/CD.
• Beschikking over Azure-certificeringen binnen data engineering, zoals DP-203.

Responsabilités

• Bijdragen aan de verdere ontwikkeling van het CREDO-dataplatform en realiseren van speerpunten op de roadmap.
• Migratie van CREDO vanuit Azure Synapse naar Microsoft Fabric op basis van target-architectuur.
• Omzetten van pipelines, notebooks en datamodellen naar Microsoft Fabric.
• Ontwikkelen en onderhouden van datapipelines en PySpark-notebooks binnen de medallion-architectuur.
• Optimaliseren van prestaties en kosten van datapipelines en verwerking.
• Ontwerpen en implementation van dimensionele datamodellen.
• Ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen.
• Implementeren van data quality frameworks en controles in ETL/ELT-processen.
• Ontwikkelen van data cleansing-processen en documenteren/monitoren.
• Structureren en beheren van SQL-datawarehouses, o.a. Azure SQL Database en Fabric Database.
• Samenwerken met data-analisten om requirements te vertalen naar technische specificaties.
• Implementeren en gebruiken van CI/CD-pipelines en kwaliteits- en security-controles.
• Analyseren en oplossen van complexe technische problemen.
• Uitvoeren van code reviews en kennisdeling/monitoring.
• Actief delen van kennis en coachen van andere data engineers.

Connaissances

Data engineering

Azure cloud

Agile werken

Analytisch denken

Team samenwerking

Outils

Azure Synapse Analytics

Microsoft Fabric

Azure DevOps

Git

CI/CD pipelines

SQL

PySpark

Description du poste

DC Engineers B.V. zoekt een Senior Data Engineer met ruime ervaring in Azure-data-omgevingen en het beheren van een dataplatform. Je werkt aan de ontwikkeling en doorontwikkeling van CREDO en begeleidt migratie naar Microsoft Fabric.

Je ontwikkelt schaalbare datapipelines, dimensionele modellen en PySpark-notebooks, en werkt samen met data-analisten en stakeholders vanuit de business. Ervaring met CI/CD en Azure DevOps is vereist.