Senior Data Engineer: Build Scalable Pipelines on Fabric

RET (SA); Rotterdam; Sur place; EUR 85 000 - 120 000; Plein temps

Résumé du poste

RET (SA) in Rotterdam zoekt een Senior Data Engineer ter versterking van het Data Office. Je ontwikkelt schaalbare datapipelines en PySpark-notebooks, ontsluit databronnen en maakt dimensionele datamodellen voor diverse domeinen zoals Asset Management, P&O en Finance.

Je werkt aan de migratie naar Microsoft Fabric en beveiligde, kostenefficiënte data pipelines. Je werkt in een agile omgeving met data engineers, Lead Data Platform Engineer en Solution Architect, deelt kennis, en levert een

Responsabilités

• Implementeren van migratie van CREDO naar Microsoft Fabric op basis van gewenste architectuur.
• Omzetten van pipelines, notebooks en datamodellen naar Microsoft Fabric.
• Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de medallion-architectuur (bronze, silver en gold).
• Optimaliseren van prestaties en kosten van datapipelines en dataverwerking.
• Ontwerpen en implementeren van dimensionele datamodellen.
• Ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen binnen complexe omgevingen.
• Implementeren van data quality frameworks en controles binnen ETL/ELT-processen.
• Ontwikkelen van data cleansing-processen om bekende datakwaliteitsproblemen op te lossen.
• Structureren en beheren van SQL-datawarehouses, met focus op Azure SQL Database en Fabric Database.
• Samenwerken met data-analisten om requirements te vertalen naar technische specificaties.
• Implementeren en gebruiken van CI/CD-pipelines voor geautomatiseerde build-, test- en deploymentprocessen, inclusief kwaliteits- en securitycontroles.
• Analyseren en oplossen van complexe technische problemen.
• Uitvoeren van code reviews en verzorgen van documentatie en monitoring.
• Actief delen van technische kennis en coachen van andere data engineers.

Description du poste

RET (SA) in Rotterdam zoekt een Senior Data Engineer ter versterking van het Data Office. Je ontwikkelt schaalbare datapipelines en PySpark-notebooks, ontsluit databronnen en maakt dimensionele datamodellen voor diverse domeinen zoals Asset Management, P&O en Finance.

Je werkt aan de migratie naar Microsoft Fabric en beveiligde, kostenefficiënte data pipelines. Je werkt in een agile omgeving met data engineers, Lead Data Platform Engineer en Solution Architect, deelt kennis, en levert een