Senior Data Engineer

All About Work; Rotterdam; On-site; EUR 90,000 - 125,000; Full time

Benefits offered by this job

Snelle uitbetaling

Geen relatie- of concurrentiebeding

CAO van opdrachtgever van toepassing

Job summary

All About Work zoekt een Senior Data Engineer die data direct laat bijdragen aan de business. Je werkt aan het CREDO dataplatform en migreert Synapse naar Microsoft Fabric, met focus op schaalbare pipelines, kostenoptimalisatie en data quality.

Je werkt nauw samen met data engineers, analisten en stakeholders, bouwt datamodellen en beheert een complex datawarehouse in Azure/Fabric. Leiding nemen en coaching zijn onderdeel van de rol.

Qualifications

• Meer dan 7 jaar ervaring als data engineer met dataplatform in Azure.
• Ervaring met Synapse of Fabric en complexe dataomgevingen.
• Kennis van lakehouse, medallion-architectuur en dimensioneel modelleren.
• Ervaring met SQL-programmeren en PySpark notebooks.
• CI/CD, DevOps en agile werken; epics naar features vertalen.
• Certificeringen zoals DP-203 zijn gewenst.

Responsibilities

• Ontwikkelen en verder uitbouwen van het CREDO-dataplatform.
• Migreren van Synapse naar Microsoft Fabric volgens target-state.
• Bouwen van schaalbare datapipelines en PySpark notebooks.
• Modeleren van dimensionele data en ontsluiten van bronnen.
• Implementeren van data quality checks en cleansing.
• Beheren van SQL datawarehouse met Azure/Fabric databases.
• Verzorgen van CI/CD processen en kwaliteitscontroles.
• Coachen van collega data engineers en kennis borgen.

Skills

Data Engineer

Azure Synapse

Microsoft Fabric

PySpark

SQL

ETL/ELT

CI/CD

Azure DevOps

GIT

Data Quality

Education

Azure Data Engineer Associate (DP-203)

Tools

Azure Synapse Analytics

Microsoft Fabric

PySpark notebooks

SQL datawarehouse

Azure DevOps

Job description

Over de functie

ml. T237801

Je gaat aan de slag als Senior Data Engineer in een omgeving waar data een directe bijdrage levert aan de business. Je werkt binnen het Data Office aan de verdere ontwikkeling van het CREDO dataplatform en aan de migratie van Synapse naar Microsoft Fabric. In deze rol combineer je technische diepgang met samenwerking, eigenaarschap en coaching. Je levert schaalbare en efficiënte data-oplossingen op die bijdragen aan een toekomstbestendig dataplatform en een datagedreven organisatie.

Je beweegt je in een complexe omgeving met uiteenlopende databronnen, afhankelijkheden en stakeholders. Daarbij werk je nauw samen met data engineers, data analisten, de lead data platform engineer, de solution architect en andere stakeholders binnen de business units.

Wat ga je doen

• Je draagt bij aan het verder ontwikkelen van het CREDO dataplatform en bent verantwoordelijk voor de realisatie van een of meer speerpunten op de roadmap.
• Je implementeert de migratie van CREDO in Synapse naar Microsoft Fabric, op basis van de intermediate state en target state architecture, waaronder het omzetten van bestaande pipelines, notebooks en datamodellen.
• Je bouwt en onderhoudt schaalbare datapipelines en PySpark notebooks binnen de medallion-structuur (bronze, silver en gold), met een focus op prestatie- en kostenoptimalisatie.
• Je implementeert dimensionele datamodellen en ontsluit en verwerkt gestructureerde en ongestructureerde databronnen, ook in complexe bronlandschappen.
• Je voert data quality framework en checks op datasets uit en implementeert deze gedurende de ETL/ELT-processen om de nauwkeurigheid en volledigheid te waarborgen, en implementeert data cleansing processen om bekende datakwaliteitsproblemen op te lossen.
• Je structureert en managet SQL datawarehouse met een focus op Azure SQL Database en Fabric Database.
• Je werkt samen met data analisten om requirements te verzamelen en te vertalen naar technische specificaties voor data-oplossingen.
• Je implementeert en gebruikt CI/CD-pijplijnen voor geautomatiseerde build, test en deployment processen, inclusief integratie van quality en security controles.
• Je analyseert en lost complexe technische problemen op, voert code reviews uit en zorgt voor documentatie en monitoring van de opgeleverde oplossingen.
• Je brengt je expertise en ervaring in binnen het Data Office team en borgt deze.
• Je coacht andere data engineers om hen zowel individueel als het team naar een hoger plan te trekken.

Over jou

• Je bent proactief en stapt op mensen af.
• Je bent een zelfstarter, die zijn weg snel weet te vinden in een nieuwe werkomgeving.
• Je bent gewend om zelfstandig en zorgvuldig op te leveren in een complexe omgeving, met uiteenlopende bronsystemen, afhankelijkheden en stakeholders.
• Je speelt een actieve rol in constructieve discussies binnen Data Office en je deelt actief je kennis met de andere data engineers.

Eisen

• Je hebt meer dan 7 jaar werkervaring als data engineer met de ontwikkeling en het beheer van een dataplatform in de Azure Cloud en daarbij gewerkt met Microsoft Fabric en/of Azure Synapse Analytics.
• Je hebt ervaring met het implementeren van oplossingen in een complexe omgeving, met meerdere bronsystemen, afhankelijkheden en stakeholders.
• Je hebt ervaring met een lakehouse-architectuur en medallion principes.
• Je hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensioneel datamodellering, programmeren in SQL en werken met PySpark notebooks.
• Je hebt ervaring met het standaardiseren en automatiseren van workflows. Je hebt gewerkt met Azure DevOps, GIT en volgens CI/CD principes.
• Je hebt ervaring met het werken in een agile werkomgeving. Je bent gewend de lead te nemen bij het vertalen van epics naar features binnen squads en je weet hoe andere engineers te challengen bij het aanscherpen van user stories.
• Je beschikt over één of meerdere relevante Microsoft Azure-certificeringen, passend bij het vakgebied data engineering, zoals Azure Data Engineer Associate (DP-203).

Wensen

• Je hebt ervaring met het dataproducten gebaseerd op SAP en SuccessFactors.

Competenties

• Je hebt uitstekende communicatieve vaardigheden en het vermogen om effectief te communiceren met alle niveaus van de organisatie.
• Je hebt sterk probleemoplossend vermogen en vermogen om snel obstakels te identificeren en op te lossen.
• Je bent in staat om complexe datavraagstukken en technische uitdagingen te analyseren en hiervoor schaalbare, efficiënte oplossingen te ontwerpen.
• Je hebt het vermogen om technische teams te ondersteunen en hun vaardigheden te ontwikkelen, vooral in een omgeving waarin het team nog beperkte ervaring heeft met het platform.

Voordelen voor ZZP-ers om via All About Work te werken

• Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.
• All About Work hanteert geen relatie- of concurrentiebeding.
• Als je via All About Work aan het werk gaat is dit voordelig, want wij hanteren een snelle uitbetaling van je factuur, namelijk binnen 19 dagen.
• Jij bepaalt je zzp uurtarief (wij moeten wel rekening houden met wat we maximaal mogen hanteren van de opdrachtgever). (LET OP: Het door jou opgegeven uurtarief is all in, inclusief 10% fee All About Work en exclusief BTW)

Voordelen voor detacheerders (uitzendovereenkomst) om via All About Work te werken

• Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.
• All About Work hanteert geen relatie- of concurrentiebeding.
• Vanaf dag 1 opbouw pensioen via Stipp
• Keuze loon uitbetaling per week of per vier weken.
• CAO van de opdrachtgever is van toepassing.

ml. T237801

Wat bieden wij vanuit All About Work

• Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.
• All About Work hanteert geen relatie- of concurrentiebeding.
• Snelle uitbetaling binnen 19 dagen.