Sr Data Engineer

OptimaData BV; Rotterdam; Hybrid; EUR 124,000 - 154,000; Full time

Job summary

OptimaData BV zoekt een Senior Data Engineer voor RENT-project in Rotterdam. Je werkt aan het centrale data- en analyticsplatform CREDO (Azure lakehouse, medallion-structuur, Delta Lake) en voert de migratie van Synapse naar Microsoft Fabric uit. Je levert schaalbare datapipelines en PySpark-notebooks op en ontwerpt datamodellen.

Daarnaast coach je collega-data engineers, werk je in een agile team met stakeholders en help je bij data quality en CI/CD-implementaties. Start z.s.m.

Qualifications

• Meer dan 7 jaar ervaring als data engineer in Azure-omgevingen.
• Ervaring met lakehouse-architecturen en 'medallion' modellen.
• Kennis van dimensioneel datamodelleren en PySpark notebooks.
• Ervaring met CI/CD en automatisering van workloads.

Responsibilities

• Bijdragen aan het CREDO-platform met schaalbare datapipelines en notebooks.
• Uitvoeren van migratie Synapse → Microsoft Fabric op basis van target state architecture.
• Ontwerpen en bouwen van datawarehouses, dataflows en datamodellen.
• Coachen van andere data engineers en werken in een agile omgeving.
• Implementeren van data quality checks en CI/CD-automation.
• Samenwerken met analisten en stakeholders om requirements te vertalen.

Skills

Azure

PySpark

SQL

Data modeling

Delta Lake

Microsoft Fabric

Synapse

CI/CD

Agile

GIT

Education

Azure Data Engineer Associate (DP-203)

Tools

Azure DevOps

Git

Job description

Korte omschrijving

Als Senior Data Engineer bouw je mee aan het centrale data- en analyticsplatform CREDO (Azure lakehouse, medallion-structuur, Delta Lake) en voer je de migratie van Synapse naar Microsoft Fabric uit

Wat ga je doen als Sr Data Engineer?

Voor onze eindklant, RET, zoeken wij een Senior Data Engineer.

Als Senior Data Engineer bouw je mee aan het centrale data- en analyticsplatform CREDO (Azure lakehouse, medallion-structuur, Delta Lake) en voer je de migratie van Synapse naar Microsoft Fabric uit. Je levert schaalbare datapipelines, PySpark-notebooks en dimensionele datamodellen op en coacht andere data engineers.

De opdracht

Start opdracht: z.s.m., uiterlijk 2 november 2026
Duur opdracht: 6 maanden met optie op verlenging (tot een maximale duur van 2 jaar)
Uren per week: 36
Locatie: Rotterdam / Hybride
Tarief € 90 - € 112

Jouw rol als Senior Data Engineer

Als Senior Data Engineer speel je een cruciale rol in de transformatie van de organisatie naar een volledig datagedreven organisatie, met directe impact op de business, zoals de operationele efficiëntie van het vervoersnetwerk en een toekomstbestendig dataplatform. Je draagt bij aan het ontwikkelen van datagedreven processen voor domeinen zoals assetmanagement, P&O en finance, met cloud-native oplossingen en geautomatiseerde data quality control binnen Microsoft Fabric. Je werkt samen met de andere data engineers binnen het Data Office in een agile werkomgeving, en nauw met de lead data platform engineer, solution architect, data analisten en stakeholders binnen de business units. Je levert zelfstandig en zorgvuldig op in een complexe omgeving met uiteenlopende bronsystemen, afhankelijkheden en stakeholders.

Eindresultaat

De opdrachtnemer realiseert de verdere ontwikkeling van het operationele CREDO-dataplatform door de implementatie van één of meer overeengekomen roadmaponderdelen, passend binnen de doelarchitectuur en de doorontwikkeling van het platform. Daarnaast omvat het resultaat werkende en gedocumenteerde datapipelines, het opzetten van PySpark-notebooks en het ontwerpen en bouwen van datamodellen, ten behoeve van de ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen.

Wat ga je doen?

• Bijdragen aan het verder ontwikkelen van het CREDO dataplatform en verantwoordelijk zijn voor de realisatie van een of meer speerpunten op de roadmap.
• Implementeren van de migratie van CREDO in Synapse naar Microsoft Fabric, op basis van de intermediate state en target state architecture, waaronder het omzetten van bestaande pipelines, notebooks en datamodellen.
• Bouwen en onderhouden van schaalbare datapipelines en PySpark notebooks binnen de medallion-structuur (bronze, silver en gold), met een focus op prestatie- en kostenoptimalisatie.
• Implementeren van dimensionele datamodellen en het ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen, ook in complexe bronlandschappen.
• Uitvoeren en implementeren van data quality framework en checks op datasets gedurende de ETL/ELT-processen om de nauwkeurigheid en volledigheid te waarborgen, en implementeren van data cleansing processen om bekende datakwaliteitsproblemen op te lossen.
• Structureren en managen van SQL datawarehouse met een focus op Azure SQL Database en Fabric Database.
• Samenwerken met data analisten om requirements te verzamelen en te vertalen naar technische specificaties voor data-oplossingen.
• Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test en deployment processen, inclusief integratie van quality en security controles.
• Analyseren en oplossen van complexe technische problemen, uitvoeren van code reviews en zorgen voor documentatie en monitoring van de opgeleverde oplossingen.
• Inbrengen en borgen van je expertise en ervaring binnen het Data Office team. Coachen van andere data engineers om hen zowel individueel als het team naar een hoger plan te trekken.

Over de afdeling

Het Data Office team is onderdeel van de afdeling IT Services van een grote openbaarvervoerorganisatie in Rotterdam en omstreken. Het team ontsluit en verwerkt data uit uiteenlopende databronnen en stelt deze beschikbaar voor analysedoeleinden. Daarnaast is het team verantwoordelijk voor het ontwikkelen en beheren van CREDO, het centrale data- en analyticsplatform, gebaseerd op een lakehouse-architectuur in Azure met een medallion-structuur en Delta Lake. Momenteel wordt gewerkt aan de migratie naar Microsoft Fabric; op de roadmap staan onder andere performance-optimalisatie, datakwaliteit, monitoring en kostenbeheersing, volgens een metadata gedreven methodiek. Binnen de Data Community worden best practices, standaarden en architectuurprincipes geborgd, met strikte governance en hoge kwaliteitsnormen.

Wat breng je mee als Sr Data Engineer?

Eisen (knock-out criteria)

• Je hebt meer dan 7 jaar werkervaring als data engineer met de ontwikkeling en het beheer van een dataplatform in de Azure Cloud en daarbij gewerkt met Microsoft Fabric en/of Azure Synapse Analytics.
• Je hebt ervaring met het implementeren van oplossingen in een complexe omgeving, met meerdere bronsystemen, afhankelijkheden en stakeholders.
• Je hebt ervaring met een lakehouse-architectuur en medallion principes.
• Je hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensioneel datamodelleren, programmeren in SQL en werken met PySpark notebooks.
• Je hebt ervaring met het standaardiseren en automatiseren van workflows. Je hebt gewerkt met Azure DevOps, GIT en volgens CI/CD principes.
• Je hebt ervaring met het werken in een agile werkomgeving. Je bent gewend de lead te nemen bij het vertalen van epics naar features binnen squads en je weet hoe andere engineers te challengen bij het aanscherpen van user stories.
• Je beschikt over één of meerdere relevante Microsoft Azure-certificeringen, passend bij het vakgebied data engineering, zoals Azure Data Engineer Associate (DP-203).

Wensen / Gunningscriteria

• Ervaring met dataproducten gebaseerd op SAP en SuccessFactors (belangrijke pre).

Competenties

• Proactief, stapt op mensen af; een zelfstarter die zijn weg snel weet te vinden in een nieuwe werkomgeving.
• Uitstekende communicatieve vaardigheden en het vermogen om effectief te communiceren met alle niveaus van de organisatie.
• Sterk probleemoplossend vermogen en vermogen om snel obstakels te identificeren en op te lossen.
• In staat zijn om complexe datavraagstukken en technische uitdagingen te analyseren en hiervoor schaalbare, efficiënte oplossingen te ontwerpen.
• Het vermogen om technische teams te ondersteunen en hun vaardigheden te ontwikkelen, vooral in een omgeving waarin het team nog beperkte ervaring heeft met het platform.

Toelichting op de eisen en wensen

Het opstellen van een gerichte offerte met een passend CV en motivatie voor een specifieke opdracht kan lastig zijn, zeker met digitale en geautomatiseerde selectieprocessen die gebruikmaken van een puntensysteem: hoe meer punten, hoe groter de kans op een interview. Onze kennis van het "data" werkveld en onze zelfontwikkelde AI-matchingtool helpt hierbij door de match nauwkeurig te bepalen en gerichte aanbevelingen te doen om het CV en de motivatie optimaal af te stemmen op de eisen van de opdracht. Zo vergroot je jouw kans op een succesvolle en scorende offerte!

Details selectieprocedure

Sluiting aanvraag dinsdag 13 oktober om 10.00 uur
Geselecteerde CV's/reacties worden benaderd door OptimaData uiterlijk 13 oktober voor 12.00 uur
Gezamenlijk offerte samenstellen uiterlijk op dinsdagmiddag 13 oktober (online)
Deadline indienen offerte bij de Rotterdamse Electrische Tram NV (RET) woensdag 14 oktober om 17.00 uur
Interviews bij de Rotterdamse Electrische Tram NV (RET) vinden plaats op donderdag 22 en vrijdag 23 oktober (fysiek of via MS Teams)