Sr Data Engineer

Bright-Professionals; Rotterdam; On-site; EUR 90,000 - 120,000; Full time

Benefits offered by this job

36 uur per week

ZZP mogelijk

Thuiswerken mogelijk

Job summary

R.E.T. N.V. zoekt een Sr Data Engineer voor het Data Office-team binnen IT Services.Je ontwikkelt en beheert CREDO, het centrale data- en analyticsplatform op basis van een lakehouse-architectuur in Azure, met medallion-structuur en Delta Lake.

Je migreert CREDO naar Microsoft Fabric, bouwt schaalbare datapipelines, en levert gedocumenteerde datapipelines en PySpark-notebooks. Je werkt nauw samen met data-analisten en coaches andere data engineers.

Qualifications

• Meer dan 7 jaar ervaring als data engineer met ontwikkeling en beheer van een dataplatform in Azure.
• Ervaring met Microsoft Fabric en/of Azure Synapse Analytics is vereist.
• Kennis van datawarehousing en medallion-architectuur is een plus.
• Ervaring met het ontwikkelen van dataproducten en data-ontsluiting voor analyse is vereist.
• Ervaring met CI/CD en DevOps-werkstromen in Azure.

Responsibilities

• Ontwikkelen en uitbreiden van CREDO dataplaform met focus op performance en kostenoptimalisatie.
• Migreren van CREDO van Synapse naar Microsoft Fabric en implementeren van tussen- en doelarchitectuur.
• Bouwen en onderhouden van schaalbare datapipelines en PySpark-notebooks.
• Ontwerpen van dimensionele datamodellen en ontsluiten van gestructureerde en ongestructureerde bronnen.
• Uitvoeren van data quality checks en data cleansing processen.
• Beheren van SQL Datawarehouse gefocust op Azure SQL Database en Fabric Database.
• Samenwerken met data-analisten om requirements te vertalen naar technical specs.
• Implementeren en gebruiken van CI/CD pipelines inclusief quality en security controles.
• Analyseren en oplossen van complexe technische issues en documenteren van oplossingen.

Skills

Azure Cloud

Dataplatform ontwikkeling

SQL-programmeren

PySpark/notebooks

Azure DevOps

Git

CI/CD

Agile

Stakeholders communicatie

Education

Azure Data Engineer Associate (DP-203)

Tools

Azure Synapse Analytics

Microsoft Fabric

Azure SQL Database

Delta Lake

Job description

Voor R.E.T. N.V. zoeken wij een Sr Data Engineer. Je werkt binnen het Data Office-team, onderdeel van IT Services bij de opdrachtgever. Het team ontsluit en verwerkt data uit uiteenlopende bronnen en stelt deze beschikbaar voor analyse. Zij zijn verantwoordelijk voor de ontwikkeling en het beheer van CREDO, het centrale data- en analyticsplatform, gebaseerd op een lakehouse-architectuur in Azure met een medallion-structuur en Delta Lake. Het team werkt nauw samen met data-analisten, data stewards en overige stakeholders om ruwe data om te zetten in dataproducten die direct bijdragen aan de bedrijfsdoelen van de opdrachtgever. Binnen de Data Community worden best practices, standaarden en architectuurprincipes gewaarborgd, inclusief governance en hoge kwaliteitsnormen. Als ervaren Data Engineer werk je aan de oplevering van dataproducten en aan de doorontwikkeling en het beheer van CREDO. Je ondersteunt de migratie naar Microsoft Fabric en werkt op thema’s zoals performance-optimalisatie, datakwaliteit, monitoring en kostenbeheersing. Je zet met jouw technische expertise schaalbare en efficiënte datapipelines op, zodat de opdrachtgever kan blijven innoveren en groeien in een datagedreven toekomst. Je levert werkende en gedocumenteerde datapipelines, PySpark-notebooks en datamodellen voor de ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen, passend binnen de doelarchitectuur.

Werkzaamheden

• Je draagt bij aan de verdere ontwikkeling van het CREDO dataplatform en bent verantwoordelijk voor de realisatie van één of meer speerpunten op de roadmap.
• Je implementeert de migratie van CREDO van Synapse naar Microsoft Fabric op basis van de intermediate state en target state architecture, inclusief het omzetten van bestaande pipelines, notebooks en datamodellen.
• Je bouwt en onderhoudt schaalbare datapipelines en PySpark-notebooks binnen de medallion-structuur (bronze, silver, gold) met focus op performance- en kostenoptimalisatie.
• Je implementeert dimensionele datamodellen en ontsluit en verwerkt zowel gestructureerde als ongestructureerde databronnen, ook in complexe bronlandschappen.
• Je voert een data quality framework en checks uit gedurende ETL/ELT-processen om nauwkeurigheid en volledigheid te waarborgen en implementeert data cleansing processen voor bekende datakwaliteitsproblemen.
• Je structureert en beheert het SQL datawarehouse met focus op Azure SQL Database en Fabric Database.
• Je werkt samen met data-analisten om requirements te verzamelen en te vertalen naar technische specificaties voor data-oplossingen.
• Je implementeert en gebruikt CI/CD-pijplijnen voor geautomatiseerde build-, test- en deploymentprocessen, inclusief integratie van quality- en securitycontroles.
• Je analyseert en lost complexe technische problemen op, voert code reviews uit en zorgt voor documentatie en monitoring van opgeleverde oplossingen.
• Je brengt jouw expertise in en borgt deze binnen het Data Office-team en coacht andere data engineers om zowel individueel als in teamverband naar een hoger plan te komen.

Jouw profiel

• Je bent proactief, een zelfstarter en weet je snel te oriënteren in een nieuwe, complexe werkomgeving met uiteenlopende bronsysteem en stakeholders.
• Je hebt meer dan 7 jaar werkervaring als data engineer met ontwikkeling en beheer van een dataplatform in de Azure-cloud en ervaring met Microsoft Fabric en/of Azure Synapse Analytics.
• Je hebt ervaring met het implementeren van oplossingen in complexe omgevingen met meerdere bronsystemen en afhankelijkheden; ervaring met dataproducten gebaseerd op SAP en SuccessFactors is een pré.
• Je kent lakehouse-architecturen en medallion-principes goed.
• Je hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensionele datamodellering, SQL-programmering en werken met PySpark-notebooks.
• Je hebt ervaring met het standaardiseren en automatiseren van workflows en hebt gewerkt met Azure DevOps, GIT en CI/CD-principes.
• Je hebt ervaring met werken in een agile omgeving en neemt makkelijk de lead bij het vertalen van epics naar features binnen squads.
• Je beschikt over één of meerdere relevante Microsoft Azure-certificeringen passend bij data engineering, zoals Azure Data Engineer Associate (DP-203).

Competenties

• Uitstekende communicatieve vaardigheden en het vermogen om effectief te communiceren met alle niveaus binnen de organisatie.
• Sterk probleemoplossend vermogen: je identificeert snel obstakels en lost deze adequaat op.
• Vermogen om complexe datavraagstukken en technische uitdagingen te analyseren en hiervoor schaalbare, efficiënte oplossingen te ontwerpen.
• Het vermogen om technische teams te ondersteunen en hun vaardigheden te ontwikkelen, vooral in omgevingen waar ervaring met het platform nog beperkt is.

Functie-eisen

• Je bent een zelfstarter en weet je snel te vinden in een nieuwe werkomgeving.
• Je hebt meer dan 7 jaar werkervaring als data engineer, met ontwikkeling en beheer van een dataplatform in de Azure Cloud en ervaring met Microsoft Fabric en/of Azure Synapse Analytics.
• Je hebt ervaring met het implementeren van oplossingen in een complexe omgeving met meerdere bronsystemen, afhankelijkheden en stakeholders; ervaring met dataproducten gebaseerd op SAP en SuccessFactors is een pré.
• Je hebt ervaring met een lakehouse-architectuur en medallion-principes.
• Je hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensioneel datamodelleren, programmeren in SQL en het werken met PySpark-notebooks.
• Je hebt ervaring met het standaardiseren en automatiseren van workflows en hebt gewerkt met Azure DevOps, Git en CI/CD-principes.
• Je hebt ervaring met werken in een agile werkomgeving, neemt de lead bij het vertalen van epics naar features binnen squads en daagt andere engineers uit bij het aanscherpen van user stories.
• Je beschikt over één of meer relevante Microsoft Azure-certificeringen die passen bij data engineering, bijvoorbeeld Azure Data Engineer Associate (DP-203).

Extra Informatie

• Aantal uur 36
• ZZP mogelijk? Ja
• Thuiswerken mogelijk? N.t.b.