Data engineer migratie (datalab)

1UP Talent; Den Haag; On-site; EUR 65,000 - 100,000; Full time

Job summary

1UP Talent zoekt een Data Engineer die de technische ruggengraat vormt van complexe datavraagstukken. Je onderhoudt een Azure-dataplatform met Databricks als centrale component en ontwerpt ETL/ELT-processen om data van bron tot productielaag in het data lake te brengen met Python en PySpark.

Daarnaast ontwerp en onderhoud je semantische modellen, zodat datastructuren en definities aansluiten en er stabiele Power BI-rapportages kunnen worden gebouwd.

Qualifications

• Minimaal 3 jaar aantoonbare ervaring als data engineer op Microsoft Azure.
• Aantoonbare ervaring met Databricks, waaronder Delta Lake en Unity Catalog.
• Uitstekende programmeervaardigheden in Python en aantoonbare ervaring met PySpark.
• Minimaal 3 jaar ervaring met ETL/ELT-processen en het bouwen en orkestreren van pipelines.
• Minimaal 3 jaar ervaring met conceptuele en dimensionele datamodellering en met het ontwerpen en onderhouden van semantische modellen.
• Aantoonbare ervaring met API-integraties en het ontsluiten van bronsystemen.
• Aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code, bijvoorbeeld met Azure DevOps en Terraform.
• Minimaal 5 jaar aantoonbare ervaring met werken in een agile omgeving.
• HBO-werk- en denkniveau; een bèta- of ICT-richting is passend.
• Analytisch vermogen en een nauwkeurige werkwijze.
• Goede beheersing van het Nederlands, mondeling en schriftelijk.
• Klantgerichtheid, organisatiesensitiviteit en goede samenwerkingsvaardigheden.
• Beschikbaarheid van minimaal 32 uur per week.

Responsibilities

• ETL/ELT-processen en datapipelines ontwerpen, bouwen en orkestreren.
• Data met Python en PySpark verwerken in het data lake.
• Semantische modellen ontwerpen en onderhouden.
• API-integraties realiseren en bronsystemen ontsluiten.
• Meewerken aan het onderhoud en de doorontwikkeling van het Azure-dataplatform.
• Bijdragen aan platformmigraties en nieuwe data-initiatieven.
• Verkennen hoe AI operationele teams kan ondersteunen.

Skills

Azure

Databricks

Python

PySpark

ETL/ELT

Datamodellering

APIs

CI/CD

Azure DevOps

Terraform

Agile

Nederlands (Dutch)

Education

HBO werk- en denkniveau

Beta/ICT richting afgerond

Tools

Databricks

Delta Lake

Unity Catalog

Azure Data Factory

ADLS

Terraform

Azure DevOps

Job description

Data Engineer

Over de rol Je bent de technische ruggengraat voor complexe datavraagstukken. Je onderhoudt en ontwikkelt een Azure-dataplatform met Databricks als centrale component. Je ontwerpt en implementeert ETL/ELT-processen die data van bron tot productielaag in het data lake brengen met Python en PySpark. Daarnaast ontwerp en onderhoud je centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten en er stabiele Power BI-rapportages op gebouwd kunnen worden. Je bent aanspreekpunt voor complexe datatransformaties, schema-updates en het onderhoud van het platform. Ook denk je mee over doorontwikkeling en nieuwe initiatieven, en verken je hoe AI de werklast van operationele teams kan verlagen.

Wat je gaat doen

• ETL/ELT-processen en datapipelines ontwerpen, bouwen en orkestreren.
• Data met Python en PySpark verwerken in het data lake.
• Semantische modellen ontwerpen en onderhouden.
• API-integraties realiseren en bronsystemen ontsluiten.
• Meewerken aan het onderhoud en de doorontwikkeling van het Azure-dataplatform.
• Bijdragen aan platformmigraties en nieuwe data-initiatieven.
• Verkennen hoe AI operationele teams kan ondersteunen.

Wat je meebrengt

• Minimaal 3 jaar aantoonbare ervaring als data engineer op Microsoft Azure.
• Aantoonbare ervaring met Databricks, waaronder Delta Lake en Unity Catalog.
• Uitstekende programmeervaardigheden in Python en aantoonbare ervaring met PySpark.
• Minimaal 3 jaar ervaring met ETL/ELT-processen en het bouwen en orkestreren van pipelines.
• Minimaal 3 jaar ervaring met conceptuele en dimensionele datamodellering en met het ontwerpen en onderhouden van semantische modellen.
• Aantoonbare ervaring met API-integraties en het ontsluiten van bronsystemen.
• Aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code, bijvoorbeeld met Azure DevOps en Terraform.
• Minimaal 5 jaar aantoonbare ervaring met werken in een agile omgeving.
• HBO-werk- en denkniveau; een bèta- of ICT-richting is passend. Dit kan blijken uit een afgeronde hbo-opleiding en/of minimaal 3 jaar aantoonbare werkervaring op hbo-niveau.
• Analytisch vermogen en een nauwkeurige werkwijze.
• Goede beheersing van het Nederlands, mondeling en schriftelijk.
• Klantgerichtheid, organisatiesensitiviteit en goede samenwerkingsvaardigheden. Je kunt je verplaatsen in de gebruikers.
• Beschikbaarheid van minimaal 32 uur per week.

Pré

• Ervaring met platformmigraties van on-premises- of legacyomgevingen naar een cloud-dataplatform.
• Kennis van Azure Data Factory en ADLS.
• Een of meer relevante Azure-datacertificeringen uit de DP-reeks.

Eisen

• Kandidaat beschikt over minimaal HBO werk- en denkniveau (kan worden aangetoond dmv een afgeronde HBO opleiding en/of aantoonbare werkervaring van minimaal 3 jaar op HBO niveau)
• Kandidaat beschikt over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure
• Kandidaat beschikt over aantoonbare kennis van en ervaring met Databricks Python en Py
• Spark
• Kandidaat beschikt over aantoonbaar minimaal 3 jaar kennis van en ervaring met datamodellering ETL-processen en het bouwen van pipelines
• Kandidaat is minimaal 32 uur per week beschikbaar voor de duur van de opdracht

Gunningscriteria

• Mate waarin de kandidaat ervaring heeft met het werken in agile teams
• Mate waarin de kandidaat kennis heeft van het Azure dataplatform (Databricks, Delta Lake, Unity Catalog, Azure Data Factory, ADLS) en ervaring heeft met platformmigraties
• Mate waarin de kandidaat kennis heeft van datamodellering en semantische modellen, het opzetten van ETL/ELT-processen en het bouwen van pipelines met Python en Py
• Spark, inclusief API-integraties
• Mate waarin de kandidaat beschikt over relevante certificeringen vanuit de DP reeks en aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform)
• Mate waarin kandidaat beschikt over de gevraagde competenties en vaardigheden (toetsbaar in CV, motivatie en/of mogelijk gesprek)