Data engineer migratie (datalab)

1UP Training (Netherlands); Den Haag; Remote; EUR 80,000 - 110,000; Full time

Job summary

1UP Training (Netherlands) zoekt een Data Engineer die het Azure-dataplatform onderhoudt en verder ontwikkelt. Je ontwerpt en implementeert ETL/ELT-pijplijnen en semantische modellen voor stabiele Power BI-rapportages. Daarnaast apliqueer je API-integraties en migraties, met aandacht voor AI-ondersteuning.

Je werkt met Python/PySpark, Delta Lake en Unity Catalog en draagt bij aan platforminnovaties in een agile omgeving.

Qualifications

• Minimaal 3 jaar ervaring als data engineer op Microsoft Azure.
• Aantoonbare ervaring met Databricks, Delta Lake en Unity Catalog.
• Uitstekende programmeervaardigheden in Python en PySpark.
• Minimaal 3 jaar ervaring met ETL/ELT-processen en pipelines.
• Ervaring met datamodellering en semantische modellen.
• Kennis van CI/CD, versiebeheer en IaC (Azure DevOps, Terraform).
• Beschikbaarheid van minimaal 32 uur per week.
• Goede beheersing van Nederlands (mondeling en schriftelijk).

Responsibilities

• Ontwerpen, bouwen en orkestreren van ETL/ELT-processen en datapipelines.
• Data verwerken met Python en PySpark in het data lake.
• Semantische modellen ontwerpen en onderhouden.
• API-interfaces realiseren en bronsystemen ontsluiten.
• Onderhouden en doorontwikkelen van het Azure-dataplatform.
• Bijdragen aan platformmigraties en nieuwe data-initiatieven.
• Verkennen hoe AI operationele teams kan ondersteunen.

Skills

Python

PySpark

Analytisch vermogen

Teamwork

Klantgerichtheid

Nederlands (schriftelijk)

Education

HBO-opleiding

Tools

Azure Databricks

Delta Lake

Unity Catalog

Azure Data Factory

ADLS

CI/CD

Azure DevOps

Terraform

Job description

Data Engineer

Over de rol
Je bent de technische ruggengraat voor complexe datavraagstukken. Je onderhoudt en ontwikkelt een Azure-dataplatform met Databricks als centrale component. Je ontwerpt en implementeert ETL/ELT-processen die data van bron tot productielaag in het data lake brengen met Python en PySpark.
Daarnaast ontwerp en onderhoud je centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten en er stabiele Power BI-rapportages op gebouwd kunnen worden. Je bent aanspreekpunt voor complexe datatransformaties, schema-updates en het onderhoud van het platform. Ook denk je mee over doorontwikkeling en nieuwe initiatieven, en verken je hoe AI de werklast van operationele teams kan verlagen.

Wat je gaat doen

• ETL/ELT-processen en datapipelines ontwerpen, bouwen en orkestreren.
• Data met Python en PySpark verwerken in het data lake.
• Semantische modellen ontwerpen en onderhouden.
• API-integraties realiseren en bronsystemen ontsluiten.
• Meewerken aan het onderhoud en de doorontwikkeling van het Azure-dataplatform.
• Bijdragen aan platformmigraties en nieuwe data-initiatieven.
• Verkennen hoe AI operationele teams kan ondersteunen.

Wat je meebrengt

• Minimaal 3 jaar aantoonbare ervaring als data engineer op Microsoft Azure.
• Aantoonbare ervaring met Databricks, waaronder Delta Lake en Unity Catalog.
• Uitstekende programmeervaardigheden in Python en aantoonbare ervaring met PySpark.
• Minimaal 3 jaar ervaring met ETL/ELT-processen en het bouwen en orkestreren van pipelines.
• Minimaal 3 jaar ervaring met conceptuele en dimensionele datamodellering en met het ontwerpen en onderhouden van semantische modellen.
• Aantoonbare ervaring met API-integraties en het ontsluiten van bronsystemen.
• Aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code, bijvoorbeeld met Azure DevOps en Terraform.
• Minimaal 5 jaar aantoonbare ervaring met werken in een agile omgeving.
• HBO-werk- en denkniveau; een bèta- of ICT-richting is passend. Dit kan blijken uit een afgeronde hbo-opleiding en/of minimaal 3 jaar aantoonbare werkervaring op hbo-niveau.
• Analytisch vermogen en een nauwkeurige werkwijze.
• Goede beheersing van het Nederlands, mondeling en schriftelijk.
• Klantgerichtheid, organisatiesensitiviteit en goede samenwerkingsvaardigheden. Je kunt je verplaatsen in de gebruikers.
• Beschikbaarheid van minimaal 32 uur per week.

Pré

• Ervaring met platformmigraties van on-premises- of legacyomgevingen naar een cloud-dataplatform.
• Kennis van Azure Data Factory en ADLS.
• Een of meer relevante Azure-datacertificeringen uit de DP-reeks.

Eisen

• Kandidaat beschikt over minimaal HBO werk- en denkniveau (kan worden aangetoond dmv een afgeronde HBO opleiding en/of aantoonbare werkervaring van minimaal 3 jaar op HBO niveau)
• Kandidaat beschikt over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure
• Kandidaat beschikt over aantoonbare kennis van en ervaring met Databricks Python en Py
• Spark
• Kandidaat beschikt over aantoonbaar minimaal 3 jaar kennis van en ervaring met datamodellering ETL-processen en het bouwen van pipelines
• Kandidaat is minimaal 32 uur per week beschikbaar voor de duur van de opdracht

Gunningscriteria

• Mate waarin de kandidaat ervaring heeft met het werken in agile teams
• Mate waarin de kandidaat kennis heeft van het Azure dataplatform (Databricks, Delta Lake, Unity Catalog, Azure Data Factory, ADLS) en ervaring heeft met platformmigraties
• Mate waarin de kandidaat kennis heeft van datamodellering en semantische modellen, het opzetten van ETL/ELT-processen en het bouwen van pipelines met Python en Py
• Spark, inclusief API-integraties
• Mate waarin de kandidaat beschikt over relevante certificeringen vanuit de DP reeks en aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform)
• Mate waarin kandidaat beschikt over de gevraagde competenties en vaardigheden (toetsbaar in CV, motivatie en/of mogelijk gesprek)