Data engineer migratie (datalab)

1UPPLY; Den Haag; On-site; EUR 70,000 - 110,000; Full time

Job summary

1UPPLY is op zoek naar een Data Engineer die de technische ruggengraat vormt voor complexe datavraagstukken. Je beheert een Azure-dataplatform met Databricks en ontwikkelt ETL/ELT-pipelines in Python en PySpark.

Je ontwerpt semantische modellen voor stabiele Power BI-rapportages en bent aanspreekpunt voor datapreparatie en transformatie. Je werkt aan API-integraties, platformonderhoud en migraties en denkt mee over AI-toepassingen die operationele teams ontlasten.

Qualifications

• Minimaal 3 jaar aantoonbare ervaring als data engineer op Microsoft Azure.

Responsibilities

• ETL/ELT-processen en datapipelines ontwerpen, bouwen en orkestreren.
• Data met Python en PySpark verwerken in het data lake.
• Semantische modellen ontwerpen en onderhouden.
• API-integraties realiseren en bronsystemen ontsluiten.
• Meewerken aan het onderhoud en de doorontwikkeling van het Azure-dataplatform.
• Bijdragen aan platformmigraties en nieuwe data-initiatieven.
• Verkennen hoe AI operationele teams kan ondersteunen.

Skills

Azure Databricks

Python

PySpark

ETL/ELT pipelines

Data modeling

Semantic models

API integrations

CI/CD

Azure DevOps

Terraform

Agile

Education

HBO werk- en denkniveau

Bèta/ICT richting

Tools

Databricks

Delta Lake

Unity Catalog

Python

Azure DevOps

Terraform

Job description

Data Engineer

Over de rol Je bent de technische ruggengraat voor complexe datavraagstukken. Je onderhoudt en ontwikkelt een Azure-dataplatform met Databricks als centrale component. Je ontwerpt en implementeert ETL/ELT-processen die data van bron tot productielaag in het data lake brengen met Python en PySpark. Daarnaast ontwerp en onderhoud je centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten en er stabiele Power BI-rapportages op gebouwd kunnen worden. Je bent aanspreekpunt voor complexe datatransformaties, schema-updates en het onderhoud van het platform. Ook denk je mee over doorontwikkeling en nieuwe initiatieven, en verken je hoe AI de werklast van operationele teams kan verlagen.

Wat je gaat doen

• ETL/ELT-processen en datapipelines ontwerpen, bouwen en orkestreren.
• Data met Python en PySpark verwerken in het data lake.
• Semantische modellen ontwerpen en onderhouden.
• API-integraties realiseren en bronsystemen ontsluiten.
• Meewerken aan het onderhoud en de doorontwikkeling van het Azure-dataplatform.
• Bijdragen aan platformmigraties en nieuwe data-initiatieven.
• Verkennen hoe AI operationele teams kan ondersteunen.

Wat je meebrengt

• Minimaal 3 jaar aantoonbare ervaring als data engineer op Microsoft Azure.
• Aantoonbare ervaring met Databricks, waaronder Delta Lake en Unity Catalog.
• Uitstekende programmeervaardigheden in Python en aantoonbare ervaring met PySpark.
• Minimaal 3 jaar ervaring met ETL/ELT-processen en het bouwen en orkestreren van pipelines.
• Minimaal 3 jaar ervaring met conceptuele en dimensionele datamodellering en met het ontwerpen en onderhouden van semantische modellen.
• Aantoonbare ervaring met API-integraties en het ontsluiten van bronsystemen.
• Aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code, bijvoorbeeld met Azure DevOps en Terraform.
• Minimaal 5 jaar aantoonbare ervaring met werken in een agile omgeving.
• HBO-werk- en denkniveau; een bèta- of ICT-richting is passend. Dit kan blijken uit een afgeronde hbo-opleiding en/of minimaal 3 jaar aantoonbare werkervaring op hbo-niveau.
• Analytisch vermogen en een nauwkeurige werkwijze.
• Goede beheersing van het Nederlands, mondeling en schriftelijk.
• Klantgerichtheid, organisatiesensitiviteit en goede samenwerkingsvaardigheden. Je kunt je verplaatsen in de gebruikers.
• Beschikbaarheid van minimaal 32 uur per week.

Pré

• Ervaring met platformmigraties van on-premises- of legacyomgevingen naar een cloud-dataplatform.
• Kennis van Azure Data Factory en ADLS.
• Een of meer relevante Azure-datacertificeringen uit de DP-reeks.

Eisen

• Kandidaat beschikt over minimaal HBO werk- en denkniveau (kan worden aangetoond dmv een afgeronde HBO opleiding en/of aantoonbare werkervaring van minimaal 3 jaar op HBO niveau)
• Kandidaat beschikt over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure
• Kandidaat beschikt over aantoonbare kennis van en ervaring met Databricks Python en Py
• Spark
• Kandidaat beschikt over aantoonbaar minimaal 3 jaar kennis van en ervaring met datamodellering ETL-processen en het bouwen van pipelines
• Kandidaat is minimaal 32 uur per week beschikbaar voor de duur van de opdracht

Gunningscriteria

• Mate waarin de kandidaat ervaring heeft met het werken in agile teams
• Mate waarin de kandidaat kennis heeft van het Azure dataplatform (Databricks, Delta Lake, Unity Catalog, Azure Data Factory, ADLS) en ervaring heeft met platformmigraties
• Mate waarin de kandidaat kennis heeft van datamodellering en semantische modellen, het opzetten van ETL/ELT-processen en het bouwen van pipelines met Python en Py
• Spark, inclusief API-integraties
• Mate waarin de kandidaat beschikt over relevante certificeringen vanuit de DP reeks en aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform)
• Mate waarin kandidaat beschikt over de gevraagde competenties en vaardigheden (toetsbaar in CV, motivatie en/of mogelijk gesprek)