Data Engineer

Michael Bailey Associates; Utrecht; Hybrid; EUR 60,000 - 90,000; Full time

Job summary

Michael Bailey Associates zoekt een data engineer om een intern dataplatform te beheren en integraties tussen bronsystemen op te zetten. Je bouwt en onderhoudt data pipelines, bewaakt de dagelijkse verwerking en versterkt datakwaliteit en beveiliging.

Je werkt aan API-koppelingen, PySpark/Databricks op Azure en rapporteert aan analisten en BI-collega's om eisen technisch te vertalen. Hybride werken met standplaats Utrecht is mogelijk.

Qualifications

• Minimaal 2 jaar ervaring als data engineer.
• Python op productieniveau, PySpark is een pré.
• Ervaring met Spark of vergelijkbare gedistribueerde verwerking.
• Git, CI/CD en API-integraties.
• Hybride werken, standplaats Utrecht.
• Ruimte voor opleiding en certificering.

Responsibilities

• Bronsystemen aansluiten en integreren via API-koppelingen.
• Data pipelines bouwen en onderhouden in Python, PySpark en Databricks op Azure.
• Bestaande dataflows optimaliseren en de dagelijkse verwerking monitoren.
• Datakwaliteit controleren en afwijkingen opsporen.
• Toegangsbeheer en beveiliging van het platform inrichten.
• Samenwerken met analisten en BI-collega's om hun eisen technisch te vertalen.

Skills

Python

PySpark

Spark

Git

CI/CD

APIs

Databricks

Azure

Data pipelines

Tools

Databricks

Azure

Git

CI/CD

Job description

Je komt te werken in een intern dataplatformteam. Het platform verzamelt data uit de systemen die door de hele organisatie gebruikt worden en maakt die bruikbaar voor analyse en rapportage.

Het grootste deel van je werk zit in integratie. Er komen veel verschillende bronsystemen binnen, elk met een eigen structuur en een eigen manier van ontsluiten. Jij bouwt de koppelingen, brengt de data naar een gezamenlijk model en zorgt dat die stroom betrouwbaar blijft draaien.

Daarnaast beheer je de bestaande pipelines, houd je de dagelijkse verwerking in de gaten en grijp je in als er iets misgaat. Beveiliging en toegangsbeheer zijn onderdeel van de rol, niet iets wat een ander team erna doet.

Wat je gaat doen

• Bronsystemen aansluiten en integreren via API-koppelingen
• Data pipelines bouwen en onderhouden in Python, PySpark en Databricks op Azure
• Bestaande dataflows optimaliseren en de dagelijkse verwerking monitoren
• Datakwaliteit controleren en afwijkingen opsporen
• Toegangsbeheer en beveiliging van het platform inrichten
• Samenwerken met analisten en BI-collega's om hun eisen technisch te vertalen

Wat je meebrengt

• Minimaal 2 jaar ervaring als data engineer
• Python op productieniveau, PySpark is een pré
• Ervaring met Spark of vergelijkbare gedistribueerde verwerking
• Git, CI/CD en API-integraties
• Hybride werken, standplaats Utrecht
• Ruimte voor opleiding en certificering