Data Engineer

VDAB

Brussel Hoofdstad

Hybride

EUR 70 000 - 95 000

Plein temps

Il y a 13 jours

Recevez plus de réponses des employeurs

Envoyez un CV adapté au poste en quelques minutes.

Avantages offerts par ce poste

Hospitalisatieverzekering

Groepsverzekering

Arbeidsongevallenverzekering

Laptop

Smartphone met abonnementsformule

Flexibele werkuren

Thuiswerk mogelijkheden

Mobility budget

Maaltijdcheques

Résumé du poste

VDAB zoekt een Data Engineer die het data intelligence team versterkt. Je werkt aan het vernieuwen van het dataplatform en het opzetten van ETL/ELT pipelines met DBT en NIFI in een agile omgeving.

Je rapporteert aan de data-architect en werkt nauw samen met analisten en developers. Ervaring met Python, SQL en Hadoop/Kafka is een plus, en je wordt gewaardeerd om proactieve, pragmatische oplossingen voor de arbeidsmarkt te leveren.

Qualifications

Bachelor of gelijkwaardig door ervaring.
Minimaal 5 jaar ervaring als data engineer.
Ervaring met DBT, NIFI en data pipelines.
Ervaring met data warehouse en data vault/modellering.
Kennis van CI/CD en Git.
Kennis van Hadoop en big data.

Responsabilités

Opbouwen van datapipelines met DBT en NIFI.
Schrijven en uitvoeren van unit tests.
Ondersteunen van operationele processen en bugs oplossen.
Documenteren van end-to-end oplossingen.
Verzorgen van vereistenanalyse met functioneel analist.
Evalueren van technische haalbaarheid en kostenefficiëntie.
Data integreren in VDAB data platform en leveren aan klanten.

Connaissances

SQL queries

DBT

NIFI

Python

Git

Hadoop

CI/CD

Kafka

Data pipelines

Data warehousing

Data vault

Data modeling

CDP

Event driven

JavaScript

Dutch communication

Formation

Bachelor of gelijkwaardig door ervaring

Outils

DBT

NIFI

Kafka

Cloudera CDP

Description du poste

Voor het Agentschap Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleiding (VDAB), is Vlaanderen connect op zoek naar een:

Data Engineer

Contract onbepaalde duur

Brussel

///////////////////////////////////////////////////////////////////////////////////////////

VDAB is op zoek naar een Data Engineer om het data intelligence team te versterken. Dit team bestaat uit een 40-tal collega’s die interne en externe VDAB data gebruikers voorzien van oplossingen voor management rapportering, business analyse en als input voor AI toepassingen. Je werkt bijvoorbeeld mee aan de transitie van een klassieke data toolset (data warehouse) naar een recenter platform op cloudera technologie (data lake).

Waarom zou de kandidaat voor deze functie moeten kiezen?

Je komt terecht in een uitdagende omgeving, in een team met een joviale en inclusieve cultuur waar je kan werken met moderne technologie. Bovendien bouw je mee aan een betere ondersteuning van de Vlaamse arbeidsmarkt

Jouw verantwoordelijkheden

Wat is het doel van de functie ?

Je zal een belangrijke rol spelen in een uitgebreide portfolio aan projecten die gepland staan om het bestaande dataplatform te vernieuwen en verder uit te breiden. Je werkt in een compact agile team met een scrum aanpak.

Je configureert de nodige ELT stromen in DBT en/of NIFI om data te transformeren

Je voegt data elementen toe aan de datavault met de Vaultspeed automator

Je stelt dimensionele datamodellen op om de gewenste datasets te ontwerpen.

Je schrijft SQL-queries om de gewenste datasets voor dataproducten te creeëren.

Je test en valideert dataproducten om de kwaliteit en integriteit te waarborgen en testbevindingen op te lossen.

Je documenteert de end-2-end oplossing

Je geeft ondersteuning bij problemen, performance issues en werkt mee aan procesverbeteringen- en optimalisaties.

Je verfijnt, samen met de functioneel analist, de gevraagde requirements voor een dataproduct en vertaalt deze naar een concrete oplossing.

Je evalueert de technische haalbaarheid, beheersbaarheid en kostefficiëntie van een dataproduct en stelt hieromtrent verbeteringen voor.

De 3 belangrijkste verantwoordelijkheden :

Correct opbouwen van datapipelines die een oplossing biedt aan de beschreven user story
Zorgen dat de geschreven code correct getest en gedocumenteerd is.
Het scrum team versterken door een actief teamlid te zijn.

Wat zijn de belangrijkste taken?

Bouwen van data pipelines in moderne ETL/ELT tools zoals DBT en NIFI
Schrijven en uitvoeren van unit tests om de gebouwde code te valideren
Opvolgen en ondersteunen van de operationele processen in het team, inclusief oplossen van voorkomende bugs

aardigheden

Bachelor of gelijkwaardig door ervaring
Je hebt minimum 5 jaar praktische werkervaring als data engineer. Je kan bijvoorbeeld zelfstandig SQL-queries schrijven om testdata te selecteren of flows te begrijpen. Je kent de componenten en kritische tussenstappen in zowel data warehouse als event-gedreven datastromen. En je kan documentatie opstellen.
Je hebt aantoonbare ervaring met het maken en ontwikkelen van data pipelines in DBT.
Je weet hoe datasets performant gemaakt kunnen worden.
Je kan GIT gebruiken en weet hoe je metadata kan beheren. Je hebt ervaring met Hadoop en big data.
Je hebt al kennis gemaakt met data load refresh strategieën en met CI/CD.
Je begrijpt de basisconcepten van Agile en Scrum en hebt kennis van Nifi en Kafka.
Aantoonbare ervaring met het ontwikkelen van applicaties of services in Python geeft jou net dat streepje voor op de anderen.
Bewezen kennis van CDP (Cloudera dataplatform) in een data & analytics context is een troef. Je kan die kennis staven door de nodige certificaties, relevante ervaring of een specifiek leertraject.
Kennis opbouw van een DWH en datamodellering (3e NV, data vault, dimensioneel)
Praktische kennis van javascript zien we als een plus
Event driven architectuur - begrijpen wat dit betekent op gebied van data
Je bent een echte teamplayer en sparring partner voor de functioneel analist en architecten, waar je sterke communicatieve vaardigheden (in het Nederlands) je helpen.
Je bent proactief ingesteld, houdt van een pragmatische aanpak en vindt het heerlijk na te denken over de data oplossingen van morgen.