Data engineer (VDAB) via Vlaanderen connect

Editx; Sint-Joost-ten-Node; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

VDAB zoekt een Data Engineer om het data intelligence team te versterken en mee te werken aan de transitie van een klassiek datawarehouse naar een modern data lake op Cloudera-technologie. Je levert oplossingen voor managementrapportering en AI-toepassingen.

Je werkt in een klein agile team met scrum, configureert ELT-stromen in DBT en NiFi, ontwerpt datamodellen en SQL-queries, en documenteert end-to-end oplossingen terwijl je operationele support en procesverbeteringen oppakt.

Qualifications

• Ervaring met bouwen van ETL/ELT-pijplijnen met DBT en NiFi.
• Ervaring met datawarehousing en data lakes.
• Kennis van data modellen en SQL-queries.

Responsabilités

• Bouwen van datapijplijnen in DBT/NiFi.
• Schrijven en uitvoeren van unit tests om de gebouwde code te valideren.
• Ondersteunen van operationele processen in het team en oplossen van voorkomende bugs.

Connaissances

SQL

ELT/ETL

DBT

Apache NiFi

Data pipelines

Outils

DBT

Apache NiFi

Vaultspeed

Description du poste

Voor VDAB, is Vlaanderen connect op zoek naar een: Data engineer (VDAB) via Vlaanderen connect

Jouw toekomstige job

VDAB is op zoek naar een Data Engineer om het data intelligence team te versterken. Dit team bestaat uit een 40-tal collega’s die interne en externe VDAB data gebruikers voorzien van oplossingen voor management rapportering, business analyse en als input voor AI toepassingen. Je werkt bijvoorbeeld mee aan de transitie van een klassieke data toolset (data warehouse) naar een recenter platform op cloudera technologie (data lake).

Waarom zou de kandidaat voor deze functie moeten kiezen?

Je komt terecht in een uitdagende omgeving, in een team met een joviale en inclusieve cultuur waar je kan werken met moderne technologie. Bovendien bouw je mee aan een betere ondersteuning van de Vlaamse arbeidsmarkt

Wat is het doel van de functie ?

• Je zal een belangrijke rol spelen in een uitgebreide portfolio aan projecten die gepland staan om het bestaande dataplatform te vernieuwen en verder uit te breiden.
• Je werkt in een compact agile team met een scrum aanpak. Je configureert de nodige ELT stromen in DBT en/of NIFI om data te transformeren.
• Je voegt data elementen toe aan de datavault met de Vaultspeed automator.
• Je stelt dimensionele datamodellen op om de gewenste datasets te ontwerpen.
• Je schrijft SQL-queries om de gewenste datasets voor dataproducten te creeëren.
• Je test en valideert dataproducten om de kwaliteit en integriteit te waarborgen en testbevindingen op te lossen.
• Je documenteert de end-2-end oplossing
• Je geeft ondersteuning bij problemen, performance issues en werkt mee aan procesverbeteringen- en optimalisaties.
• Je verfijnt, samen met de functioneel analist, de gevraagde requirements voor een dataproduct en vertaalt deze naar een concrete oplossing.
• Je evalueert de technische haalbaarheid, beheersbaarheid en kostefficiëntie van een dataproduct en stelt hieromtrent verbeteringen voor.

De 3 belangrijkste verantwoordelijkheden:

• Correct opbouwen van datapipelines die een oplossing biedt aan de beschreven user story
• Zorgen dat de geschreven code correct getest en gedocumenteerd is.
• Het scrum team versterken door een actief teamlid te zijn.

Wat zijn de belangrijkste taken?

• Bouwen van data pipelines in moderne ETL/ELT tools zoals DBT en NIFI
• Schrijven en uitvoeren van unit tests om de gebouwde code te valideren
• Opvolgen en ondersteunen van de operationele processen in het team, inclusief oplossen van voorkomende bugs