Freelance Medior Data Quality Engineer Azure Databricks (Medior)

EngiFlex; Antwerpen; Sur place; EUR 83 000 - 124 000; Temps partiel

Résumé du poste

EngiFlex zoekt een ervaren Data Engineer op mediorenniveau voor een deeltijdse freelance rol in Antwerpen. Je ontwerpt, bouwt en onderhoudt datakwaliteitspipelines en vertaalt businessdata naar technische kwaliteitsregels, met Azure Databricks en SODA als kerncomponenten.

Je werkt nauw samen met data stewards en stakeholders binnen ICT en de business, en je visualizeert kwaliteitsissues met Power BI. Een Azure-omgeving bevat diverse data assets waar je aan bijdraagt.

Qualifications

• Ervaring als Data Engineer op mediorenniveau.
• Beheerst Python en SQL.
• Ervaring in een Azure-omgeving.
• Kennis van datakwaliteit, data governance en data management.
• Ervaring met ETL-ontwerpen en -implementatie.
• Kennis van Azure Databricks, Unity Catalog en SODA.

Responsabilités

• Ontwerp, bouw en onderhoud datakwaliteitspipelines voor bedrijfsdata.
• Visualiseer datafouten en kwaliteitsissues, bijvoorbeeld met Power BI.
• Ontwerp, ontwikkel en beheer datakwaliteitspipelines in een moderne Azure-omgeving.
• Overleg met data stewards over kwaliteitsvereisten en verwachtingen.
• Implementeer kwaliteitsregels in datapipelines en monitoringprocessen.
• Denk mee over prioritaire datakwaliteitsnoden en verbeteringen.
• Draag bij aan een schaalbaar datakwaliteitsprogramma.
• Werk samen met ICT, datateams, data governance en de business.

Connaissances

Python

SQL

Azure

Databricks

Unity Catalog

SODA

Power BI

ETL

Data governance

Data quality

Outils

Azure Databricks

Data Factory

Event Hubs

Azure Function Apps

Container Apps

Description du poste

Taken en verantwoordelijkheden

Je ontwerpt, bouwt en onderhoudt datakwaliteitspipelines voor bedrijfskritische data-assets en maakt datakwaliteitsproblemen inzichtelijk. Het gaat onder meer om data over haltes, lijnen en ritten.

• Je verdiept je in de businesscontext van de gebruikte data, zodat je zowel technisch als inhoudelijk sterk onderbouwd werkt.
• Je visualiseert datafouten en kwaliteitsissues voor data stewards en dataproducenten, onder meer met Power BI.
• Je ontwerpt, ontwikkelt en beheert datakwaliteitspipelines in een moderne Azure-omgeving.
• Je stemt af met data stewards over kwaliteitsvereisten en verwachtingen rond hun data.
• Je vertaalt functionele kwaliteitsvereisten naar technische kwaliteitsregels.
• Je implementeert kwaliteitsregels in datapipelines en monitoringprocessen.
• Je denkt proactief mee over prioritaire datakwaliteitsnoden en stelt verbeteringen voor.
• Je draagt bij aan de verdere uitbouw van een schaalbaar datakwaliteitsprogramma.
• Je werkt samen met stakeholders binnen ICT, datateams, data governance en de business.

Je combineert technische expertise met een goed begrip van de business en slaat vlot de brug tussen technische oplossingen en organisatorische behoeften.

Je komt terecht in een moderne dataomgeving waar dataproducten worden ontwikkeld. Daarbij wordt gewerkt met technologieën en methodieken zoals Azure Databricks, Unity Catalog, Azure Function Apps, Container Apps, Event Hubs, Data Factory, Apache Spark, SQL, Python, data contracts, het SODA data quality framework, Power BI en Power Query.

Jouw profiel

• Je hebt ervaring als Data Engineer op mediorniveau.
• Je beheerst Python en/of SQL en werkt vlot met programmeertalen zoals Python.
• Je hebt ervaring binnen een Azure-omgeving.
• Je kent tools voor datakwaliteit, zoals Unity Catalog en/of SODA.
• Je hebt kennis van data quality, data management en data governance.
• Je gebruikt Databricks als exploratietool.
• Je hebt ervaring met het ontwerpen en implementeren van ETL-processen.
• Je bent vertrouwd met databanken en met het opzetten van een data quality framework.
• Je kan datakwaliteitsinzichten helder visualiseren, bijvoorbeeld met Power BI.

Deze functie wordt aangeboden als een deeltijdse freelance rol (60%).