Freelance Medior Data Quality Engineer Azure Databricks (Medior)

EngiFlex BV; Belgique; Ibrido; EUR 42.000 - 64.000; Part-time

Descrizione del lavoro

EngiFlex BV in Belgium is seeking a mid-level Data Engineer for a part-time freelance role (60%). You will design, build and maintain data quality pipelines for key data assets, including data about stops, lines and trips, in a modern Azure environment.

You will translate functional quality requirements into technical rules, collaborate with data stewards and stakeholders, and visualize quality insights with Power BI.

Competenze

• Experience as a Data Engineer at mid-level.
• Proficient in Python and/or SQL with experience in Python.
• Experience in an Azure environment.
• Familiar with data quality tools such as Unity Catalog and/or SODA.
• Knowledge of data quality, data management and data governance.
• Using Databricks as exploration tool.
• Experience designing and implementing ETL processes.
• Familiar with databases and setting up a data quality framework.
• Able to visualize data quality insights clearly, e.g., with Power BI.

Mansioni

• Design, build and maintain data quality pipelines for mission-critical data assets, including data on stops, lines and trips.
• Deepen understanding of the business context of the data to work technically and substantively.
• Visualize data errors for data stewards and producers, including with Power BI.
• Design, develop and manage data quality pipelines in a modern Azure environment.
• Coordinate with data stewards on quality requirements.
• Translate functional quality requirements into technical quality rules.
• Implement quality rules into pipelines and monitoring processes.
• Proactively think about priority data quality needs and propose improvements.
• Contribute to expansion of a scalable data quality program.
• Collaborate with ICT, data teams, data governance and the business; bridge between technical solutions and organizational needs using Azure Databricks, Unity Catalog, Azure Function Apps, Container Apps, Event Hubs, Data Factory, Apache Spark, SQL, Python, data contracts, SODA, Power BI and Power Query.

Conoscenze

Python

SQL

Azure

Power BI

Databricks

ETL processes

Data governance

Data quality

Data management

Strumenti

Unity Catalog

SODA

Azure Databricks

Data Factory

Event Hubs

Descrizione del lavoro

Taken en verantwoordelijkheden

• Je ontwerpt, bouwt en onderhoudt datakwaliteitspipelines voor bedrijfskritische data-assets en maakt datakwaliteitsproblemen inzichtelijk. Het gaat onder meer om data over haltes, lijnen en ritten.
• Je verdiept je in de businesscontext van de gebruikte data, zodat je zowel technisch als inhoudelijk sterk onderbouwd werkt.
• Je visualiseert datafouten en kwaliteitsissues voor data stewards en dataproducenten, onder meer met Power BI.
• Je ontwerpt, ontwikkelt en beheert datakwaliteitspipelines in een moderne Azure-omgeving.
• Je stemt af met data stewards over kwaliteitsvereisten en verwachtingen rond hun data.
• Je vertaalt functionele kwaliteitsvereisten naar technische kwaliteitsregels.
• Je implementeert kwaliteitsregels in datapipelines en monitoringprocessen.
• Je denkt proactief mee over prioritaire datakwaliteitsnoden en stelt verbeteringen voor.
• Je draagt bij aan de verdere uitbouw van een schaalbaar datakwaliteitsprogramma.
• Je werkt samen met stakeholders binnen ICT, datateams, data governance en de business. Je combineert technische expertise met een goed begrip van de business en slaat vlot de brug tussen technische oplossingen en organisatorische behoeften. Je komt terecht in een moderne dataomgeving waar dataproducten worden ontwikkeld. Daarbij wordt gewerkt met technologieën en methodieken zoals Azure Databricks, Unity Catalog, Azure Function Apps, Container Apps, Event Hubs, Data Factory, Apache Spark, SQL, Python, data contracts, het SODA data quality framework, Power BI en Power Query.

Jouw profiel

• Je hebt ervaring als Data Engineer op mediorniveau.
• Je beheerst Python en/of SQL en werkt vlot met programmeertalen zoals Python.
• Je hebt ervaring binnen een Azure-omgeving.
• Je kent tools voor datakwaliteit, zoals Unity Catalog en/of SODA.
• Je hebt kennis van data quality, data management en data governance.
• Je gebruikt Databricks als exploratietool.
• Je hebt ervaring met het ontwerpen en implementeren van ETL-processen.
• Je bent vertrouwd met databanken en met het opzetten van een data quality framework.
• Je kan datakwaliteitsinzichten helder visualiseren, bijvoorbeeld met Power BI.

Deze functie wordt aangeboden als een deeltijdse freelance rol (60%).