Databricks Data Engineer

Kwery; Oost-Vlaanderen; On-site; EUR 60,000 - 90,000; Full time

Job summary

Kwery zoekt een data engineer gespecialiseerd in Azure Databricks om schaalbare datapijplijnen te ontwerpen en te implementeren. Je werkt nauw samen met data-analisten en business stakeholders om databronnen te integreren en datasets voor Power BI aan te leveren.

Je optimaliseert continue het dataplatform, waarborgt datakwaliteit en implementeert DevOps-praktijken. Een datagedreven transformatie staat centraal in deze rol.

Qualifications

• Ervaring met het ontwerpen en bouwen van datapijplijnen.
• Kennis van data doorstroming naar BI-tools is een plus.
• Kennis van data governance en kwaliteit is gewenst.

Responsibilities

• Ontwerp, bouw en optimaliseer schaalbare datapijplijnen binnen Azure Databricks (Bronze-Silver-Gold).
• Integreer en laad diverse databronnen, waaronder API's en externe databases.
• Verbeter prestaties, betrouwbaarheid en kostenefficiëntie van het dataplatform via monitoring en optimalisatie.
• Werk nauw samen met Data Analisten en business stakeholders om datasets voor Power BI en analyses te leveren.
• Zorg voor datakwaliteit door validatieregels, documentatie en DevOps-methoden op te zetten.

Tools

Azure Databricks

Job description

Voor een groeiende speler binnen de dierenwereld ben ik momenteel op zoek naar een data engineer, gespecialiseerd in databricks!

De organisatie staat voor een uitdagende transformatie waarbij ze groeien naar een data-gedreven organisatie. In deze rol zal je een sleutelrol hebben en nauw samenwerken met de data analisten en business stakeholders.

Interesse om dit datalandschap naar een hoger niveau te tillen?

Hoe zal jouw takenpakket eruit zien?

• Je ontwerpt, bouwt en optimaliseert schaalbare datapijplijnen binnen Azure Databricks met behulp van de medallion architectuur (Bronze, Silver, Gold).
• Je neemt de technische verantwoordelijkheid voor het integreren en inladen van diverse nieuwe databronnen, waaronder API's en externe databases.
• Je verbetert de prestaties, betrouwbaarheid en kostenefficiëntie van het dataplatform door proactieve monitoring en optimalisatie.
• Je werkt nauw samen met Data Analisten en de business om vereisten te vertalen naar kant-en-klare datasets voor Power BI en analyses.
• Je waarborgt de datakwaliteit door het opzetten van validatieregels, documentatie en gestructureerde DevOps-werkwijzen.