Azure Databricks Data Engineer: Scalable Pipelines

Kwery; Oost-Vlaanderen; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Kwery zoekt een ervaren Data Engineer die werkt aan moderne cloud data platformen in de regio nabij Antwerpen. Je ontwerpt, bouwt en onderhoudt schaalbare data pipelines in Azure Databricks en zorgt voor betrouwbare datasets voor rapportage en analyse.

Je werkt nauw samen met data-analisten en business stakeholders, implementeert data kwaliteitscontroles en verbetert prestaties, betrouwbaarheid en kosten-efficiëntie van het platform.

Qualifications

• Ontwerpen van data pipelines volgens medallion architectuur (Bronze, Silver, Gold).
• Integreren van data bronnen zoals interne systemen, externe datasets, API's en bestanden.
• Implementeren van data kwaliteitscontroles en documenteren van data flows en technische beslissingen.

Responsabilités

• Ontwerpen, bouwen en optimaliseren van data pipelines in Azure Databricks volgens medallion architectuur (Bronze, Silver, Gold).
• Integreren van nieuwe data bronnen zoals interne systemen, externe datasets, API's en bestanden.
• Verbeteren van prestaties, betrouwbaarheid en kosten-efficiëntie van het data platform.
• Samenwerken met data-analisten en business gebruikers om data vereisten te vertalen naar technische oplossingen.
• Implementeren van data kwaliteitscontroles en documenteren van data flows en technische beslissingen.

Connaissances

Data pipelines

Databricks platform

Data quality checks

Collaboration with analysts

Outils

Azure Databricks

Description du poste

Kwery zoekt een ervaren Data Engineer die werkt aan moderne cloud data platformen in de regio nabij Antwerpen. Je ontwerpt, bouwt en onderhoudt schaalbare data pipelines in Azure Databricks en zorgt voor betrouwbare datasets voor rapportage en analyse.

Je werkt nauw samen met data-analisten en business stakeholders, implementeert data kwaliteitscontroles en verbetert prestaties, betrouwbaarheid en kosten-efficiëntie van het platform.