Parttime Data Engineer: Azure Databricks PoC

EngiFlex BV; Belgique; On-site; EUR 83,000 - 124,000; Part time

Job summary

EngiFlex BV zoekt een ervaren Data Engineer voor een Proof of Concept rond geautomatiseerde detectie van trendwijzigingen in binnenvaarttrafieken. De rol richt zich op het ontwerpen, bouwen, testen en opleveren van een PoC binnen een ICT-context.

Je werkt met Azure Databricks, lakehouse-architecturen, ETL-ontwikkeling en CI/CD-pipelines. Een focus op datawetenschap en rapportage van bevindingen is vereist.

Qualifications

• Minimaal aantoonbare ervaring als Data Engineer.
• Sterke kennis van Azure Cloud en Azure Databricks.
• Ervaring met ETL-processen en CI/CD binnen Azure DevOps.
• Kennis van AI/ML is een plus.
• Databricks Data Engineer Associate-certificatie vereist.

Responsibilities

• Ontwikkelen en implementeren van ETL-processen binnen Azure Databricks.
• Ontwerpen, opzetten en beheren van lakehouse-architecturen.
• Uitwerken van datakwaliteitscontroles, monitoring en logging.
• Datasets beschikbaar maken voor analyses en ML in samenwerking met een Data Scientist.
• CI/CD-pipelines opzetten binnen Azure DevOps.
• Ondersteunen van Azure Databricks-platform deployment.
• Documenteren van oplossingen en onderhoudsaspecten.
• Kennisoverdracht van broncode, configuratie en documentatie.
• Rapporteren van bron, methode en onzekerheid met reproduceerbaarheid.

Skills

Azure Cloud

Azure Databricks

Databricks Unity Catalog

Python

Java

CI/CD Azure DevOps

AI/ML

Datastage

SAS

Oracle

MS SQL

Job description

EngiFlex BV zoekt een ervaren Data Engineer voor een Proof of Concept rond geautomatiseerde detectie van trendwijzigingen in binnenvaarttrafieken. De rol richt zich op het ontwerpen, bouwen, testen en opleveren van een PoC binnen een ICT-context.

Je werkt met Azure Databricks, lakehouse-architecturen, ETL-ontwikkeling en CI/CD-pipelines. Een focus op datawetenschap en rapportage van bevindingen is vereist.