Data Engineer Azure Databricks Freelance (Freelance)

EngiFlex BV; Belgique; On-site; EUR 83,000 - 124,000; Part time

Job summary

EngiFlex BV zoekt een ervaren Data Engineer voor een Proof of Concept rond geautomatiseerde detectie van trendwijzigingen in binnenvaarttrafieken. De rol richt zich op het ontwerpen, bouwen, testen en opleveren van een PoC binnen een ICT-context.

Je werkt met Azure Databricks, lakehouse-architecturen, ETL-ontwikkeling en CI/CD-pipelines. Een focus op datawetenschap en rapportage van bevindingen is vereist.

Qualifications

• Minimaal aantoonbare ervaring als Data Engineer.
• Sterke kennis van Azure Cloud en Azure Databricks.
• Ervaring met ETL-processen en CI/CD binnen Azure DevOps.
• Kennis van AI/ML is een plus.
• Databricks Data Engineer Associate-certificatie vereist.

Responsibilities

• Ontwikkelen en implementeren van ETL-processen binnen Azure Databricks.
• Ontwerpen, opzetten en beheren van lakehouse-architecturen.
• Uitwerken van datakwaliteitscontroles, monitoring en logging.
• Datasets beschikbaar maken voor analyses en ML in samenwerking met een Data Scientist.
• CI/CD-pipelines opzetten binnen Azure DevOps.
• Ondersteunen van Azure Databricks-platform deployment.
• Documenteren van oplossingen en onderhoudsaspecten.
• Kennisoverdracht van broncode, configuratie en documentatie.
• Rapporteren van bron, methode en onzekerheid met reproduceerbaarheid.

Skills

Azure Cloud

Azure Databricks

Databricks Unity Catalog

Python

Java

CI/CD Azure DevOps

AI/ML

Datastage

SAS

Oracle

MS SQL

Job description

Taken en verantwoordelijkheden Voor een Proof of Concept rond de geautomatiseerde detectie en verklaring van trendwijzigingen in binnenvaarttrafieken wordt een ervaren Data Engineer gezocht. De organisatie beschikt over gedetailleerde gegevens over goederentrafieken op het waterwegennet. Deze data laten analyses toe van vervoersstromen, herkomst en bestemming, corridors, ladingen en lossingen, tonnages, doorvaarten en andere reiskenmerken. Door verdere digitalisering nemen zowel de beschikbaarheid als de bruikbaarheid van deze gegevens toe. De opdracht onderzoekt in welke mate technologie relevante evoluties automatisch kan detecteren, mogelijke verklarende parameters kan identificeren en de bewijskracht en onzekerheid van gevonden verbanden transparant kan weergeven. Het gaat niet om een autonoom beslissingssysteem, maar om een ondersteunend analyse-instrument waarbij inhoudelijke validatie noodzakelijk blijft. Het doel is aan te tonen of deze aanpak technisch, organisatorisch en operationeel haalbaar is binnen de bestaande ICT-context. De verworven inzichten moeten bruikbaar zijn voor beleidsvoorbereiding, corridorwerking, commerciële opvolging en later mogelijk ook voor beleid rond modal shift. Als Data Engineer werk je mee aan het ontwerpen, bouwen, testen, documenteren en overdraagbaar opleveren van de Proof of Concept.

Je verantwoordelijkheden omvatten onder meer:

• ontwikkelen en implementeren van ETL-processen binnen Azure Databricks;
• ontwerpen, opzetten en beheren van lakehouse-architecturen;
• uitwerken van datakwaliteitscontroles, monitoring en logging;
• beschikbaar maken van datasets voor analyses en machine learning in samenwerking met een Data Scientist;
• opzetten van CI/CD-pipelines binnen Azure DevOps;
• ondersteunen van Azure Databricks platform deployment;
• documenteren van oplossingen, deploymentprocedures en onderhoudsaspecten;
• zorgen voor kennisoverdracht van broncode, configuratie en technische documentatie;
• meewerken aan een transparante rapportering van bron, methode, sterkte van verbanden, onzekerheid, beperkingen en reproduceerbaarheid.

Het prototype moet functioneren binnen een goedgekeurde projectomgeving en aansluiten op vereisten rond beveiliging, toegangsbeheer, dataclassificatie, integratie en beheerbaarheid. Naast de functionele werking is ook de latere duurzame inzetbaarheid van de oplossing van belang.

Jouw profiel

• Je hebt aantoonbare ervaring als Data Engineer in meerdere projecten.
• Je hebt sterke kennis van Azure Cloud en het Azure Databricks-platform.
• Je hebt ervaring met Databricks Unity Catalog.
• Je hebt ervaring met databanken zoals Oracle en MS SQL.
• Je hebt ruime ervaring met het ontwerpen en implementeren van Extract, Transform, Load (ETL)-processen.
• Je beheerst programmeertalen zoals Python; kennis van Java is eveneens relevant.
• Je hebt ervaring met het opzetten van CI/CD-pipelines binnen Azure DevOps.
• Je beschikt over aantoonbare kennis van AI/ML.
• Kennis van Datastage en SAS is een meerwaarde.
• Ervaring binnen projecten voor de overheid is een plus.
• Je bent een gedreven teamspeler die tegelijk zelfstandig kan werken.
• De certificatie Databricks Data Engineer Associate is verplicht.
• Azure-certificeringen zijn een pluspunt, met minimaal kennis op het niveau van fundamentals zoals AZ-900 en DP-900.

Deze functie wordt aangeboden als een deeltijdse freelance rol (20%). Originally posted on Himalayas