Freelance Senior MLOps Engineer - Databricks & Python

EngiFlex BV; Belgique; On-site; EUR 39,000 - 58,000; Part time

Job summary

EngiFlex BV zoekt een specialist voor een afgebakend onderzoeksproject om structurele datacleaning en anomaliedetectie op data uit Digitale Cabines te ontwerpen binnen een bestaand dataplatform. U ontwikkelt mee een algoritme dat als Databricks Wheel kan worden geïmplementeerd en detecteert data-problemen bij het laden, identificeert oorzaken en schrijft verwerkt data weg volgens een vaste structuur.

U werkt samen in een klein team en levert code op die in het platform kan worden gedeployed.

Qualifications

• Bewezen ervaring met Azure Databricks engineering en data engineering.
• Expertise in data-ingestie, data quality cleaning en root-causeanalyse van datakwaliteitsproblemen.
• Combinatie van Data Science en MLOps met kennis van tijdsreeksen uit elektriciteitsnetten.
• Goede kennis van Python-ontwikkelingen en data-analyse.
• Ervaring met het deployen van Python als Wheel in Databricks volgens Europese regels.

Responsibilities

• Onderzoeken hoe structurele datacleaning en anomaliedetectie opgezet kunnen worden.
• Ontwikkelen van een algoritme dat als Databricks Wheel geïmplementeerd kan worden.
• Detecteren van problemen bij het laden van datasets en oorzaken identificeren.
• Code bouwen, testen en opleveren die binnen het dataplatform kan worden gedeployed.
• Afstemming met platform- en dataspecialisten voor validatie en stabiliteit.
• Focussen op haalbaarheid en werking via een coherent algoritme; structurele uitrol valt buiten scope.

Skills

Azure Databricks engineering

Data ingestion

Data quality cleaning

Root-cause analysis

Data Science

MLOps

Time series analysis

Python programming

Python software development

Databricks Wheel deployment

Secure cloud data processing

Team collaboration

Education

Master's degree

Tools

Azure Databricks

Python

Job description

Taken en verantwoordelijkheden

Voor een afgebakend onderzoeksproject zoeken we een specialist die mee onderzoekt hoe structurele datacleaning en anomaliedetectie kunnen worden opgezet voor data uit Digitale Cabines binnen een bestaand dataplatform. Je ontwikkelt mee een algoritme dat als Databricks Wheel kan worden geïmplementeerd. Dit component moet bij het opladen van datasets problemen in de aangeleverde data detecteren, de oorzaak ervan helpen identificeren en de verwerkte data volgens een vaste structuur wegschrijven. Je werkt samen in een team van twee gespecialiseerde profielen en bouwt, test en levert de code op in een vorm die binnen het dataplatform kan worden gedeployed. Daarbij stem je af met platform- en dataspecialisten om de inhoudelijke werking en stabiliteit van de oplossing te valideren. De focus van deze opdracht ligt op het aantonen van de haalbaarheid en goede werking van de aanpak via een stabiel en coherent algoritme. Structurele uitrol van de algoritmes en het verdere beheer van de platformen vallen buiten de scope van deze rol.

Jouw profiel

• Je hebt aantoonbare ervaring met Azure Databricks engineering .
• Je hebt expertise in data-ingestie , data quality cleaning en root-causeanalyse van data-qualityproblemen .
• Je combineert ervaring in Data Science en MLOps met kennis van tijdsreeksen afkomstig van elektriciteitsnetten.
• Je hebt sterke ervaring met de gevraagde technologie of met een gelijkwaardige technologie.
• Je beschikt over doorgedreven ervaring in Python software engineering of een equivalente taal, met een duidelijke focus op data-analyse.
• Je hebt ervaring met het deployen van Python as a Wheel in Databricks , conform Europese regels rond data.
• Je hebt ervaring met Python softwareontwikkeling in een data-gedreven context.
• Je bent vertrouwd met de verwerking en analyse van substation-meetdata in een klantenbeheerde secure cloudomgeving.
• Je beschikt minstens over een masterdiploma .
• Je bent onmiddellijk beschikbaar .
• Je werkt vlot samen met andere specialisten in een technische projectomgeving.

Deze functie wordt aangeboden als een deeltijdse freelance rol (40%).

Originally posted on Himalayas