Senior MLOps Engineer (Databricks) – Data Quality Ingest – Part-Time

EngiFlex BV; Belgique; On-site; EUR 39,000 - 58,000; Part time

Job summary

EngiFlex BV zoekt een specialist voor een afgebakend onderzoeksproject om structurele datacleaning en anomaliedetectie op data uit Digitale Cabines te ontwerpen binnen een bestaand dataplatform. U ontwikkelt mee een algoritme dat als Databricks Wheel kan worden geïmplementeerd en detecteert data-problemen bij het laden, identificeert oorzaken en schrijft verwerkt data weg volgens een vaste structuur.

U werkt samen in een klein team en levert code op die in het platform kan worden gedeployed.

Qualifications

• Bewezen ervaring met Azure Databricks engineering en data engineering.
• Expertise in data-ingestie, data quality cleaning en root-causeanalyse van datakwaliteitsproblemen.
• Combinatie van Data Science en MLOps met kennis van tijdsreeksen uit elektriciteitsnetten.
• Goede kennis van Python-ontwikkelingen en data-analyse.
• Ervaring met het deployen van Python als Wheel in Databricks volgens Europese regels.

Responsibilities

• Onderzoeken hoe structurele datacleaning en anomaliedetectie opgezet kunnen worden.
• Ontwikkelen van een algoritme dat als Databricks Wheel geïmplementeerd kan worden.
• Detecteren van problemen bij het laden van datasets en oorzaken identificeren.
• Code bouwen, testen en opleveren die binnen het dataplatform kan worden gedeployed.
• Afstemming met platform- en dataspecialisten voor validatie en stabiliteit.
• Focussen op haalbaarheid en werking via een coherent algoritme; structurele uitrol valt buiten scope.

Skills

Azure Databricks engineering

Data ingestion

Data quality cleaning

Root-cause analysis

Data Science

MLOps

Time series analysis

Python programming

Python software development

Databricks Wheel deployment

Secure cloud data processing

Team collaboration

Education

Master's degree

Tools

Azure Databricks

Python

Job description

EngiFlex BV zoekt een specialist voor een afgebakend onderzoeksproject om structurele datacleaning en anomaliedetectie op data uit Digitale Cabines te ontwerpen binnen een bestaand dataplatform. U ontwikkelt mee een algoritme dat als Databricks Wheel kan worden geïmplementeerd en detecteert data-problemen bij het laden, identificeert oorzaken en schrijft verwerkt data weg volgens een vaste structuur.

U werkt samen in een klein team en levert code op die in het platform kan worden gedeployed.