Data Engineer: Databricks & Python for AI Pipelines

EngiFlex; Brussel; Sur place; EUR 65 000 - 95 000; Plein temps

Description du poste

Als Data Engineer werk je mee aan de ontwikkeling van gebruiksklare AI- en analytische bouwblokken binnen een data- en analyseplatform in een publieke context. Zo help je gebruikers sneller waardevolle inzichten uit data te halen en draag je bij aan een efficiënte, datagedreven dienstverlening.

Taken en verantwoordelijkheden

• Je ontwerpt, implementeert en onderhoudt schaalbare dataverwerkingsoplossingen voor AI- en dataprojecten.
• Je zet datapipelines op, optimaliseert ze en beheert hun volledige levenscyclus, met aandacht voor dataconsistentie, kwaliteit en betrouwbaarheid.
• Je koppelt databronnen zoals databases en API's aan het platform met behulp van gestandaardiseerde bouwstenen.
• Je bouwt betrouwbare en schaalbare datastromen en ETL-processen.
• Je verkent en valideert nieuwe data- en AI-technologieën via haalbaarheidstrajecten in korte iteraties volgens het fail-fast-principe.
• Je werkt samen in tijdelijke, multidisciplinaire teams aan innovatieve datagedreven oplossingen.

Jouw profiel

• Je hebt aantoonbare ervaring als Data Engineer op mediorniveau.
• Je hebt ervaring met programmeertalen zoals Python voor het ontwikkelen van datastromen en ETL-processen.
• Je hebt ervaring met Databricks, inclusief ETL-tools voor het bouwen van betrouwbare en schaalbare pipelines.
• Je hebt ervaring met het ontwerpen en implementeren van Extract, Transform, Load (ETL)-processen.
• Je hebt kennis van data lake-oplossingen, zoals Azure Data Lake of Delta Lake.
• Je hebt aantoonbare ervaring met databanken, DBT en het koppelen van databronnen zoals databases en API's.
• Je hebt ervaring met Spark of PySpark voor het verwerken van grote datasets.
• Je hebt kennis van Infrastructure as Code, bijvoorbeeld in Terraform en/of Pulumi.
• Je bent vertrouwd met REST API's.
• Je beheerst het Nederlands op Europees CEFR-niveau C2.

Aanbod

Je zal deel uitmaken van een groeiende KMO met ruimte voor initiatief en persoonlijke ontwikkeling. Wij zorgen ervoor dat je in een uitdagende maar aangename werkomgeving terecht komt met leuke collega's. Samen met jou stippelen we een carriereplan uit, met aandacht en budget voor bijkomende opleidingingen / certificaties. Je kan rekenen op een motiverend salaris, aangevuld met extralegale voordelen, inclusief bedrijfswagen (of alternatieve vergoeding).
(Freelance is ook mogelijk)