Medior Data Engineer — Databricks & Spark Pipelines

TCrew; Brussel Hoofdstad; Hybride; EUR 65 000 - 85 000; Plein temps

Avantages offerts par ce poste

Innovatieve Data & AI-projecten

Moderne data-platforms

Uitdagende technische omgeving

Résumé du poste

TCrew zoekt een Medior Data Engineer om ons Data & AI Analytics Platform te versterken. Je ontwikkelt herbruikbare data-componenten zodat gebruikers sneller inzichten uit data halen binnen een innovatieve omgeving gericht op experimentatie en verbetering.

Je werkt aan schaalbare ETL-pijplijnen, verbindt databronnen via REST API’s en verwerkt grote datasets met Spark/PySpark. Ervaring met Databricks en Python/Java/Scala is vereist.

Qualifications

• 3+ jaar ervaring als Data Engineer vereist.
• Ervaring met Databricks is vereist.
• Ervaring met Python, Java of Scala voor dataflows en ETL-processen.
• ETL-ontwerpen en data-integratie.
• Kennis van Spark/PySpark, Data Lake/Delta Lake en databases.

Responsabilités

• Ontwikkelen van schaalbare en betrouwbare ETL-pijplijnen.
• Verbinding maken met databronnen ( databases, REST API’s ).
• Verwerken van grote datasets met Spark/PySpark.
• Bouwen en beheren van data-oplossingen binnen Databricks.
• Onderzoeken en valideren van nieuwe Data & AI-technologieën.
• Ontwikkelen van Infrastructure as Code-oplossingen met Terraform en/of Pulumi.

Connaissances

Databricks

PySpark

Spark

Python

Java

Scala

ETL

Data integration

REST APIs

Databases

Data Lake/Delta Lake

Terraform

Pulumi

Outils

Terraform

Pulumi

Description du poste

TCrew zoekt een Medior Data Engineer om ons Data & AI Analytics Platform te versterken. Je ontwikkelt herbruikbare data-componenten zodat gebruikers sneller inzichten uit data halen binnen een innovatieve omgeving gericht op experimentatie en verbetering.

Je werkt aan schaalbare ETL-pijplijnen, verbindt databronnen via REST API’s en verwerkt grote datasets met Spark/PySpark. Ervaring met Databricks en Python/Java/Scala is vereist.