Senior Freelance Big Data Engineer — Spark & Airflow

CEGEKA; Brussel Hoofdstad; Hybrid; EUR 83,000 - 165,000; Part time

Job summary

CEGEKA zoekt een ervaren Freelance Big Data Engineer voor een langetermijnopdracht in Brussel. Je werkt aan grootschalige datastromen, integreert analytics en vertaalt vraagstukken naar performante oplossingen.

Je werkt nauw samen met data scientists en porteert data pipelines in een moderne big data-omgeving. Verantwoordelijkheden omvatten data cleansing, data prep en integratie, data processing met Spark ETL, data wrangling en real-time architecturen inclusief API-integraties.

Qualifications

• Ervaring in een moderne Big Data-omgeving.
• Kennis van data pipelines, data cleansing, prep & integration.
• Ervaring met Spark ETL, data wrangling, joining en aggregatie.
• Ervaring met data orchestration en API-integraties.

Responsibilities

• Ontwerpen en ontwikkelen van data pipelines.
• Uitvoeren van data cleansing, preparation & integration.
• Werken met large-scale data processing en Spark ETL.
• Data wrangling, joining en aggregatie.
• Verzorgen van component orchestration.
• Meewerken aan realtime architecturen en API-integraties.
• Samenwerken met data scientists om analytische modellen te vertalen naar technische oplossingen.
• Problemen binnen dataverwerking en orchestratie analyseren en oplossen.

Skills

Hands-on aanpak

Analytisch denken

Team samenwerking

Tools

Hadoop

PIG

HIVE

Spark

PySpark

Kafka

Confluent

Apache Airflow

Python

Java

JavaScript

Docker

Kubernetes

API development

Oracle

NoSQL

Graph

MongoDB

GIT

CI/CD

Realtime-architectures

Job description

CEGEKA zoekt een ervaren Freelance Big Data Engineer voor een langetermijnopdracht in Brussel. Je werkt aan grootschalige datastromen, integreert analytics en vertaalt vraagstukken naar performante oplossingen.

Je werkt nauw samen met data scientists en porteert data pipelines in een moderne big data-omgeving. Verantwoordelijkheden omvatten data cleansing, data prep en integratie, data processing met Spark ETL, data wrangling en real-time architecturen inclusief API-integraties.