Remote Spark Data Lakehouse Engineer (Long-Term)

ITLT; Wrocław; Hybrid; PLN 165,000 - 220,000; Full time

Benefits offered by this job

Karta Multisport

Prywatna opieka medyczna

Job summary

ITLT poszukuje Spark Data Lakehouse Developera do projektowania i implementacji procesów porównujących dane w warstwie ODS (MongoDB) z systemami źródłowymi, oraz budowy środowiska Data Lakehouse.

Do zadań należy integracja Sparka z MongoDB, zarządzanie warstwami raw–bronze–silver–gold, implementacja Data Quality, tuning Spark, automatyzacja deploymentów (Docker, Kubernetes, Jenkins) i wsparcie zespołu w metodyce Agile.

Qualifications

• Minimum 4 lata praktycznego doświadczenia w Apache Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie z MongoDB (odczyt/zapis, indeksowanie).
• Praktyczna znajomość architektury Data Lakehouse (Iceberg/Delta/Hudi).
• Biegłość w Pythonie i SQL.

Responsibilities

• Projektowanie i implementacja procesów Spark do porównywania danych w warstwie ODS (MongoDB) z systemami źródłowymi.
• Budowa i utrzymanie warstw danych w Data Lakehouse (raw → bronze → silver → gold) z Iceberg/Delta/Hudi.
• Integracja środowiska Spark z MongoDB poprzez dedykowany konektor (optimizacja odczytów i zapisów).
• Wdrażanie reguł Data Quality, wykrywanie duplikatów i anomalii oraz generowanie alertów jakościowych.
• Tuning wydajnościowy procesów Spark i optymalizacja kosztów zapytań analitycznych.
• Automatyzacja deploymentów (Docker, Kubernetes, Spark Operator, Jenkins) oraz monitoringu (Prometheus, Grafana).
• Praca w Agile (Scrum/Kanban) oraz mentoring Data Engineerów i analityków.

Skills

Apache Spark

PySpark

Spark-SQL

DataFrames

Structured Streaming

MongoDB

Python

SQL

Jenkins

Jira

Confluence

Prometheus

Grafana

Docker

Kubernetes

Spark Operator

Iceberg

Delta Lake

Hudi

Tools

MongoDB

Apache Iceberg

Delta Lake

Hudi

Docker

Kubernetes

Spark Operator

Jenkins

Jira

Confluence

Prometheus

Grafana

Job description

ITLT poszukuje Spark Data Lakehouse Developera do projektowania i implementacji procesów porównujących dane w warstwie ODS (MongoDB) z systemami źródłowymi, oraz budowy środowiska Data Lakehouse.

Do zadań należy integracja Sparka z MongoDB, zarządzanie warstwami raw–bronze–silver–gold, implementacja Data Quality, tuning Spark, automatyzacja deploymentów (Docker, Kubernetes, Jenkins) i wsparcie zespołu w metodyce Agile.