Spark Data Lakehouse Developer

ITLT; Wrocław; Hybrid; PLN 165,000 - 220,000; Full time

Benefits offered by this job

Karta Multisport

Prywatna opieka medyczna

Job summary

ITLT poszukuje Spark Data Lakehouse Developera do projektowania i implementacji procesów porównujących dane w warstwie ODS (MongoDB) z systemami źródłowymi, oraz budowy środowiska Data Lakehouse.

Do zadań należy integracja Sparka z MongoDB, zarządzanie warstwami raw–bronze–silver–gold, implementacja Data Quality, tuning Spark, automatyzacja deploymentów (Docker, Kubernetes, Jenkins) i wsparcie zespołu w metodyce Agile.

Qualifications

• Minimum 4 lata praktycznego doświadczenia w Apache Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie z MongoDB (odczyt/zapis, indeksowanie).
• Praktyczna znajomość architektury Data Lakehouse (Iceberg/Delta/Hudi).
• Biegłość w Pythonie i SQL.

Responsibilities

• Projektowanie i implementacja procesów Spark do porównywania danych w warstwie ODS (MongoDB) z systemami źródłowymi.
• Budowa i utrzymanie warstw danych w Data Lakehouse (raw → bronze → silver → gold) z Iceberg/Delta/Hudi.
• Integracja środowiska Spark z MongoDB poprzez dedykowany konektor (optimizacja odczytów i zapisów).
• Wdrażanie reguł Data Quality, wykrywanie duplikatów i anomalii oraz generowanie alertów jakościowych.
• Tuning wydajnościowy procesów Spark i optymalizacja kosztów zapytań analitycznych.
• Automatyzacja deploymentów (Docker, Kubernetes, Spark Operator, Jenkins) oraz monitoringu (Prometheus, Grafana).
• Praca w Agile (Scrum/Kanban) oraz mentoring Data Engineerów i analityków.

Skills

Apache Spark

PySpark

Spark-SQL

DataFrames

Structured Streaming

MongoDB

Python

SQL

Jenkins

Jira

Confluence

Prometheus

Grafana

Docker

Kubernetes

Spark Operator

Iceberg

Delta Lake

Hudi

Tools

MongoDB

Apache Iceberg

Delta Lake

Hudi

Docker

Kubernetes

Spark Operator

Jenkins

Jira

Confluence

Prometheus

Grafana

Job description

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.

Aktualnie poszukujemy profilu na stanowisko: Spark Data Lakehouse Developer

Informacje organizacyjne:

• Forma współpracy: Kontrakt B2B (bezpośrednio z IT LeasingTeam).
• Budżet: do 160 PLN/h netto + VAT.
• Tryb pracy: Zdalnie (wymagana obecność w biurze we Wrocławiu 1 dzień w miesiącu).
• Wymiar pracy: Full-time. Projekt o charakterze długofalowym (long-term).
• Dostępność:Mile widziany start ASAP (akceptujemy standardowe okresy wypowiedzenia).
• Sektor: Bankowość / Sektor Finansowy.
• Dołączysz do zespołu Data Platform u naszego klienta, stabilnej instytucji z sektora finansowego. Będziesz kluczową osobą odpowiedzialną za projektowanie i implementację rozwiązań rekoncyliacji danych w warstwie ODS (MongoDB) oraz budowę i skalowanie nowoczesnego środowiska Data Lakehouse. To rola, w której zaawansowany development w ekosystemie Spark i zarządzanie potężnymi wolumenami łączy się z dbałością o najwyższą jakość danych.
• Proces rekrutacji:Szybki i konkretny – krótki screening z naszym zespołem, a następnie docelowa, merytoryczna rozmowa techniczna z managerami po stronie klienta.
• Do Twoich głównych obowiązków na tym stanowisku należeć będzie:
  • Projektowanie i implementacja procesów (Spark-SQL / PySpark) do porównywania danych w warstwie ODS (MongoDB) z systemami źródłowymi.
  • Kompleksowa budowa, wersjonowanie i utrzymanie warstw danych w architekturze Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem technologii takich jak Apache Iceberg, Delta Lake lub Hudi.
  • Integracja środowiska Spark z MongoDB z użyciem dedykowanego konektora (optymalizacja odczytów i zapisów, schema inference, partitioning).
  • Wdrażanie reguł Data Quality, wykrywanie duplikatów, braków i anomalii oraz generowanie alertów jakościowych.
  • Tuning wydajnościowy procesów Spark (m.in. caching, broadcast joins, Adaptive Query Execution) oraz optymalizacja kosztowa zapytań analitycznych.
  • Automatyzacja deploymentów (Docker, Kubernetes, Spark Operator, Jenkins) oraz rozwój i konfiguracja monitoringu aplikacji (Prometheus, Grafana).
  • Praca w metodyce Agile (Scrum/Kanban) oraz pełnienie roli mentora dla Data Engineerów i analityków

Oczekiwania:

• Minimum 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z wykorzystaniem Apache Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie w pracy z bazą MongoDB (odczyt/zapis danych, modelowanie dokumentowe, indeksowanie).
• Praktyczna znajomość architektury Data Lakehouse, w tym zarządzanie tabelami wersjonowanymi z wykorzystaniem Apache Iceberg (lub gotowość do szybkiej migracji kompetencji z Delta Lake / Hudi).
• Biegłość w języku Python oraz SQL.
• Sprawne poruszanie się w środowisku CI/CD (automatyzacja z wykorzystaniem Jenkins) oraz biegła obsługa narzędzi wspierających (Jira, Confluence).
• Znajomość narzędzi do monitoringu, metryk i logów (Prometheus, Grafana).
• Długofalową współpracę B2B z IT LeasingTeam przy zaawansowanym technologicznie projekcie w branży finansowej.
• Dostęp do pakietu benefitów: karta Multisport, prywatna opieka medyczna.
• Możliwość pracy z nowoczesnym, niezwykle pożądanym na rynku stosem technologicznym wokół ekosystemu Data Lakehouse.
• Przejrzysty kontakt z rekruterem ITLT, dzięki czemu zawsze wiesz, na jakim etapie procesu jesteś – gramy w otwarte karty na każdym kroku rekrutacji.