Spark Data Lakehouse Developer

ITLT; Wrocław; Hybrid; PLN 165,000 - 220,000; Full time

Benefits offered by this job

Karta Multisport

Prywatna opieka medyczna

Job summary

ITLT poszukuje specjalisty Data Lakehouse z doświadczeniem w Spark i PySpark do pracy nad przetwarzaniem danych w środowisku bankowym. Będziesz projektować i implementować procesy porównujące dane w ODS z systemami źródłowymi oraz budować nowoczesne warstwy Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem Iceberg/Delta/Hudi.

Wymagana biegłość w Pythonie i SQL, doświadczenie z MongoDB, a także umiejętność CI/CD (Jenkins) i obsługa Jira/Confluence.

Qualifications

• Minimum 4 lata praktycznego doświadczenia w Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie z MongoDB (odczyt/zapis, modelowanie dokumentowe, indeksowanie).
• Znajomość Data Lakehouse z Apache Iceberg / Delta Lake / Hudi.
• Biegłość w Pythonie oraz SQL.
• Znajomość CI/CD (Jenkins) oraz narzędzi wspierających (Jira, Confluence).
• Znajomość Prometheus i Grafana.

Responsibilities

• Projektowanie i implementacja procesów Spark-SQL/PySpark w warstwie ODS (MongoDB) i porównywanie danych ze źródłami.
• Budowa, wersjonowanie i utrzymanie warstw Data Lakehouse (raw→bronze→silver→gold) z Iceberg/Delta/Hudi.
• Integracja Spark z MongoDB za pomocą konektora (optimizacja odczytów/zapisów).
• Wdrażanie reguł Data Quality, wykrywanie duplikatów i anomalii, generowanie alertów.

Skills

Spark

PySpark

MongoDB

Python

SQL

Data Lakehouse

Iceberg/Delta/Hudi

Spark-SQL

DataFrames

Structured Streaming

Jenkins

Docker

Kubernetes

Spark Operator

Prometheus

Grafana

Jira

Confluence

Education

Tools

Jenkins

Docker

Kubernetes

Spark Operator

Prometheus

Grafana

Jira

Confluence

Job description

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.

Aktualnie poszukujemy profilu na stanowisko: Spark Data Lakehouse Developer

Informacje organizacyjne:

• Forma współpracy: Kontrakt B2B (bezpośrednio z IT LeasingTeam).
• Budżet: do 160 PLN/h netto + VAT.
• Tryb pracy: Zdalnie (wymagana obecność w biurze we Wrocławiu 1 dzień w miesiącu).
• Wymiar pracy: Full-time. Projekt o charakterze długofalowym (long-term).
• Dostępność:Mile widziany start ASAP (akceptujemy standardowe okresy wypowiedzenia).
• Sektor: Bankowość / Sektor Finansowy.
• Dołączysz do zespołu Data Platform u naszego klienta, stabilnej instytucji z sektora finansowego. Będziesz kluczową osobą odpowiedzialną za projektowanie i implementację rozwiązań rekoncyliacji danych w warstwie ODS (MongoDB) oraz budowę i skalowanie nowoczesnego środowiska Data Lakehouse. To rola, w której zaawansowany development w ekosystemie Spark i zarządzanie potężnymi wolumenami łączy się z dbałością o najwyższą jakość danych.
• Proces rekrutacji:Szybki i konkretny – krótki screening z naszym zespołem, a następnie docelowa, merytoryczna rozmowa techniczna z managerami po stronie klienta.
• Do Twoich głównych obowiązków na tym stanowisku należeć będzie:
  
  • Projektowanie i implementacja procesów (Spark-SQL / PySpark) do porównywania danych w warstwie ODS (MongoDB) z systemami źródłowymi.
  • Kompleksowa budowa, wersjonowanie i utrzymanie warstw danych w architekturze Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem technologii takich jak Apache Iceberg, Delta Lake lub Hudi.
  • Integracja środowiska Spark z MongoDB z użyciem dedykowanego konektora (optymalizacja odczytów i zapisów, schema inference, partitioning).
  • Wdrażanie reguł Data Quality, wykrywanie duplikatów, braków i anomalii oraz generowanie alertów jakościowych.
  • Tuning wydajnościowy procesów Spark (m.in. caching, broadcast joins, Adaptive Query Execution) oraz optymalizacja kosztowa zapytań analitycznych.
  • Automatyzacja deploymentów (Docker, Kubernetes, Spark Operator, Jenkins) oraz rozwój i konfiguracja monitoringu aplikacji (Prometheus, Grafana).
  • Praca w metodyce Agile (Scrum/Kanban) oraz pełnienie roli mentora dla Data Engineerów i analityków

Oczekiwania:

• Minimum 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z wykorzystaniem Apache Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie w pracy z bazą MongoDB (odczyt/zapis danych, modelowanie dokumentowe, indeksowanie).
• Praktyczna znajomość architektury Data Lakehouse, w tym zarządzanie tabelami wersjonowanymi z wykorzystaniem Apache Iceberg (lub gotowość do szybkiej migracji kompetencji z Delta Lake / Hudi).
• Biegłość w języku Python oraz SQL.
• Sprawne poruszanie się w środowisku CI/CD (automatyzacja z wykorzystaniem Jenkins) oraz biegła obsługa narzędzi wspierających (Jira, Confluence).
• Znajomość narzędzi do monitoringu, metryk i logów (Prometheus, Grafana).
• Długofalową współpracę B2B z IT LeasingTeam przy zaawansowanym technologicznie projekcie w branży finansowej.
• Dostęp do pakietu benefitów: karta Multisport, prywatna opieka medyczna.
• Możliwość pracy z nowoczesnym, niezwykle pożądanym na rynku stosem technologicznym wokół ekosystemu Data Lakehouse.
• Przejrzysty kontakt z rekruterem ITLT, dzięki czemu zawsze wiesz, na jakim etapie procesu jesteś – gramy w otwarte karty na każdym kroku rekrutacji.