Remote Senior Spark Data Lakehouse Engineer

ITLT; Wrocław; Hybrid; PLN 165,000 - 220,000; Full time

Benefits offered by this job

Karta Multisport

Prywatna opieka medyczna

Job summary

ITLT poszukuje specjalisty Data Lakehouse z doświadczeniem w Spark i PySpark do pracy nad przetwarzaniem danych w środowisku bankowym. Będziesz projektować i implementować procesy porównujące dane w ODS z systemami źródłowymi oraz budować nowoczesne warstwy Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem Iceberg/Delta/Hudi.

Wymagana biegłość w Pythonie i SQL, doświadczenie z MongoDB, a także umiejętność CI/CD (Jenkins) i obsługa Jira/Confluence.

Qualifications

• Minimum 4 lata praktycznego doświadczenia w Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).
• Doświadczenie z MongoDB (odczyt/zapis, modelowanie dokumentowe, indeksowanie).
• Znajomość Data Lakehouse z Apache Iceberg / Delta Lake / Hudi.
• Biegłość w Pythonie oraz SQL.
• Znajomość CI/CD (Jenkins) oraz narzędzi wspierających (Jira, Confluence).
• Znajomość Prometheus i Grafana.

Responsibilities

• Projektowanie i implementacja procesów Spark-SQL/PySpark w warstwie ODS (MongoDB) i porównywanie danych ze źródłami.
• Budowa, wersjonowanie i utrzymanie warstw Data Lakehouse (raw→bronze→silver→gold) z Iceberg/Delta/Hudi.
• Integracja Spark z MongoDB za pomocą konektora (optimizacja odczytów/zapisów).
• Wdrażanie reguł Data Quality, wykrywanie duplikatów i anomalii, generowanie alertów.

Skills

Spark

PySpark

MongoDB

Python

SQL

Data Lakehouse

Iceberg/Delta/Hudi

Spark-SQL

DataFrames

Structured Streaming

Jenkins

Docker

Kubernetes

Spark Operator

Prometheus

Grafana

Jira

Confluence

Education

Tools

Jenkins

Docker

Kubernetes

Spark Operator

Prometheus

Grafana

Jira

Confluence

Job description

ITLT poszukuje specjalisty Data Lakehouse z doświadczeniem w Spark i PySpark do pracy nad przetwarzaniem danych w środowisku bankowym. Będziesz projektować i implementować procesy porównujące dane w ODS z systemami źródłowymi oraz budować nowoczesne warstwy Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem Iceberg/Delta/Hudi.

Wymagana biegłość w Pythonie i SQL, doświadczenie z MongoDB, a także umiejętność CI/CD (Jenkins) i obsługa Jira/Confluence.