Senior Spark & Data Lakehouse Engineer

HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ; Wrocław; On-site; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Karta Multisport

Prywatna opieka medyczna

Job summary

HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ poszukuje doświadczonego Spark/Data Lakehouse Developera do zespołu Data Platform. Będziesz projektować i rozwijać rozwiązania do rekoncyliacji i synchronizacji danych w ODS oparte na MongoDB oraz budować warstwy danych w architekturze Data Lakehouse – Raw po Gold.

Zakres obejmuje projektowanie procesów Spark SQL/PySpark, monitorowanie, optymalizację i CI/CD dla migracji oraz współpracę w Scrum/Kanban z Data Engineerami i DevOps.

Qualifications

• Co najmniej 4 lata doświadczenia z Apache Spark w środowisku produkcyjnym.
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming.
• Doświadczenie z MongoDB i Spark Connector oraz modelowania danych.
• Praktyczna znajomość Iceberg i architektury Data Lakehouse (upsert/merge).
• Doświadczenie w CI/CD z Jenkins i automatyzacja testów oraz deploymentów Spark.
• Bardzo dobra znajomość Python i Spark SQL.
• Znajomość Prometheus i Grafana w monitoringu i observability.
• Praca w Scrum/Kanban; znajomość Jira i Confluence.

Responsibilities

• Projektowanie i implementacja procesów Spark SQL/PySpark do walidacji danych (MongoDB/ODS).
• Implementacja reguł jakości danych, wykrywanie duplikatów i anomalii.
• Integracja i optymalizacja Spark–MongoDB (MongoDB Spark Connector, partitioning, push-down).
• Projektowanie warstwy danych Raw → Bronze → Silver → Gold z użyciem Delta Lake/Iceberg/Hudi oraz CI/CD dla schematów i migracji.
• Monitoring i observability procesów Spark/batch/stream (Prometheus, Grafana, OpenTelemetry, Dynatrace).
• Automatyzacja deploymentów Spark na Docker/Kubernetes (Spark Operator).
• Diagnozowanie problemów z danymi i wydajnością oraz dokumentacja techniczna.

Skills

Spark

PySpark

Spark SQL

Data Modeling

CI/CD

Python

Observability

Scrum/Kanban

Jira/Confluence

Tools

MongoDB

MongoDB Connector

Delta Lake

Iceberg

Hudi

Prometheus

Grafana

OpenTelemetry

Dynatrace

Docker

Kubernetes

Spark Operator

Jenkins

Job description

HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ poszukuje doświadczonego Spark/Data Lakehouse Developera do zespołu Data Platform. Będziesz projektować i rozwijać rozwiązania do rekoncyliacji i synchronizacji danych w ODS oparte na MongoDB oraz budować warstwy danych w architekturze Data Lakehouse – Raw po Gold.

Zakres obejmuje projektowanie procesów Spark SQL/PySpark, monitorowanie, optymalizację i CI/CD dla migracji oraz współpracę w Scrum/Kanban z Data Engineerami i DevOps.