Senior Data Engineer: Spark, PySpark & Data Lakehouse

Clurgo Ltd.; Wrocław; Hybrid; PLN 180,000 - 280,000; Full time

Job summary

Clurgo Ltd. w ramach zespołu Data Platform poszukuje specjalisty ds. danych, który zaprojektuje i wdroży rozwiązania do rekonsyliacji danych w ODS opartym o MongoDB oraz zbuduje warstwy danych w architekturze Data Lakehouse.

Rola łączy Spark, PySpark i Spark SQL z optymalizacją przetwarzania, CI/CD oraz monitorowaniem procesów batch i streamingowych. Wymaga min. 4 lat pracy w środowiskach produkcyjnych i komunikatywnej znajomości angielskiego.

Qualifications

• Minimum 4 years of production experience with Apache Spark.
• Experience with PySpark, Spark SQL, DataFrames and Structured Streaming.
• Experience reading/writing data to MongoDB via MongoDB Spark Connector.
• Hands-on with Data Lakehouse architectures (Iceberg, Delta Lake, Hudi).
• Knowledge of Jenkins and automation of tests and Spark deployment processes.
• Monitoring/observability tools: Prometheus, Grafana, OpenTelemetry, Dynatrace.
• English knowledge at least B2 and experience working in Agile (Scrum/Kanban).

Responsibilities

• Projektowanie i implementacja zadań Spark-SQL/PySpark do weryfikacji spójności danych między ODS (MongoDB) a systemami źródłowymi
• Łączenie Spark z MongoDB przy użyciu MongoDB Spark Connector
• Optymalizacja odczytów z MongoDB
• Budowa architektury medalionowej z Iceberg/Delta Lake/Hudi
• Implementacja CI/CD dla schematów tabel, migracji i wersjonowania
• Kosztowa optymalizacja zapytań w środowisku Data Lakehouse
• Konfiguracja metryk (Prometheus + Grafana), logów i śledzenia (OpenTelemetry, Dynatrace) dla Spark i procesów batch/stream
• Definiowanie SLA/SLO oraz alertów
• Diagnoza problemów z rekordami i opóźnieniami danych
• Praca w Scrum/Kanban z Data Engineerami, Business Analystami, testerami i DevOps

Skills

Apache Spark

PySpark

Spark-SQL

DataFrames

Structured Streaming

Angielski B2

Agile (Scrum/Kanban)

CI/CD

MonogoDB Spark Connector

Prometheus Grafana

Dynatrace/OpenTelemetry

Jenkins

Docker

Kubernetes

Tools

MongoDB

Iceberg

Delta Lake

Hudi

Spark Operator

Job description

Clurgo Ltd. w ramach zespołu Data Platform poszukuje specjalisty ds. danych, który zaprojektuje i wdroży rozwiązania do rekonsyliacji danych w ODS opartym o MongoDB oraz zbuduje warstwy danych w architekturze Data Lakehouse.

Rola łączy Spark, PySpark i Spark SQL z optymalizacją przetwarzania, CI/CD oraz monitorowaniem procesów batch i streamingowych. Wymaga min. 4 lat pracy w środowiskach produkcyjnych i komunikatywnej znajomości angielskiego.