Senior Spark & Data Lakehouse Engineer

Upvanta; Wrocław; Hybrid; PLN 180,000 - 280,000; Full time

Job summary

Upvanta poszukuje doświadczonego Spark/Data Lakehouse Developera do projektowania i rozwoju rozwiązań do przetwarzania danych w środowisku Big Data. Współtworzy nowoczesną architekturę Data Lakehouse opartą o Spark, MongoDB i Iceberg, dbając o jakość i wydajność procesów danych.

Wymagane minimum 4 lata doświadczenia w Spark, biegła znajomość PySpark, Spark SQL i DataFrame API, a także umiejętność integracji Spark z MongoDB. Praca w biurze we Wrocławiu 1–2 dni w tygodniu w modelu hybrydowym.

Qualifications

• Minimum 4 lata doświadczenia komercyjnego w pracy z Apache Spark.

Responsibilities

• Projektowanie i implementacja procesów rekoncyliacji danych w Apache Spark (PySpark, Spark SQL).
• Porównywanie danych pomiędzy warstwą ODS (MongoDB) a systemami źródłowymi oraz identyfikowanie rozbieżności.
• Tworzenie i rozwijanie reguł jakości danych, wykrywanie braków, duplikatów oraz anomalii.
• Budowa i utrzymanie warstw Data Lakehouse w modelu Raw / Bronze / Silver / Gold.
• Praca z Apache Iceberg i zarządzanie wersjonowanymi zbiorami danych.
• Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych.
• Tworzenie i rozwijanie pipeline'ów CI/CD dla aplikacji Spark.
• Implementacja monitoringu, metryk i alertowania dla procesów danych.
• Automatyzacja wdrożeń z wykorzystaniem Docker, Kubernetes oraz Spark Operator.
• Analiza i rozwiązywanie problemów związanych z jakością, spójnością i dostępnością danych.
• Tworzenie dokumentacji technicznej, diagramów architektury oraz runbooków.
• Współpraca z Data Engineerami, DevOps Engineerami, Analitykami Biznesowymi i zespołami produktowymi.
• Udział w code review oraz mentoring mniej doświadczonych członków zespołu.

Skills

Apache Spark

PySpark

Spark SQL

DataFrame API

Structured Streaming

MongoDB Spark Connector

Python

Jenkins

Prometheus

Grafana

Scrum/Kanban

Jira

Confluence

Tools

Kubernetes

Docker

Spark Operator

OpenTelemetry

Dynatrace

Job description

Upvanta poszukuje doświadczonego Spark/Data Lakehouse Developera do projektowania i rozwoju rozwiązań do przetwarzania danych w środowisku Big Data. Współtworzy nowoczesną architekturę Data Lakehouse opartą o Spark, MongoDB i Iceberg, dbając o jakość i wydajność procesów danych.

Wymagane minimum 4 lata doświadczenia w Spark, biegła znajomość PySpark, Spark SQL i DataFrame API, a także umiejętność integracji Spark z MongoDB. Praca w biurze we Wrocławiu 1–2 dni w tygodniu w modelu hybrydowym.