Hybrid Wroclaw: Spark & Data Lakehouse Engineer

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ; Wrocław; Hybrid; PLN 11,000 - 14,000; Full time

Job summary

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ poszukuje doświadczonego Developera Spark/Data Lakehouse, który będzie rozwijał rozwiązania związane z rekoncyliacją danych oraz architekturą Data Lakehouse w środowisku hybridnym we Wrocławiu.

Praca w nowoczesnym stacku technologicznym obejmuje Spark, MongoDB, Iceberg, Kubernetes, Prometheus i Grafana. Oferujemy możliwość rozwoju i współpracę z doświadczonym zespołem w dynamicznej organizacji.

Qualifications

• Umiejętność optymalizacji procesów Spark.
• Doświadczenie w rekoncyliacji i kontroli jakości danych.
• Znajomość partitioningu, caching, broadcast joins i AQE.
• Doświadczenie w pracy z dużymi zbiorami danych.
• Samodzielność i analityczne podejście do rozwiązywania problemów.
• Umiejętność współpracy z zespołami Data, QA i DevOps.

Responsibilities

• Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera.
• Rozwija rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.
• Pracować z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana.
• Współpracować z doświadczonym zespołem.

Skills

Spark

Data Lakehouse

konsolidacja danych

MongoDB

partitioning

caching

AQE

duże zbiory danych

współpraca z zespołem

Tools

Kubernetes

Prometheus

Grafana

Iceberg

Job description

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ poszukuje doświadczonego Developera Spark/Data Lakehouse, który będzie rozwijał rozwiązania związane z rekoncyliacją danych oraz architekturą Data Lakehouse w środowisku hybridnym we Wrocławiu.

Praca w nowoczesnym stacku technologicznym obejmuje Spark, MongoDB, Iceberg, Kubernetes, Prometheus i Grafana. Oferujemy możliwość rozwoju i współpracę z doświadczonym zespołem w dynamicznej organizacji.