Senior Data Platform Engineer - Spark, Kubernetes & Iceberg

Grid Dynamics; Warszawa, Wrocław, Kraków; On-site; PLN 250,000 - 360,000; Full time

Job summary

Grid Dynamics w Warszawie prowadzi prace nad dużymi pipeline'ami raportowymi i infrastrukturą przetwarzania ogromnych zbiorów danych. Praca obejmuje logikę danych w Scali/Spark, utrzymanie i optymalizację infrastruktury Spark na Kubernetes oraz prace nad architekturą data lakehouse.

Zespół jest rozproszony geoprzestrzennie, a algorytmy mają wpływ na decyzje strategiczne; liczy się precyzja i odporność na presję.

Qualifications

• Wymagamy głębokiego doświadczenia w tworzeniu oprogramowania w Scali.
• Głęboka znajomość Apache Spark (DataFrame/SQL API).
• Praktyczne doświadczenie ze Spark Streaming.
• Dobra znajomość Kubernetes w kontekście działania Sparka na klastrach Kubernetes.
• Doświadczenie z formatami data lakehouse: Hive i Iceberg.
• Doświadczenie w orkiestracji workflow z Apache Airflow.
• Biegła znajomość SQL, w tym zaawansowany SparkSQL (okienkowe funkcje, złożone group-by).

Skills

Scala

Apache Spark

Spark Streaming

SparkSQL

Hive

Iceberg

Airflow

Tools

Kubernetes

Hive

Iceberg

Airflow

Job description

Grid Dynamics w Warszawie prowadzi prace nad dużymi pipeline'ami raportowymi i infrastrukturą przetwarzania ogromnych zbiorów danych. Praca obejmuje logikę danych w Scali/Spark, utrzymanie i optymalizację infrastruktury Spark na Kubernetes oraz prace nad architekturą data lakehouse.

Zespół jest rozproszony geoprzestrzennie, a algorytmy mają wpływ na decyzje strategiczne; liczy się precyzja i odporność na presję.