Senior Big Data Engineer

Grid Dynamics; Warszawa, Wrocław, Kraków; On-site; PLN 250,000 - 360,000; Full time

Job summary

Grid Dynamics w Warszawie prowadzi prace nad dużymi pipeline'ami raportowymi i infrastrukturą przetwarzania ogromnych zbiorów danych. Praca obejmuje logikę danych w Scali/Spark, utrzymanie i optymalizację infrastruktury Spark na Kubernetes oraz prace nad architekturą data lakehouse.

Zespół jest rozproszony geoprzestrzennie, a algorytmy mają wpływ na decyzje strategiczne; liczy się precyzja i odporność na presję.

Qualifications

• Wymagamy głębokiego doświadczenia w tworzeniu oprogramowania w Scali.
• Głęboka znajomość Apache Spark (DataFrame/SQL API).
• Praktyczne doświadczenie ze Spark Streaming.
• Dobra znajomość Kubernetes w kontekście działania Sparka na klastrach Kubernetes.
• Doświadczenie z formatami data lakehouse: Hive i Iceberg.
• Doświadczenie w orkiestracji workflow z Apache Airflow.
• Biegła znajomość SQL, w tym zaawansowany SparkSQL (okienkowe funkcje, złożone group-by).

Skills

Scala

Apache Spark

Spark Streaming

SparkSQL

Hive

Iceberg

Airflow

Tools

Kubernetes

Hive

Iceberg

Airflow

Job description

Praca nad dużymi pipeline'ami raportowymi i infrastrukturą przetwarzania ogromnych zbiorów danych dla globalnego lidera ekosystemu aplikacji mobilnych. W praktyce oznacza to zarówno tworzenie logiki danych w Scali/Sparku, jak i utrzymanie oraz optymalizację infrastruktury (m.in. Spark na Kubernetes), co wykracza poza typowe obowiązki inżyniera Big Data. Zespół jest rozproszony geograficznie (Europa i inne strefy czasowe), a algorytmy mają bezpośredni wpływ na decyzje strategiczne - liczy się precyzja i odporność na presję.

• bardzo dobre doświadczenie w tworzeniu oprogramowania w Scali
• głęboka znajomość Apache Spark (DataFrame/SQL API)
• praktyczne doświadczenie ze Spark Streaming
• dobra znajomość Kubernetes w kontekście działania Sparka na klastrach Kube
• doświadczenie z formatami data lakehouse: Hive i Iceberg
• doświadczenie w orkiestracji workflow z Apache Airflow
• biegła znajomość SQL, w tym zaawansowany SparkSQL (window functions, złożone group-by)