Senior PySpark Data Engineer — Cloud & Big Data (Hybrid)

ITDS Polska Sp. z o.o.; Kraków; Hybrid; PLN 240,000 - 360,000; Full time

Benefits offered by this job

Stabilna i długoterminowa współpraca

Atrakcyjny pakiet medyczny

Multisport Program

Pluralsight access

Elastyczne godziny pracy

Job summary

ITDS Polska Sp. z o.o. poszukuje Senior PySpark Data Engineer’a do pracy przy projektach klienta lidera w dziedzinie big data i chmurowej integracji.

Będziesz przekształcał eksperymentalny kod w solidne, produkcyjne pipeline’y danych i tworzył rozwiązania umożliwiające analitykę na szeroką skalę. Wymagane jest doświadczenie w PySpark/Spark, SQL oraz pracy z Hadoop i YARN, a także znajomość Google Cloud Platform. Praca w Krakowie w modelu hybrydowym.

Qualifications

• 5+ lat doświadczenia w inżynierii danych i PySpark/Spark
• Dobra znajomość SQL i technik optymalizacji Sparka
• Doświadczenie z ekosystemem Hadoop, Spark na YARN
• Znajomość platform chmurowych, preferowany GCP

Responsibilities

• Przekształcanie eksperymentalnego kodu w produkcyjny pipeline danych
• Tworzenie i optymalizacja potoków danych w PySpark i Spark na YARN
• Współpraca z data scientistami i inżynierami w produkcyjnym rozwiązaniu
• Zapewnianie jakości kodu, tuning wydajności i najlepsze praktyki inżynierii danych
• Integracja potoków danych z chmurą, głównie GCP, monitorowanie i optymalizacja

Skills

Data engineering

PySpark/Spark

SQL proficiency

Spark optimization

GCP knowledge

Tools

PySpark

Spark

YARN

GCP

Job description

ITDS Polska Sp. z o.o. poszukuje Senior PySpark Data Engineer’a do pracy przy projektach klienta lidera w dziedzinie big data i chmurowej integracji.

Będziesz przekształcał eksperymentalny kod w solidne, produkcyjne pipeline’y danych i tworzył rozwiązania umożliwiające analitykę na szeroką skalę. Wymagane jest doświadczenie w PySpark/Spark, SQL oraz pracy z Hadoop i YARN, a także znajomość Google Cloud Platform. Praca w Krakowie w modelu hybrydowym.