Senior PySpark Data Engineer – Big Data & Cloud Integration

ITDS Polska Sp. z o.o.; Kraków; Hybrid; PLN 240,000 - 360,000; Full time

Benefits offered by this job

Stabilna i długoterminowa współpraca

Atrakcyjny pakiet medyczny

Multisport Program

Pluralsight access

Elastyczne godziny pracy

Job summary

ITDS Polska Sp. z o.o. poszukuje Senior PySpark Data Engineer’a do pracy przy projektach klienta lidera w dziedzinie big data i chmurowej integracji.

Będziesz przekształcał eksperymentalny kod w solidne, produkcyjne pipeline’y danych i tworzył rozwiązania umożliwiające analitykę na szeroką skalę. Wymagane jest doświadczenie w PySpark/Spark, SQL oraz pracy z Hadoop i YARN, a także znajomość Google Cloud Platform. Praca w Krakowie w modelu hybrydowym.

Qualifications

• 5+ lat doświadczenia w inżynierii danych i PySpark/Spark
• Dobra znajomość SQL i technik optymalizacji Sparka
• Doświadczenie z ekosystemem Hadoop, Spark na YARN
• Znajomość platform chmurowych, preferowany GCP

Responsibilities

• Przekształcanie eksperymentalnego kodu w produkcyjny pipeline danych
• Tworzenie i optymalizacja potoków danych w PySpark i Spark na YARN
• Współpraca z data scientistami i inżynierami w produkcyjnym rozwiązaniu
• Zapewnianie jakości kodu, tuning wydajności i najlepsze praktyki inżynierii danych
• Integracja potoków danych z chmurą, głównie GCP, monitorowanie i optymalizacja

Skills

Data engineering

PySpark/Spark

SQL proficiency

Spark optimization

GCP knowledge

Tools

PySpark

Spark

YARN

GCP

Job description

Nasze wymagania:

• 5+ years of experience in data engineering and PySpark/Spark development.
• Strong SQL skills and experience with Spark optimization techniques.
• Hands‑on experience with the Hadoop ecosystem, especially Spark on YARN.
• Knowledge of cloud platforms, preferably GCP, is a strong plus.

Mile widziane:

• Certifications or additional experience in cloud computing or big data solutions.

O projekcie:

As a Senior PySpark Data Engineer, you will be working for our client, a leader in large-scale data engineering and cloud integration. You will play a pivotal role in converting cutting-edge experimental code into robust, production-ready data pipelines, enabling innovative solutions across diverse projects. Join a dynamic environment where your expertise accelerates data-driven decision-making and fosters technological advancement.

Unleash the power of data — transform experimental insights into scalable, high-performance workflows!

Kraków-based opportunity with hybrid work model.

Only candidates with an existing legal right to work in Europe will be considered for this role.

Zakres obowiązków:

• Convert experimental code into scalable, efficient workflows and modules.
• Develop and optimize data pipelines using PySpark and Spark on YARN.
• Collaborate with data scientists and engineers to productionize analytical solutions.
• Ensure code quality, perform performance tuning, and implement best data engineering practices.
• Maintain and improve performance of data workflows in a large-scale environment.
• Integrate data pipelines within cloud ecosystems, primarily Google Cloud Platform (GCP).
• Support continuous improvement through performance monitoring and optimization.

Oferujemy:

• Stable and long-term cooperation with very good conditions
• Enhance your skills and develop your expertise in the financial industry
• Work on the most strategic projects available in the market
• Define your career roadmap and develop yourself in the best and fastest possible way by delivering strategic projects for different clients of ITDS over several years
• Participate in Social Events, training, and work in an international environment
• Access to attractive Medical Package
• Access to Multisport Program
• Access to Pluralsight
• Flexible hours