Lead Data Platform Engineer – Apache Iceberg & PySpark

ITDS Polska Sp. z o.o.; Kraków; Hybrid; PLN 240,000 - 380,000; Full time

Benefits offered by this job

Stabilna współpraca długoterminowa

Rozwój w sektorze finansów

Praca nad strategicznymi projektami

Ścieżka kariery i szkolenia

Udogodnienia medyczne

Multisport

Pluralsight

Elastyczne godziny pracy

Job summary

ITDS Polska Sp. z o.o. poszukuje Lead Data Platform Engineer do Krakowa w modelu hybrydowym.

Będziesz prowadzić projektowanie i rozwój przepływów danych z PySpark oraz zarządzać tabelami Iceberg, dążyć do optymalizacji zapytań, kosztów i wydajności oraz nadzorować operacje utrzymania i snapshoty. W roli będziesz mentorować młodszych inżynierów, współpracować zzespołami cross-funkcjonalnymi, zapewniać secure i skalowalne rozwiązania oraz dbać o wysoką jakości kodu i CI/CD.

Qualifications

• 7+ lat doświadczenia w data engineeringu lub pokrewnych rolach.
• In-depth PySpark - DataFrame API, tuning i optymalizacja zadań.
• Praktyczne doświadczenie z Apache Iceberg, optymalizacja layoutu plików, partycjonowanie i architektura wewnętrzna.
• Udokumentowana automatyzacja operacji utrzymaniowych i samodzielne prowadzenie obciążeń produkcyjnych.
• Silne fundamenty inżynierii oprogramowania skupione na niezawodnych systemach.
• Doskonała komunikacja po angielsku i umiejętność wpływania na działania między geografiami.
• Podejście Ownership z naciskiem na end-to-end delivery, dyscyplinę i inicjatywę.

Responsibilities

• Projektowanie, rozwój i implementacja przepływów danych i zarządzania tablicami z PySpark i Apache Iceberg.
• Optymalizacja wydajności i kosztów Iceberg poprzez ulepszanie partycjonowania, rozmiarów plików i efektywności zapytań.
• Zarządzanie utrzymaniem Iceberg, w tym snapshoty, kompresja i czyszczenie metadanych.
• Rozwiązywanie problemów platformy dzięki dogłębnej wiedzy o Iceberg (metadata layout, schemas, evolution).
• Promowanie wysokiej jakości inżynierii przez przeglądy kodu, automatyzację i CI/CD oraz obserwowalność.
• Wspieranie niezawodności operacyjnej poprzez wsparcie awaryjne, analizy przyczyn i on-call.

Skills

PySpark

Iceberg

Automation

Software engineering

English

Job description

Nasze wymagania:

• 7+ years of experience in data engineering or related roles.
• Strong hands-on expertise in PySpark, including DataFrame APIs, performance tuning, and job optimization.
• Practical experience with Apache Iceberg, especially in optimizing file layout, partitioning, and understanding internal architecture.
• Proven ability to automate maintenance operations and operate production data workloads independently.
• Solid software engineering fundamentals with a focus on reliable, maintainable systems.
• Excellent communication skills in English and the ability to influence across geographies.
• Ownership mindset with a focus on end-to-end delivery, discipline, and initiative.

Mile widziane:

• Certifications or additional skills in Big Data, Cloud platforms, or related fields.

O projekcie:

As a Lead Data Platform Engineer, you will be working for our client, a global financial services organization, dedicated to delivering innovative technology solutions for Investment Banking. You will play a pivotal role in shaping and optimizing data pipelines and storage strategies that drive strategic insights and operational excellence. Join us to lead transformative initiatives at the fronte of data engineering and unlock new levels of performance and efficiency.

Ignite data innovation master the future of large-scale analytics with cutting-edge technologies!

Krakow-based opportunity with hybrid work model.

Only candidates with an existing legal right to work in Europe will be considered for this role.

Zakres obowiązków:

• Lead the design, development, and implementation of data pipelines and table management workflows using PySpark and Apache Iceberg.
• Drive performance and cost optimization for Apache Iceberg by refining partitioning strategies, file sizing, and query efficiency.
• Manage and improve Apache Iceberg maintenance operations, including snapshot management, compaction, and metadata cleanup.
• Troubleshoot platform issues by applying deep understanding of Apache Iceberg internals such as metadata layout, schemas, and schema evolution.
• Promote engineering excellence through code reviews, automation, and best practices in CI/CD and observability.
• Support operational reliability by participating in on-call duties, incident response, and root cause analysis.
• Collaborate with cross-functional teams, influence architectural decisions, and mentor less experienced engineers.
• Partner with stakeholders to ensure solutions are secure, scalable, and compliant.

Oferujemy:

• Stable and long-term cooperation with very good conditions
• Enhance your skills and develop your expertise in the financial industry
• Work on the most strategic projects available in the market
• Define your career roadmap and develop yourself in the best and fastest possible way by delivering strategic projects for different clients of ITDS over several years
• Participate in Social Events, training, and work in an international environment
• Access to attractive Medical Package
• Access to Multisport Program
• Access to Pluralsight
• Flexible hours