Senior Data Platform Engineer — PySpark & Iceberg, Hybrid

ITDS Polska Sp. z o.o.; Kraków; Hybrid; PLN 240,000 - 380,000; Full time

Benefits offered by this job

Stabilna współpraca długoterminowa

Rozwój w sektorze finansów

Praca nad strategicznymi projektami

Ścieżka kariery i szkolenia

Udogodnienia medyczne

Multisport

Pluralsight

Elastyczne godziny pracy

Job summary

ITDS Polska Sp. z o.o. poszukuje Lead Data Platform Engineer do Krakowa w modelu hybrydowym.

Będziesz prowadzić projektowanie i rozwój przepływów danych z PySpark oraz zarządzać tabelami Iceberg, dążyć do optymalizacji zapytań, kosztów i wydajności oraz nadzorować operacje utrzymania i snapshoty. W roli będziesz mentorować młodszych inżynierów, współpracować zzespołami cross-funkcjonalnymi, zapewniać secure i skalowalne rozwiązania oraz dbać o wysoką jakości kodu i CI/CD.

Qualifications

• 7+ lat doświadczenia w data engineeringu lub pokrewnych rolach.
• In-depth PySpark - DataFrame API, tuning i optymalizacja zadań.
• Praktyczne doświadczenie z Apache Iceberg, optymalizacja layoutu plików, partycjonowanie i architektura wewnętrzna.
• Udokumentowana automatyzacja operacji utrzymaniowych i samodzielne prowadzenie obciążeń produkcyjnych.
• Silne fundamenty inżynierii oprogramowania skupione na niezawodnych systemach.
• Doskonała komunikacja po angielsku i umiejętność wpływania na działania między geografiami.
• Podejście Ownership z naciskiem na end-to-end delivery, dyscyplinę i inicjatywę.

Responsibilities

• Projektowanie, rozwój i implementacja przepływów danych i zarządzania tablicami z PySpark i Apache Iceberg.
• Optymalizacja wydajności i kosztów Iceberg poprzez ulepszanie partycjonowania, rozmiarów plików i efektywności zapytań.
• Zarządzanie utrzymaniem Iceberg, w tym snapshoty, kompresja i czyszczenie metadanych.
• Rozwiązywanie problemów platformy dzięki dogłębnej wiedzy o Iceberg (metadata layout, schemas, evolution).
• Promowanie wysokiej jakości inżynierii przez przeglądy kodu, automatyzację i CI/CD oraz obserwowalność.
• Wspieranie niezawodności operacyjnej poprzez wsparcie awaryjne, analizy przyczyn i on-call.

Skills

PySpark

Iceberg

Automation

Software engineering

English

Job description

ITDS Polska Sp. z o.o. poszukuje Lead Data Platform Engineer do Krakowa w modelu hybrydowym.

Będziesz prowadzić projektowanie i rozwój przepływów danych z PySpark oraz zarządzać tabelami Iceberg, dążyć do optymalizacji zapytań, kosztów i wydajności oraz nadzorować operacje utrzymania i snapshoty. W roli będziesz mentorować młodszych inżynierów, współpracować zzespołami cross-funkcjonalnymi, zapewniać secure i skalowalne rozwiązania oraz dbać o wysoką jakości kodu i CI/CD.