Lead Data Platform Engineer - PySpark & Iceberg Expert

Mindbox Sp. z o.o.; Kraków; Hybrid; PLN 210,000 - 320,000; Full time

Benefits offered by this job

Hybrid work setup (6 days/month in Kró

Intensive training & growth

Comprehensive benefits (InterPolska, M

Job summary

Mindbox Sp. z o.o. w Krakowie poszukuje doświadczonego Lead Software Engineera, który poprowadzi projektowanie i implementację nowej generacji platform danych.

Dołączysz do zespołu globalnego i będziesz współpracować z zespołami w Polsce, Wielkiej Brytanii, Indiach i Chinach, aby ulepszyć możliwości platformy, poprawić wydajność i zapewnić doskonałość operacyjną. Zakres obejmuje analizę wymagań, projektowanie potoków danych i zarządzania tabelami przy użyciu PySpark i Apache Iceberg, a także

Qualifications

• Hands-on experience with PySpark (DataFrame APIs, tuning, debugging).
• Knowledge of Apache Iceberg: partitioning, file sizing, layout.
• Understanding of Iceberg internals: snapshots, manifests, schema evolution.
• Maintenance: rewrite/compaction, orphan file cleanup, metadata handling.
• Strong software engineering: clean, testable, maintainable code.
• Experience with CI/CD pipelines, observability, production stability improvements.
• Able to work in global teams, excellent communication.
• Ownership mindset and end-to-end delivery.
• Fluency in English (spoken & written).

Responsibilities

• Analyse and capture functional & non-functional requirements for near-term deliveries and long-term evolution.
• Design and implement data pipelines and table management workflows using PySpark and Apache Iceberg.
• Drive Apache Iceberg performance and cost optimisation (e.g., file sizing, partitioning, clustering, query efficiency).
• Manage and improve Apache Iceberg maintenance (compaction, rewrite, snapshot/metadata management, orphan file handling).
• Apply strong understanding of Iceberg internals (metadata layout, schema evolution, partition specs).
• Ensure high engineering standards via code reviews, test automation, CI/CD, observability, and production readiness.
• Provide support for owned services and datasets, including on-call duties.
• Mentor and coach junior engineers; lead technical design discussions.

Skills

PySpark

Software engineering fundamentals

Team collaboration

Problem-solving

English fluency

Tools

Apache Iceberg

CI/CD pipelines

Observability

Job description

Mindbox Sp. z o.o. w Krakowie poszukuje doświadczonego Lead Software Engineera, który poprowadzi projektowanie i implementację nowej generacji platform danych.

Dołączysz do zespołu globalnego i będziesz współpracować z zespołami w Polsce, Wielkiej Brytanii, Indiach i Chinach, aby ulepszyć możliwości platformy, poprawić wydajność i zapewnić doskonałość operacyjną. Zakres obejmuje analizę wymagań, projektowanie potoków danych i zarządzania tabelami przy użyciu PySpark i Apache Iceberg, a także