Lead Data Engineer - PySpark & Iceberg, Hybrid

Mindbox Sp. z o.o.; Kraków; Hybrid; PLN 200,000 - 320,000; Full time

Benefits offered by this job

Interpolska Health Care

Multisport card

Warta Insurance

Job summary

Mindbox Sp. z o.o. poszukuje doświadczonego Lead Data Engineer, by dołączyć do globalnego zespołu i zaprojektować nowe platformy danych.

Będziesz współpracować z zespołami w Polsce, Wielkiej Brytanii, Indiach i Chinach, aby zwiększyć możliwości platformy, poprawić wydajność i zapewnić operacyjną doskonałość. Zakres obowiązków obejmuje projektowanie i implementację potoków danych w PySpark i Iceberg, optymalizację wydajności oraz nadzorowanie utrzymania Iceberg.

Qualifications

• Duże doświadczenie w PySpark (DataFrame APIs, tuning, debugging).
• Praktyczna wiedza z Iceberg, w tym snapshots, manifests, schema evolution.
• Doświadczenie w CI/CD, obserwowalności i stabilności w produkcji.
• Umiejętność pracy w globalnych zespołach i skuteczna komunikacja po angielsku.
• Podejście ownership i odpowiedzialność za delivery end-to-end.

Responsibilities

• Projektowanie i implementacja potoków danych z PySpark i Iceberg.
• Zwiększanie wydajności Iceberg poprzez optymalizację partycjonowania i wielkości plików.
• Zarządzanie utrzymaniem Iceberg (compaction, rewrite, metadata).
• Zapewnienie wysokich standardów inżynieryjnych przez review, testy, CI/CD i on-call.
• Mentorowanie inżynierów i prowadzenie dyskusji technicznych.

Skills

PySpark

Apache Iceberg

CI/CD

Observability

Global teams

Ownership mindset

English fluency

Software engineering fundamentals

Job description

Mindbox Sp. z o.o. poszukuje doświadczonego Lead Data Engineer, by dołączyć do globalnego zespołu i zaprojektować nowe platformy danych.

Będziesz współpracować z zespołami w Polsce, Wielkiej Brytanii, Indiach i Chinach, aby zwiększyć możliwości platformy, poprawić wydajność i zapewnić operacyjną doskonałość. Zakres obowiązków obejmuje projektowanie i implementację potoków danych w PySpark i Iceberg, optymalizację wydajności oraz nadzorowanie utrzymania Iceberg.