Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Nexio Management Ltd.; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Medicover - dental coverage

FitProfit

English lessons

F45 gym in office

Internal referral program

IT certs financing

Team events and trips

Szlachetna Paczka / #PomagamyNexio

Job summary

Nexio Management Ltd. poszukuje inżyniera danych z silnym zapleczem Python/PySpark do międzynarodowego projektu w sektorze bankowym. Rola łączy budowę skalowalnych procesów ETL w chmurze z tworzeniem frameworków walidacyjnych dla danych krytycznych.

Zakres obejmuje rozwój procesów w GCP, optymalizację Spark na klastrach Dataproc, tworzenie testów automatycznych i automatyzację wdrożeń z Airflow i Jenkins, a także zasilanie danych do BigQuery. Oferujemy pracę hybrydową w Krakowie.

Qualifications

• Co najmniej 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych.
• Zaawansowany Python z naciskiem na OOP i czytelny kod.
• Doświadczenie z PySpark, Apache Spark i optymalizacją jobów.
• Praca w ekosystemie Hadoop i dużych wolumenach danych.
• Praktyczna znajomość Dataproc, BigQuery i Cloud Storage.
• Umiejętność budowania testów automatycznych na styku Spark/Python.
• English min. B2 do codziennej komunikacji w projekcie.

Responsibilities

• Rozwój procesów przetwarzania danych w chmurze (GCP) i Big Data.
• Projektowanie i optymalizacja zadań Spark/PySpark na klastrach Dataproc.
• Budowa frameworków walidacyjnych i testów danych.
• Wdrażanie reguł walidacyjnych i Data Quality w Python/PySpark.
• Zasilanie danych do hurtowni BigQuery i automatyzacja towarzysząca deploymentom.
• Automatyzacja wdrożeń i harmonogramowanie zadań (Airflow, Jenkins).

Skills

Python

PySpark

Apache Spark

Cloud Dataproc

BigQuery

Hadoop ecosystem

Airflow

Jenkins

CI/CD

English (B2)

Banking domain experience

Test automation

Tools

Google Cloud Platform (GCP)

Cloud Storage

Dataproc

BigQuery

CI/CD pipelines

Job description

Nexio Management to około 550 konsultantów, którzy od ponad 20 lat tworzą zaawansowane rozwiązania IT dla firm w Polsce i za granicą. Jesteśmy zespołem ekspertów, którzy realnie angażują się w projekty swoich klientów.

Specjalizujemy się w budowie, rozwoju i utrzymaniu systemów i aplikacji, oraz doradztwie IT. Wierzymy, że najlepsze rozwiązania powstają wtedy, gdy jest przestrzeń na eksperymentowanie - dlatego mamy własne R&D Center na czele z NexioBot naszym mobilnym robotem asystującym, wykorzystującym sztuczną inteligencję do komunikacji.

Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Opis stanowiska

Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Twój zakres obowiązków

• Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
• Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
• Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.
• Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark.
• Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).
• Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Nasze wymagania

• Min. 4+ lat doświadczenia w inżynierii danych w środowiskach rozproszonych.
• Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).
• Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).
• Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.
• Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.
• Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).
• Dobry angielski (min. B2 do codziennej komunikacji w projekcie).
• Mile widziane: Doświadczenie w domenie bankowej lub finansowej.
• Stabilność zatrudnienia - długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT.
• Elastyczne formy współpracy - umowa B2B, umowa o pracę lub zlecenie.
• Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego.
• Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów.
• Wewnętrzny program poleceń.
• Możliwość finansowania certyfikatów IT.
• W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym.
• Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespół również poza biurem.
• Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #PomagamyNexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.