Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Nexio Management Ltd.; Warszawa; Hybride; PLN 180 000 - 240 000; Plein temps

Avantages offerts par ce poste

Medicover

FitProfit

English lessons

F45 gym at office

Internal referral program

IT certification funding

Hybrid/remote/on-site work

Team events & trips

Szlachetna Paczka charity

Résumé du poste

Nexio Management Ltd. poszukuje inżyniera danych do międzynarodowego projektu dla klienta z sektora bankowego. Do zadań należy budowa skalowalnych procesów ETL w chmurze, tworzenie zaawansowanych frameworków testowych i walidacyjnych dla danych biznesowych.

Rola obejmuje prace nad Spark/PySpark na klastrach GCP Dataproc, zasilanie danych do BigQuery oraz automatyzację testów i procesów w środowisku CI/CD. Praca w modelu hybrydowym, z elastycznymi formami współpracy.

Qualifications

• Min. 4+ lat doświadczenia w inżynierii danych w środowiskach rozproszonych.
• Zaawansowany Python z naciskiem na OOP (wzorce projektowe, modularny kod).
• Doświadczenie z PySpark & Apache Spark (optymalizacja jobów, partitioning, monitorowanie klastrów).
• Doświadczenie z Hadoop i dużymi wolumenami danych.
• Praktyczna znajomość Dataproc, BigQuery i Cloud Storage.
• Umiejętność budowania testów automatycznych w Spark/Python, Airflow oraz CI/CD (Jenkins).
• Dobry angielski (min. B2).
• Mile widziane doświadczenie w domenie bankowej lub finansowej.

Responsabilités

• Rozwój procesów przetwarzania danych w chmurze (GCP) i Big Data.
• Projektowanie i optymalizacja zadań Spark/PySpark uruchamianych na klastrach GCP Dataproc i Hadoop.
• Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów i reguł biznesowych.
• Wdrażanie zautomatyzowanych testów i reguł walidacyjnych (Data Quality) w Python/PySpark.
• Zasilanie i transfer danych do chmurowej hurtowni (BigQuery).
• Automatyzacja wdrożeń i harmonogramowanie zadań (Airflow, Jenkins).

Connaissances

Python

PySpark

Apache Spark

Hadoop

Dataproc

BigQuery

Airflow

Jenkins

CI/CD

GCP

English (B2)

Outils

Python/OOP design

Spark/PySpark optimization

Cloud data platforms

Dataproc BigQuery Cloud Storage

Description du poste

Nexio Management to około 550 konsultantów, którzy od ponad 20 lat tworzą zaawansowane rozwiązania IT dla firm w Polsce i za granicą. Jesteśmy zespołem ekspertów, którzy realnie angażują się w projekty swoich klientów.

Specjalizujemy się w budowie, rozwoju i utrzymaniu systemów i aplikacji, oraz doradztwie IT. Wierzymy, że najlepsze rozwiązania powstają wtedy, gdy jest przestrzeń na eksperymentowanie - dlatego mamy własne R&D Center na czele z NexioBot naszym mobilnym robotem asystującym, wykorzystującym sztuczną inteligencję do komunikacji.

Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Opis stanowiska

Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Twój zakres obowiązków

• Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
• Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
• Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.
• Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark.
• Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).
• Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Nasze wymagania

• Min. 4+ lat doświadczenia w inżynierii danych w środowiskach rozproszonych.
• Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).
• Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).
• Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.
• Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.
• Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).
• Dobry angielski (min. B2 do codziennej komunikacji w projekcie).
• Mile widziane: Doświadczenie w domenie bankowej lub finansowej.
• Stabilność zatrudnienia - długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT.
• Elastyczne formy współpracy - umowa B2B, umowa o pracę lub zlecenie.
• Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego.
• Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów.
• Wewnętrzny program poleceń.
• Możliwość finansowania certyfikatów IT.
• W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym.
• Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespół również poza biurem.
• Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #PomagamyNexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.