Databricks Data Engineer

Onwelo SA; Polska; Remote; PLN 180,000 - 300,000; Full time

Benefits offered by this job

Elastyczne godziny pracy

Praca zdalna

Szkolenia wewnętrzne

Ubezpieczenie na życie

Job summary

Onwelo SA poszukuje Databricks Data Engineer dołączenia do międzynarodowych projektów dla klientów z branż finansów, retail i sport & lifestyle. Pracować będzie nad budową i modernizacją platform danych w chmurze Azure, w tym nad wdrożeniami opartymi o Azure Databricks.

Zakres obejmuje migracje z on-prem do chmury oraz tworzenie architektury docelowej i kolejnych warstw przetwarzania danych. Oferujemy elastyczne godziny pracy i możliwość pracy zdalnej, wraz z dostępem do szkoleń i rozwoju

Qualifications

• Komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark.
• Swobodna praca z PySpark oraz SQL.
• Zaawansowana znajomość języka Python, w tym projektowanie modułowego i reużywalnego kodu (OOP), obsługa wyjątków, logging, konfiguracja środowisk, pisanie testów i dbałość o jakość kodu.
• Praca zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna.
• Znajomość data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych.
• Umiejętność współpracy w środowisku projektowym i komunikacji w języku angielskim

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie pipeline’ów danych w Azure Databricks z użyciem Apache Spark (PySpark, SQL).
• Pisanie wydajnego, czytelnego i testowalnego kodu w Pythonie (OOP), wykorzystywanego w pipeline’ach danych.
• Analiza istniejących procesów danych i projektowanie docelowego kształtu w środowisku Azure.
• Migracja i refaktoryzacja procesów do architektury data lake / lakehouse.
• Optymalizowanie wydajności przetwarzania danych i kosztów chmury.
• Współpraca z zespołami klienta i Onwelo przy projektach data‑driven.
• Dbane o jakość danych, stabilność pipeline’ów oraz dokumentację techniczną

Skills

Azure Databricks

Apache Spark

PySpark

SQL

Python (OOP)

CI/CD

Data Lake/Lakehouse

English

Tools

Azure Databricks

Apache Spark

Python

CI/CD

SQL

Job description

Poznaj Onwelo

Onwelo jest partnerem technologicznym, który dostarcza kompleksowe usługi, od strategii i architektury, przez wdrożenia, po utrzymanie, w obszarach transformacji cyfrowej, danych i automatyzacji. Nasz zespół liczy ponad 400 specjalistów z silnymi kompetencjami seniorskim, a na koncie mamy 300+ zrealizowanych projektów dla dużych organizacji w Polsce, Europie i USA. Działamy z kilku polskich miast oraz z biur w Niemczech, Szwajcarii i USA, łącząc lokalną obecność z globalnym zasięgiem.

O projekcie

Do naszego zespołu poszukujemy Databricks Data Engineera, który dołączy do jednego z realizowanych przez nas projektów dla międzynarodowych klientów z branż takich jak finanse, retail czy sport & lifestyle. Projekty koncentrują się na budowie oraz modernizacji platform danych w chmurze Azure, w tym wdrażaniu i rozwoju rozwiązań opartych o Azure Databricks.

Zakres prac obejmuje zarówno projekty migracyjne (z rozwiązań on-premise do chmury), jak i wdrożenia platform danych od podstaw. W zależności od projektu, współpracujemy z zespołami klienta przy analizie istniejących procesów, projektowaniu architektury docelowej oraz rozwoju kolejnych warstw przetwarzania danych.

Twoje zadania

• Projektowanie, rozwijanie i utrzymywanie pipeline’ów danych w Azure Databricks z wykorzystaniem Apache Spark (PySpark, SQL)
• Pisanie wydajnego, czytelnego i testowalnego kodu w Pythonie (OOP), wykorzystywanego w pipeline’ach danych oraz komponentach wspierających przetwarzanie danych
• Uczestniczenie w analizie istniejących procesów danych oraz projektowaniu ich docelowego kształtu w środowisku Azure
• Migracja i refaktoryzacja procesów przetwarzania danych do architektury data lake / lakehouse
• Optymalizowanie wydajności przetwarzania danych oraz kosztów rozwiązań chmurowych
• Współpracowanie z zespołami klienta i Onwelo przy realizacji projektów data‑driven
• Dbane o jakość danych, stabilność pipeline’ów oraz dokumentację techniczną

Kogo szukamy

• Komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark
• Swobodna praca z PySpark oraz SQL
• Zaawansowana znajomość języka Python, w tym projektowanie modułowego i reużywalnego kodu (OOP), obsługa wyjątków, logging, konfiguracja środowisk, pisanie testów i dbałość o jakość kodu
• Praca zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna
• Znajomość zagadnień związanych z data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych
• Umiejętność współpracy w środowisku projektowym i komunikacji w języku angielskim

Co oferujemy

• Elastyczne godziny oraz możliwość pracy zdalnej
• 80% menedżerów i koordynatorów awansuje wewnętrznie
• Udział w ciekawych projektach dla globalnych klientów
• 90% kadry zarządzającej ma wykształcenie techniczne
• Dostęp do szkoleń wewnętrznych i ścieżek rozwojowych
• Udział w wydarzeniach zespołowych, firmowych spotkaniach i Town Hallach
• Wsparcie w budowaniu profesjonalnego wizerunku (personal branding)
• Dostęp do ubezpieczenia na życie oraz prywatnej opieki medycznej dla siebie i rodziny
• Karta MultiSport, która wspiera dbałość o zdrowie i kondycję