Databricks Data Engineer

Onwelo; Polska; Remote; PLN 120,000 - 180,000; Full time

Benefits offered by this job

Ubezpieczenie na życie

Prywatna opieka medyczna

Karta MultiSport

Szkolenia wewnętrzne

Job summary

Onwelo poszukuje Databricks Data Engineera do pracy przy międzynarodowych projektach dla klientów z branż finansowej, retail i sportu. Praca koncentruje się na budowie i modernizacji platform danych w chmurze Azure, z wykorzystaniem Azure Databricks.

Zakres obejmuje migracje z on-premise do chmury, projektowanie architektury docelowej i rozwój warstw przetwarzania danych. Wymagana jest dobra znajomość PySpark, SQL i Pythona, a także angielski w komunikacji zespołowej.

Qualifications

• Wymagane doświadczenie komercyjne z Azure Databricks i Apache Spark.
• Swoboda pracy z PySpark oraz SQL.
• Zaawansowana znajomość Pythona, projektowanie modułowego i reużywalnego kodu (OOP).
• Wykazywanie najlepszych praktyk Data Engineering: CI/CD, code review, dokumentacja techniczna.
• Znajomość data lake / lakehouse i przetwarzania dużych wolumenów danych.
• Umiejętność pracy w środowisku międzynarodowym i komunikacja po angielsku.

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie pipeline’ów danych w Azure Databricks (PySpark, SQL).
• Pisanie wydajnego, czytelnego i testowalnego kodu w Pythonie (OOP).
• Analiza istniejących procesów danych i projektowanie architektury docelowej w Azure.
• Migracja i refaktoryzacja procesów do architektury data lake/lakehouse.
• Optymalizacja wydajności przetwarzania danych i kosztów chmury.

Skills

Azure Databricks

PySpark

SQL

Python (OOP)

Data Lake / Lakehouse

Data Engineering

Job description

Poznaj Onwelo

Onwelo jest partnerem technologicznym, który dostarcza kompleksowe usługi, od strategii i architektury, przez wdrożenia, po utrzymanie, w obszarach transformacji cyfrowej, danych i automatyzacji. Nasz zespół liczy ponad 400 specjalistów z silnymi kompetencjami seniorskim, a na koncie mamy 300+ zrealizowanych projektów dla dużych organizacji w Polsce, Europie i USA. Działamy z kilku polskich miast oraz z biur w Niemczech, Szwajcarii i USA, łącząc lokalną obecność z globalnym zasięgiem.

O projekcie

Do naszego zespołu poszukujemy Databricks Data Engineera, który dołączy do jednego z realizowanych przez nas projektów dla międzynarodowych klientów z branż takich jak finanse, retail czy sport & lifestyle. Projekty koncentrują się na budowie oraz modernizacji platform danych w chmurze Azure, w tym wdrażaniu i rozwoju rozwiązań opartych o Azure Databricks.

Zakres prac obejmuje zarówno projekty migracyjne (z rozwiązań on-premise do chmury), jak i wdrożenia platform danych od podstaw. W zależności od projektu, współpracujemy z zespołami klienta przy analizie istniejących procesów, projektowaniu architektury docelowej oraz rozwoju kolejnych warstw przetwarzania danych.

Twoje zadania

• Projektowanie, rozwijanie i utrzymywanie pipeline’ów danych w Azure Databricks z wykorzystaniem Apache Spark (PySpark, SQL)
• Pisanie wydajnego, czytelnego i testowalnego kodu w Pythonie (OOP), wykorzystywanego w pipeline’ach danych oraz komponentach wspierających przetwarzanie danych
• Uczestniczenie w analizie istniejących procesów danych oraz projektowaniu ich docelowego kształtu w środowisku Azure
• Migracja i refaktoryzacja procesów przetwarzania danych do architektury data lake / lakehouse
• Optymalizowanie wydajności przetwarzania danych oraz kosztów rozwiązań chmurowych
• Współpracowanie z zespołami klienta i Onwelo przy realizacji projektów data‑driven
• Dbane o jakość danych, stabilność pipeline’ów oraz dokumentację techniczną

Kogo szukamy

• Komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark
• Swobodna praca z PySpark oraz SQL
• Zaawansowana znajomość języka Python, w tym projektowanie modułowego i reużywalnego kodu (OOP), obsługa wyjątków, logging, konfiguracja środowisk, pisanie testów i dbałość o jakość kodu
• Praca zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna
• Znajomość zagadnień związanych z data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych
• Umiejętność współpracy w środowisku projektowym i komunikacji w języku angielskim

Co oferujemy

• Elastyczne godziny oraz możliwość pracy zdalnej
• 80% menedżerów i koordynatorów awansuje wewnętrznie
• Udział w ciekawych projektach dla globalnych klientów
• 90% kadry zarządzającej ma wykształcenie techniczne
• Dostęp do szkoleń wewnętrznych i ścieżek rozwojowych
• Udział w wydarzeniach zespołowych, firmowych spotkaniach i Town Hallach
• Wsparcie w budowaniu profesjonalnego wizerunku (personal branding)
• Dostęp do ubezpieczenia na życie oraz prywatnej opieki medycznej dla siebie i rodziny
• Karta MultiSport, która wspiera dbałość o zdrowie i kondycję