Databricks Data Engineer

Onwelo; Poland; Hybrid; PLN 133,920 - 200,880; Full time

Benefits offered by this job

Elastyczne godziny pracy

Praca w trybie hybrydowym lub zdalnym

Dodatkowe ubezpieczenie na życie

Prywatna opieka medyczna

Karta MultiSport Plus

Szkolenia wewnętrzne

Job summary

Nowoczesna firma technologiczna w Polsce poszukuje Data Engineera do pracy z Azure Databricks. Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i rozwijanie pipeline’ów danych oraz migrację procesów do chmury. Idealny kandydat ma doświadczenie z Apache Spark oraz znajomość Pythona. Praca w trybie hybrydowym lub zdalnym z elastycznymi godzinami pracy oraz dostępem do szkoleń.

Qualifications

• Komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark.
• Znajomość PySpark i SQL.
• Zaawansowana znajomość Pythona, w tym OOP.
• Zgodność z najlepszymi praktykami w Data Engineering.
• Zrozumienie zagadnień data lake i lakehouse.
• Umiejętność współpracy w środowisku projektowym.

Responsibilities

• Projektowanie i rozwój pipeline’ów danych w Azure Databricks.
• Pisz wydajny i testowalny kod w Pythonie.
• Analiza istniejących procesów danych i projektowanie architektury.
• Migracja procesów do architektury data lake / lakehouse.
• Optymalizacja wydajności i kosztów rozwiązań chmurowych.
• Współpraca z zespołami klienta oraz Onwelo.

Skills

Doświadczenie z Azure Databricks

Praca z PySpark

Znajomość SQL

Programowanie w Pythonie

Znajomości o OOP

Praktyki Data Engineering

Komunikacja w języku angielskim

Tools

Apache Spark

Azure

Job description

Poznaj Onwelo

Jesteśmy nowoczesną polską firmą technologiczną, która dostarcza wsparcie eksperckie organizacjom na całym świecie. Tworzymy, rozwijamy i utrzymujemy zaawansowane rozwiązania IT, oferując przy tym solidne zaplecze kompetencyjne. W ciągu kilku lat zrealizowaliśmy ponad 300 projektów w Europie i USA, dynamicznie rozbudowując zespół do kilkuset specjalistów i otwierając kilka biur w Polsce oraz oddziały w USA, Niemczech i Szwajcarii.

O projekcie

Do naszego zespołu poszukujemy Databricks Data Engineera, który dołączy do jednego z realizowanych przez nas projektów dla międzynarodowych klientów z branż takich jak finanse, retail czy sport & lifestyle. Projekty koncentrują się na budowie oraz modernizacji platform danych w chmurze Azure, w tym wdrażaniu i rozwoju rozwiązań opartych o Azure Databricks.

Zakres prac obejmuje zarówno projekty migracyjne (z rozwiązań on-premise do chmury), jak i wdrożenia platform danych od podstaw. W zależności od projektu, współpracujemy z zespołami klienta przy analizie istniejących procesów, projektowaniu architektury docelowej oraz rozwoju kolejnych warstw przetwarzania danych.

Z nami będziesz

• Projektować, rozwijać i utrzymywać pipeline’y danych w Azure Databricks z wykorzystaniem Apache Spark (PySpark, SQL)
• Pisać wydajny, czytelny i testowalny kod w Pythonie, wykorzystywany w pipeline’ach danych oraz komponentach wspierających przetwarzanie danych (OOP)
• Uczestniczyć w analizie istniejących procesów danych oraz projektowaniu ich docelowego kształtu w środowisku Azure
• Migrować i refaktoryzować procesy przetwarzania danych do architektury data lake / lakehouse
• Optymalizować wydajność przetwarzania danych oraz koszty rozwiązań chmurowych
• Współpracować z zespołami klienta i Onwelo przy realizacji projektów data-driven
• Dbać o jakość danych, stabilność pipeline’ów oraz dokumentację techniczną

Czekamy na Ciebie, jeśli

• Masz komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark
• Swobodnie pracujesz z PySpark oraz SQL
• Posiadasz zaawansowaną znajomość języka Python, w tym: projektowanie modułowego i reużywalnego kodu w oparciu o OOP, obsługę wyjątków, logging oraz konfigurację środowisk, pisanie testów i dbanie o jakość kodu
• Pracujesz zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna
• Znasz zagadnienia związane z data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych
• Potrafisz współpracować w środowisku projektowym i komunikować się w języku angielskim

Dowiedz się, jak skorzystasz, będąc w Onwelo

• Wybierzesz wygodną dla Ciebie formę zatrudnienia
• Otrzymasz możliwość korzystania z elastycznych godzin pracy
• Praca w trybie hybrydowym lub zdalnym
• Zaoszczędzisz czas na dojazdach – pracuj w naszym atrakcyjnie zlokalizowanym biurze w jednym z 5 miast w Polsce
• Rozwiniesz swoje umiejętności, współpracując z doświadczonymi ekspertami
• Będziesz pracować z wykorzystaniem nowych technologii
• Uzyskasz dostęp do szkoleń wewnętrznych
• Weźmiesz udział w ciekawych projektach dla polskich i międzynarodowych klientów
• Będzie na Ciebie czekać przyjazne i komfortowe środowisko pracy
• Integracje firmowe pozwolą Ci na bliższe poznanie zespołu
• Zabezpieczysz swoją przyszłość, korzystając z dodatkowego ubezpieczenia na życie
• Z prywatną opieką medyczną zadbasz o zdrowie swoje i swoich bliskich
• Karta MultiSport Plus umożliwi Ci prowadzenie aktywnego trybu życia