Cloud Data Engineer (Databricks)

Clurgo; Warszawa; Hybrid; PLN 240,000 - 360,000; Full time

Benefits offered by this job

Opieka medyczna

Karta multisport

Lekcje języka angielskiego

Integracja zespołu

Job summary

Clurgo zaprasza do międzynarodowego projektu z obszaru Data Engineering. Będziesz rozwijać i modernizować rozwiązania w środowisku chmurowym AWS, pracując z Databricks i Matillion oraz migrując istniejące procesy danych do nowej architektury.

Dołączysz do zespołu, który współpracuje z klientem i ma realny wpływ na kierunek techniczny platformy. Wymagamy minimum 5 lat doświadczenia w Data Engineering, znajomości Databricks, Pythona i rozwiązań AWS, a także doświadczenia z hurtowniami danych

Qualifications

• Minimum 5 years of experience in Data Engineering and ETL/ELT development.
• Strong knowledge of Databricks, Python and AWS data engineering solutions.
• Experience with data warehouses, especially Amazon Redshift.
• Ability to analyze existing solutions, propose improvements and take technical decisions; migration experience is a plus.
• English communication at least B2 and direct client collaboration.

Responsibilities

• Develop Data Engineering solutions in the client environment.
• Support new projects based on Databricks.
• Participate in planned migration from Matillion to Databricks.
• Translate business and technical needs into Data Engineering solutions.
• Identify issues and propose improvements for the evolving platform.
• Share knowledge and build Databricks competencies within the team.

Skills

Data engineering

ETL/ELT

Databricks

Python

AWS

Amazon Redshift

Matillion

English (B2)

Tools

Databricks

Python

Matillion

Amazon Redshift

AWS

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do międzynarodowego projektu z obszaru mediów, w którym będziesz rozwijać i modernizować rozwiązania Data Engineering w środowisku chmurowym AWS. Projekt koncentruje się na migracji istniejących procesów i rozwiązań danych do nowoczesnej architektury opartej na Databricks oraz rozwijaniu skalowalnych procesów przetwarzania danych. Będziesz mieć możliwość współpracy bezpośrednio z zespołem klienta oraz realnego wpływu na kierunek techniczny rozwijanej platformy.

Technologie i narzędzia: Databricks, AWS, Python, Matillion, Amazon Redshift.

Szukamy Ciebie, jeśli:

• masz minimum 5 lat doświadczenia w Data Engineering oraz praktyczne doświadczenie w budowie i rozwoju procesów ETL/ELT
• bardzo dobrze znasz Databricks, Python oraz rozwiązania data engineeringowe działające w środowisku AWS
• masz doświadczenie z nowoczesnymi platformami danych oraz pracą z hurtowniami danych, w szczególności Amazon Redshift
• potrafisz samodzielnie analizować istniejące rozwiązania, proponować usprawnienia i podejmować decyzje techniczne; doświadczenie z migracją platform danych będzie dodatkowym atutem
• swobodnie komunikujesz się w języku angielskim na poziomie minimum B2 i dobrze odnajdujesz się w bezpośredniej współpracy z klientem

Mile widziane:

• doświadczenie z Matillion
• doświadczenie w migracjach rozwiązań danych lub modernizacji platform data engineeringowych
• doświadczenie w pracy z międzynarodowymi zespołami

Zadania:

• rozwój rozwiązań Data Engineering w środowisku klienta
• wsparcie nowych projektów opartych o Databricks
• udział w planowanej migracji z Matillion do Databricks
• projektowanie potrzeb biznesowych i technicznych oraz przekładanie ich na rozwiązania Data Engineering
• identyfikowanie problemów oraz proponowanie usprawnień w rozwijanej platformie
• dzielenie się wiedzą i budowanie kompetencji Databricks wewnątrz zespołu

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy zdalnej
• benefitów: opieka medyczna, karta multisport, lekcje języka angielskiego
• integracji - lubimy spędzać razem czas
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji

Poznaj nas lepiej https://www.facebook.com/clurgo/