Data Engineer (Scala/Java/Python)

Clurgo Ltd.; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

Clurgo Ltd. poszukuje specjalisty Data Engineering do zespołu w Krakowie. Dołączysz do projektów IT dla klientów z różnych branż, koncentrując się na budowie i utrzymaniu pipeline’ów danych oraz orkiestracji workflowów w Apache Airflow.

Wymagane są min. 3 lata doświadczenia, zaawansowana znajomość Scala, Java i Python, a także umiejętność pracy z SQL, CI/CD i REST API. Pracę realizujesz w modelu hybrydowym, w biurze w Krakowie.

Qualifications

• Minimum 3 lata doświadczenia w Data Engineering lub zbliżonej roli.
• Dobrze opanowana Scala, Java i Python.
• Dobra znajomość SQL i budowa skalowalnych pipeline’ów.
• Doświadczenie z Apache Airflow.
• Znajomość REST API, Git i CI/CD.
• Umiejętność diagnozowania problemów i odpowiedzialność za komponenty.
• Dobra współpraca z Data Architectami, Software Engineerami i biznesem.

Responsibilities

• Projektowanie, rozwój i utrzymanie pipeline’ów danych oraz frameworków Data Engineering.
• Tworzenie skalowalnych rozwiązań z użyciem Scala, Java i Python.
• Rozwój i utrzymanie workflowów w Apache Airflow.
• Integracja platform danych poprzez REST API.
• Udział w rozwoju architektury Data Fabric, w tym governance i discovery.
• Monitorowanie, diagnozowanie i optymalizacja wydajności oraz jakości danych.
• Stosowanie praktyk inżynieryjskich, w tym version control, testing, code review i CI/CD.
• Współpraca z architektami danych, inżynierami oprogramowania i interesariuszami biznesowymi.

Skills

Data Engineering

Scala

Java

Python

SQL

Apache Airflow

REST API

Git

CI/CD

Collaboration

Data Fabric

Tools

GCP

BigQuery

Cloud Storage

Pub/Sub

Dataflow

Dataproc

Spark

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Technologie i narzędzia: Scala, Java, Python, SQL, Apache Airflow, REST API, Git, CI/CD, Google Cloud Platform (GCP), BigQuery, Cloud Storage, Pub/Sub, Dataflow, Dataproc, Apache Spark

Szukamy Ciebie, jeśli:

• masz minimum 3 lata doświadczenia w Data Engineering lub zbliżonej roli i bardzo dobrze programujesz w Scala, Java oraz Pythonie,
• dobrze znasz SQL oraz potrafisz budować i utrzymywać skalowalne pipeliny oraz rozwiązania do przetwarzania danych,
• pracowałeś/aś z Apache Airflow przy tworzeniu, orkiestracji i utrzymaniu workflowów danych,
• masz doświadczenie z REST API, Git i CI/CD oraz stosujesz dobre praktyki Software Engineering w projektach data,
• potrafisz samodzielnie diagnozować problemy, optymalizować rozwiązania i bierzesz odpowiedzialność za dostarczane komponenty
• dobrze odnajdujesz się we współpracy z Data Architectami, Software Engineerami, zespołami platformowymi, analitykami i biznesem

Mile widziane:

• doświadczenie z Google Cloud Platform (GCP) i usługami takimi jak BigQuery, Cloud Storage, Pub/Sub, Dataflow czy Dataproc,
• znajomość Apache Spark i rozwiązań do rozproszonego przetwarzania danych,
• doświadczenie z architekturą Data Fabric, integracją danych, governance, data discovery i kontrolą dostępu

Zadania:

• projektowanie, rozwój i utrzymanie niezawodnych pipeline’ów danych oraz frameworków Data Engineering,
• tworzenie skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem Scala, Java i Python,
• rozwój i utrzymanie workflowów w Apache Airflow,
• integracja platform danych, aplikacji i innych komponentów poprzez REST API,
• udział w rozwoju architektury Data Fabric, w tym integracji danych, governance, discovery oraz access management,
• monitorowanie, diagnozowanie i optymalizacja wydajności, odporności i jakości rozwiązań danych,
• stosowanie dobrych praktyk inżynierskich, m.in. version control, testing, code review, dokumentacji i CI/CD,
• współpraca z architektami danych, inżynierami oprogramowania, zespołami platformowymi, analitykami oraz interesariuszami biznesowymi

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej 6x w miesiącie z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji