Data Engineer | Scala, Java, Python • Airflow & GCP

Clurgo Ltd.; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

Clurgo Ltd. poszukuje specjalisty Data Engineering do zespołu w Krakowie. Dołączysz do projektów IT dla klientów z różnych branż, koncentrując się na budowie i utrzymaniu pipeline’ów danych oraz orkiestracji workflowów w Apache Airflow.

Wymagane są min. 3 lata doświadczenia, zaawansowana znajomość Scala, Java i Python, a także umiejętność pracy z SQL, CI/CD i REST API. Pracę realizujesz w modelu hybrydowym, w biurze w Krakowie.

Qualifications

• Minimum 3 lata doświadczenia w Data Engineering lub zbliżonej roli.
• Dobrze opanowana Scala, Java i Python.
• Dobra znajomość SQL i budowa skalowalnych pipeline’ów.
• Doświadczenie z Apache Airflow.
• Znajomość REST API, Git i CI/CD.
• Umiejętność diagnozowania problemów i odpowiedzialność za komponenty.
• Dobra współpraca z Data Architectami, Software Engineerami i biznesem.

Responsibilities

• Projektowanie, rozwój i utrzymanie pipeline’ów danych oraz frameworków Data Engineering.
• Tworzenie skalowalnych rozwiązań z użyciem Scala, Java i Python.
• Rozwój i utrzymanie workflowów w Apache Airflow.
• Integracja platform danych poprzez REST API.
• Udział w rozwoju architektury Data Fabric, w tym governance i discovery.
• Monitorowanie, diagnozowanie i optymalizacja wydajności oraz jakości danych.
• Stosowanie praktyk inżynieryjskich, w tym version control, testing, code review i CI/CD.
• Współpraca z architektami danych, inżynierami oprogramowania i interesariuszami biznesowymi.

Skills

Data Engineering

Scala

Java

Python

SQL

Apache Airflow

REST API

Git

CI/CD

Collaboration

Data Fabric

Tools

GCP

BigQuery

Cloud Storage

Pub/Sub

Dataflow

Dataproc

Spark

Job description

Clurgo Ltd. poszukuje specjalisty Data Engineering do zespołu w Krakowie. Dołączysz do projektów IT dla klientów z różnych branż, koncentrując się na budowie i utrzymaniu pipeline’ów danych oraz orkiestracji workflowów w Apache Airflow.

Wymagane są min. 3 lata doświadczenia, zaawansowana znajomość Scala, Java i Python, a także umiejętność pracy z SQL, CI/CD i REST API. Pracę realizujesz w modelu hybrydowym, w biurze w Krakowie.