Data Engineer

Clurgo Ltd.; Kraków; Hybrid; PLN 120,000 - 170,000; Full time

Job summary

Clurgo to firma stworzona przez developerów dla developerów. Realizujemy projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i work-life balance. Dołącz do dużej organizacji z sektora finansowego i rozwijaj rozwiązania z obszaru Big Data i data engineering.

Praca w Krakowie, hybrydowa, z kontraktem B2B. Wymagana jest znajomość PySpark/Scala, GCP, Airflow oraz doświadczenie w buildingu i utrzymywaniu data pipelines.

Qualifications

• Doświadczony w rozwoju i projektowaniu rozwiązań z PySpark lub Scala.

Responsibilities

• Projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP.
• Rozwój rozwiązań opartych o PySpark / Apache Spark.
• Automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow.
• Wykorzystanie Git/GitHub oraz narzędzi takich jak Ansible i Jenkins.
• Współpraca z zespołami technicznymi oraz biznesem.
• Prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym.
• Wsparcie w realizacji zadań pozostałych członków zespołu.
• Identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów.

Skills

PySpark

Scala

GCP

Airflow

Python

Hadoop

YARN

Hive

Spark SQL

SQL

Git

GitHub

Unix/Linux

Ansible

Jenkins

Tools

Git

GitHub

Ansible

Jenkins

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do projektu dużej organizacjiz sektora finansowego, w którym będziesz odpowiadać za rozwój i utrzymanie rozwiązań z obszaru Big Data oraz data engineering.

Technologie i narzędzia: PySpark, Python, Apache Spark, GCP, Airflow, Apache Hadoop, YARN, Hive, Spark SQL, SQL, Git, GitHub, Ansible, Jenkins

Szukamy Ciebie, jeśli:

masz praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala

posiadasz doświadczenie z Google Cloud Platform (GCP)

masz doświadczenie w budowaniu i utrzymywaniu data pipelines

pracowałeś/aś z Airflow

znasz większość z wymienionych technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce oraz SQL

swobodnie pracujesz w środowisku Unix/Linux

masz doświadczenie z Git i GitHub

znasz narzędzia automatyzacji deploymentu, takie jak Ansible i Jenkins

swobodnie prezentujesz rozwiązania zarówno odbiorcom biznesowym, jak i technicznym

komunikujesz się swobodnie w języku angielskim

Mile widziane:

• doświadczenie z Elasticsearch
• doświadczenie w tworzeniu rozwiązań z wykorzystaniem Java APIs
• doświadczenie w procesach data ingestion

Zadania:

• projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• rozwój rozwiązań opartych o PySpark / Apache Spark
• automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• wykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkins
• współpraca z zespołami technicznymi oraz biznesem
• prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• wsparcie w realizacji zadań pozostałych członków zespołu
• identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji