Data Engineer

Clurgo Ltd.; Kraków; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Praca hybrydowa

Biuro w Krakowie

Job summary

Clurgo Ltd. zaprasza specjalistę ds. Big Data i data engineering do pracy nad projektami z sektora finansowego. Będziesz rozwijać i utrzymywać data pipelines w środowisku GCP, wykorzystując PySpark i Apache Spark, oraz dbać o procesy automatyzacji i schedulowania dzięki Airflow.

Wymagane doświadczenie z GCP, PySpark/Scala, Hadoop, YARN, Hive, Spark SQL i SQL, znajomość Unix/Linux oraz Git/GitHub. Oferujemy pracę w trybie hybrydowym i proces rekrutacyjny z feedbackiem.

Qualifications

• Praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala.
• Doświadczenie z Google Cloud Platform (GCP).
• Doświadczenie w budowaniu i utrzymywaniu data pipelines.
• Praca z Airflow.
• Znajomość Python, Hadoop, YARN, Hive, Spark SQL, Map Reduce i SQL.
• Swoboda pracy w środowisku Unix/Linux.
• Znajomość Git i GitHub.
• Znajomość narzędzi Ansible i Jenkins.
• Swobodne prezentowanie rozwiązań odbiorcom technicznym i biznesowym.
• Komunikacja po angielsku.

Responsibilities

• projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• rozwój rozwiązań opartych o PySpark / Apache Spark
• automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• wykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkins
• współpraca z zespołami technicznymi oraz biznesem
• prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• wsparcie w realizacji zadań pozostałych członków zespołu
• identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

Skills

PySpark

Python

GCP

Airflow

Hadoop

YARN

Hive

Spark SQL

SQL

Unix/Linux

Git

GitHub

Ansible

Jenkins

Tools

Elasticsearch

Java APIs

Data ingestion

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do projektu dużej organizacjiz sektora finansowego, w którym będziesz odpowiadać za rozwój i utrzymanie rozwiązań z obszaru Big Data oraz data engineering.

Technologie i narzędzia: PySpark, Python, Apache Spark, GCP, Airflow, Apache Hadoop, YARN, Hive, Spark SQL, SQL, Git, GitHub, Ansible, Jenkins

Szukamy Ciebie, jeśli:

masz praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala

posiadasz doświadczenie z Google Cloud Platform (GCP)

masz doświadczenie w budowaniu i utrzymywaniu data pipelines

pracowałeś/aś z Airflow

znasz większość z wymienionych technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce oraz SQL

swobodnie pracujesz w środowisku Unix/Linux

masz doświadczenie z Git i GitHub

znasz narzędzia automatyzacji deploymentu, takie jak Ansible i Jenkins

swobodnie prezentujesz rozwiązania zarówno odbiorcom biznesowym, jak i technicznym

komunikujesz się swobodnie w języku angielskim

Mile widziane:

• doświadczenie z Elasticsearch
• doświadczenie w tworzeniu rozwiązań z wykorzystaniem Java APIs
• doświadczenie w procesach data ingestion

Zadania:

• projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• rozwój rozwiązań opartych o PySpark / Apache Spark
• automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• wykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkins
• współpraca z zespołami technicznymi oraz biznesem
• prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• wsparcie w realizacji zadań pozostałych członków zespołu
• identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji