Data Engineer

Clurgo; Kraków; Hybrid; PLN 180,000 - 250,000; Full time

Benefits offered by this job

Contract B2B

Hybrid work in Kraków - 8 days/month

Feedback during recruitment process

Job summary

Clurgo poszukuje specjalisty ds. Big Data do zespołu zajmującego się rozwiązaniami z PySpark i GCP. Będziesz projektować, rozwijać i utrzymywać data pipelines w środowisku GCP oraz integrować procesy z Airflow i narzędziami CI/CD.

Wymagane doświadczenie w PySpark/Scala, GCP, Unix/Linux oraz Git/GitHub. Praca w trybie hybrydowym, z 8 dniami w biurze w Krakowie, w ramach kontraktu B2B. Oczekiwany poziom angielskiego na wysokim poziomie.

Qualifications

• Praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z PySpark lub Scala.

Responsibilities

• Projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP.

Skills

PySpark

Python

Airflow

GCP

Hadoop

YARN

Hive

Spark SQL

SQL

Unix/Linux

Git

GitHub

Ansible

Jenkins

Elasticsearch

Tools

Git

GitHub

Ansible

Jenkins

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

• Dołącz do projektu dużej organizacji z sektora finansowego, w którym będziesz odpowiadać za rozwój i utrzymanie rozwiązań z obszaru Big Data oraz data engineering.
• Technologie i narzędzia: PySpark, Python, Apache Spark, GCP, Airflow, Apache Hadoop, YARN, Hive, Spark SQL, SQL, Git, GitHub, Ansible, Jenkins

Szukamy Ciebie, jeśli:

• masz praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala
• posiadasz doświadczenie z Google Cloud Platform (GCP)
• masz doświadczenie w budowaniu i utrzymywaniu data pipelines
• pracowałeś/aś z Airflow
• znasz większość z wymienionych technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce oraz SQL
• swobodnie pracujesz w środowisku Unix/Linux
• masz doświadczenie z Git i GitHub
• znasz narzędzia automatyzacji deploymentu, takie jak Ansible i Jenkins
• swobodnie prezentujesz rozwiązania zarówno odbiorcom biznesowym, jak i technicznym
• komunikujesz się swobodnie w języku angielskim

Mile widziane:

• doświadczenie z Elasticsearch
• doświadczenie w tworzeniu rozwiązań z wykorzystaniem Java APIs
• doświadczenie w procesach data ingestion

Zadania:

• projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• rozwój rozwiązań opartych o PySpark / Apache Spark
• automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• wykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkins
• współpraca z zespołami technicznymi oraz biznesem
• prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• wsparcie w realizacji zadań pozostałych członków zespołu
• identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji

Poznaj nas lepiej https://www.facebook.com/clurgo/