Data Engineer — Big Data & PySpark on GCP (Hybrid)

Clurgo Ltd.; Kraków; Hybrid; PLN 120,000 - 170,000; Full time

Job summary

Clurgo to firma stworzona przez developerów dla developerów. Realizujemy projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i work-life balance. Dołącz do dużej organizacji z sektora finansowego i rozwijaj rozwiązania z obszaru Big Data i data engineering.

Praca w Krakowie, hybrydowa, z kontraktem B2B. Wymagana jest znajomość PySpark/Scala, GCP, Airflow oraz doświadczenie w buildingu i utrzymywaniu data pipelines.

Qualifications

• Doświadczony w rozwoju i projektowaniu rozwiązań z PySpark lub Scala.

Responsibilities

• Projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP.
• Rozwój rozwiązań opartych o PySpark / Apache Spark.
• Automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow.
• Wykorzystanie Git/GitHub oraz narzędzi takich jak Ansible i Jenkins.
• Współpraca z zespołami technicznymi oraz biznesem.
• Prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym.
• Wsparcie w realizacji zadań pozostałych członków zespołu.
• Identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów.

Skills

PySpark

Scala

GCP

Airflow

Python

Hadoop

YARN

Hive

Spark SQL

SQL

Git

GitHub

Unix/Linux

Ansible

Jenkins

Tools

Git

GitHub

Ansible

Jenkins

Job description

Clurgo to firma stworzona przez developerów dla developerów. Realizujemy projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i work-life balance. Dołącz do dużej organizacji z sektora finansowego i rozwijaj rozwiązania z obszaru Big Data i data engineering.

Praca w Krakowie, hybrydowa, z kontraktem B2B. Wymagana jest znajomość PySpark/Scala, GCP, Airflow oraz doświadczenie w buildingu i utrzymywaniu data pipelines.