Big Data Engineer – PySpark, GCP, Airflow

Clurgo Ltd.; Kraków; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Praca hybrydowa

Biuro w Krakowie

Job summary

Clurgo Ltd. zaprasza specjalistę ds. Big Data i data engineering do pracy nad projektami z sektora finansowego. Będziesz rozwijać i utrzymywać data pipelines w środowisku GCP, wykorzystując PySpark i Apache Spark, oraz dbać o procesy automatyzacji i schedulowania dzięki Airflow.

Wymagane doświadczenie z GCP, PySpark/Scala, Hadoop, YARN, Hive, Spark SQL i SQL, znajomość Unix/Linux oraz Git/GitHub. Oferujemy pracę w trybie hybrydowym i proces rekrutacyjny z feedbackiem.

Qualifications

• Praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala.
• Doświadczenie z Google Cloud Platform (GCP).
• Doświadczenie w budowaniu i utrzymywaniu data pipelines.
• Praca z Airflow.
• Znajomość Python, Hadoop, YARN, Hive, Spark SQL, Map Reduce i SQL.
• Swoboda pracy w środowisku Unix/Linux.
• Znajomość Git i GitHub.
• Znajomość narzędzi Ansible i Jenkins.
• Swobodne prezentowanie rozwiązań odbiorcom technicznym i biznesowym.
• Komunikacja po angielsku.

Responsibilities

• projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• rozwój rozwiązań opartych o PySpark / Apache Spark
• automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• wykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkins
• współpraca z zespołami technicznymi oraz biznesem
• prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• wsparcie w realizacji zadań pozostałych członków zespołu
• identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

Skills

PySpark

Python

GCP

Airflow

Hadoop

YARN

Hive

Spark SQL

SQL

Unix/Linux

Git

GitHub

Ansible

Jenkins

Tools

Elasticsearch

Java APIs

Data ingestion

Job description

Clurgo Ltd. zaprasza specjalistę ds. Big Data i data engineering do pracy nad projektami z sektora finansowego. Będziesz rozwijać i utrzymywać data pipelines w środowisku GCP, wykorzystując PySpark i Apache Spark, oraz dbać o procesy automatyzacji i schedulowania dzięki Airflow.

Wymagane doświadczenie z GCP, PySpark/Scala, Hadoop, YARN, Hive, Spark SQL i SQL, znajomość Unix/Linux oraz Git/GitHub. Oferujemy pracę w trybie hybrydowym i proces rekrutacyjny z feedbackiem.