Data Engineer - PySpark, GCP & Airflow

Clurgo; Kraków; Hybrid; PLN 180,000 - 250,000; Full time

Benefits offered by this job

Contract B2B

Hybrid work in Kraków - 8 days/month

Feedback during recruitment process

Job summary

Clurgo poszukuje specjalisty ds. Big Data do zespołu zajmującego się rozwiązaniami z PySpark i GCP. Będziesz projektować, rozwijać i utrzymywać data pipelines w środowisku GCP oraz integrować procesy z Airflow i narzędziami CI/CD.

Wymagane doświadczenie w PySpark/Scala, GCP, Unix/Linux oraz Git/GitHub. Praca w trybie hybrydowym, z 8 dniami w biurze w Krakowie, w ramach kontraktu B2B. Oczekiwany poziom angielskiego na wysokim poziomie.

Qualifications

• Praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z PySpark lub Scala.

Responsibilities

• Projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP.

Skills

PySpark

Python

Airflow

GCP

Hadoop

YARN

Hive

Spark SQL

SQL

Unix/Linux

Git

GitHub

Ansible

Jenkins

Elasticsearch

Tools

Git

GitHub

Ansible

Jenkins

Job description

Clurgo poszukuje specjalisty ds. Big Data do zespołu zajmującego się rozwiązaniami z PySpark i GCP. Będziesz projektować, rozwijać i utrzymywać data pipelines w środowisku GCP oraz integrować procesy z Airflow i narzędziami CI/CD.

Wymagane doświadczenie w PySpark/Scala, GCP, Unix/Linux oraz Git/GitHub. Praca w trybie hybrydowym, z 8 dniami w biurze w Krakowie, w ramach kontraktu B2B. Oczekiwany poziom angielskiego na wysokim poziomie.