Remote Big Data Engineer — Spark, Airflow, ETL Expert

Sorigo; Województwo mazowieckie; Remote; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Opieka medyczna

Ubezpieczenie

Karta sportowa

Job summary

Sorigo specjalizuje się w wdrażaniu nowoczesnych rozwiązań IT. Szukamy Big Data Engineer/Engineerki do pracy zdalnej, z co najmniej 5 latami doświadczenia w ETL, Spark, Airflow, Python/SQL i ekosystemie Big Data.

Praca obejmuje migracje, orkiestrację procesów i badania nad nowymi technologiami, z pakietem socjalnym oraz konkurencyjnym wynagrodzeniem. Oczekujemy również znajomości Kubernetes/OpenShift i doświadczenia z hurtowniami danych, a także możliwości pracy z grafowymi bazami danych i

Qualifications

• Minimum 5 lat doświadczenia w Big Data Engineering.
• Doświadczenie w rozwoju i optymalizacji procesów ETL.
• Znajomość Apache Spark i Apache Airflow.
• Doświadczenie z Pythonem/Scalą i SQL.
• Znajomość Hadoop/Hive/Snowflake/Trino.
• Praca z bazami danych i hurtowniami danych.
• Doświadczenie z Kubernetes/OpenShift.

Responsibilities

• Rozwój i optymalizacja procesów ETL oraz aplikacji opartych na Apache Spark.
• Projektowanie i wdrażanie rozwiązań Big Data.
• Udział w migracjach platform danych.
• Orkiestracja procesów przetwarzania danych z Apache Airflow.
• Testowanie nowych technologii i realizacja projektów POC.
• Prace badawczo‑rozwojowe nad grafowymi bazami danych.
• Współtworzenie chatbota umożliwiającego pytania do hurtowni danych.

Skills

Apache Spark

Apache Airflow

Python

SQL

Hadoop

Hive

Snowflake

Trino

Kubernetes

OpenShift

Neo4j

Elasticsearch

Kibana

Azure

Tools

Docker

Job description

Sorigo specjalizuje się w wdrażaniu nowoczesnych rozwiązań IT. Szukamy Big Data Engineer/Engineerki do pracy zdalnej, z co najmniej 5 latami doświadczenia w ETL, Spark, Airflow, Python/SQL i ekosystemie Big Data.

Praca obejmuje migracje, orkiestrację procesów i badania nad nowymi technologiami, z pakietem socjalnym oraz konkurencyjnym wynagrodzeniem. Oczekujemy również znajomości Kubernetes/OpenShift i doświadczenia z hurtowniami danych, a także możliwości pracy z grafowymi bazami danych i