Data Engineer (PySpark & Databricks) - ETL Pipelines

RemoDevs; Kraków, Szczecin, Gdynia, Wrocław; On-site; PLN 167,000 - 234,000; Full time

Job summary

RemoDevs poszukuje samodzielnego inżyniera danych do projektu trzymiesięcznego–sześcio miesięcznego w Krakowie. Zadania obejmują rozwijanie, utrzymywanie i optymalizację pipeline'ów danych w PySpark oraz pracę z Databricks przy przetwarzaniu dużych zbiorów.

Wymagania obejmują zaawansowane PySpark i SQL, doświadczenie w Data Engineering na poziomie mid, a także znajomość chmury (Azure, AWS lub GCP).

Qualifications

• Mocne, praktyczne doświadczenie z PySpark.
• Komercyjne doświadczenie w Data Engineering na poziomie mid.
• Bardzo dobra znajomość SQL i technik transformacji danych.
• Praktyczne rozumienie Apache Spark i przetwarzania rozproszonego.
• Podstawowe doświadczenie z Databricks.
• Doświadczenie w budowie i utrzymaniu pipeline'ów ETL/ELT.
• Znajomość środowisk chmurowych (Azure, AWS lub GCP).

Responsibilities

• Rozwijanie, utrzymanie i optymalizacja pipeline'ów danych w PySpark oraz praca z Databricks.
• Integracja danych z różnych źródeł.
• Optymalizacja zapytań SQL i wydajności przetwarzania danych.
• Wdrażanie kontroli jakości danych oraz rozwiązywanie problemów wydajnościowych.

Skills

PySpark

Data engineering

SQL

Distributed processing

Databricks

ETL/ELT pipelines

Cloud platforms

Tools

Apache Spark

Databricks

Job description

RemoDevs poszukuje samodzielnego inżyniera danych do projektu trzymiesięcznego–sześcio miesięcznego w Krakowie. Zadania obejmują rozwijanie, utrzymywanie i optymalizację pipeline'ów danych w PySpark oraz pracę z Databricks przy przetwarzaniu dużych zbiorów.

Wymagania obejmują zaawansowane PySpark i SQL, doświadczenie w Data Engineering na poziomie mid, a także znajomość chmury (Azure, AWS lub GCP).