Data Engineer Databricks Developer

RITS; Województwo mazowieckie; Remote; PLN 165,000 - 207,000; Full time

Job summary

RITS prowadzi rekrutację na stanowisko Data Engineer do pracy zdalnej w Polsce, z możliwością spotkań zespołu w biurze. Wymagane doświadczenie w Databricks i Apache Spark oraz projektowe podejście do ETL/ELT.

W ofercie stawka 120–150 zł/h netto, praca zdalna z opcją biura i okazjonalnych spotkań zespołu. Idealny kandydat powinien mieć minimum 3 lata w Data Engineering, znać PyS park/SQL, a także posiadać praktykę w optymalizacji zapytań i CI/CD.

Qualifications

• Co najmniej 3 lata doświadczenia w Data Engineering / Big Data.
• Praktyczne, projektowe doświadczenie z Databricks i Apache Spark (minimum 3 lata).
• Znajomość przynajmniej jednego języka używanego w Databricks: Python, Scala lub SQL.
• Praktyczna wiedza z projektowania procesów ETL/ELT oraz pracy z danymi w formatach Parquet, Avro, CSV i innych.
• Umiejętności optymalizacji zapytań i zadań Spark oraz zarządzania zasobami klastra.
• Dobre praktyki Git i automatyzacji wdrożeń.
• Samodzielność w działaniu.
• Znajomość języka angielskiego na poziomie C1.

Responsibilities

• Projektowanie i rozwój aplikacji oraz procesów ETL/ELT w środowisku Databricks.
• Implementacja rozwiązań w PySpark, Spark SQL.
• Optymalizacja wydajności przetwarzania danych i tuning zapytań oraz zadań.
• Integracja Databricks z innymi usługami chmurowymi i narzędziami analitycznymi.
• Tworzenie i utrzymanie dokumentacji technicznej oraz standardów kodowania.
• Współpraca z zespołami analitycznymi, DevOps i biznesowymi w celu dostarczenia stabilnych rozwiązań.
• Udział w przeglądach architektury, kodu i wdrożeń oraz proponowanie usprawnień technicznych.

Skills

Data Engineering

Big Data

PySpark

Python

Scala

SQL

ETL/ELT

Git

Tools

Databricks

Apache Spark

Parquet

Avro

CSV

Job description

Oferujemy

• Model współpracy: 100% zdalna (z możliwością pracy z biura i okazjonalnymi spotkaniami zespołu)
• Stawka: 120-150 zł/h netto

Obowiązki

• Projektowanie i rozwój aplikacji oraz procesów ETL/ELT w środowisku Databricks.
• Implementacja rozwiązań w językach wykorzystywanych na platformie Databricks (np. PySpark, Spark SQL).
• Optymalizacja wydajności przetwarzania danych i tuning zapytań oraz zadań.
• Integracja Databricks z innymi usługami chmurowymi i narzędziami analitycznymi.
• Tworzenie i utrzymanie dokumentacji technicznej oraz standardów kodowania.
• Współpraca z zespołami analitycznymi, DevOps i biznesowymi w celu dostarczenia stabilnych rozwiązań.
• Udział w przeglądach architektury, kodu i wdrożeń oraz proponowanie usprawnień technicznych.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering / Big Data
• Praktycznego, projektowego doświadczenia z Databricks i Apache Spark (preferowane min. 3 lata)
• Znajomości przynajmniej jednego z języków używanych w Databricks: Python, Scala lub SQL
• Praktycznej wiedzy z projektowania procesów ETL/ELT oraz pracy z danymi w formatach Parquet, Avro, CSV i innych
• Umiejętności optymalizacji zapytań i zadań Spark oraz zarządzania zasobami klastra
• Dobrych praktyk w zakresie kontroli wersji (Git) i automatyzacji wdrożeń
• Samodzielności w działaniu
• Znajomości języka angielskiego na poziomie C1

Mile widziane

• Doświadczenie z usługami chmurowymi zintegrowanymi z Databricks (Azure, AWS lub GCP)