Senior Databricks Data Engineer - Delta Lake & Spark Expert

RemoDevs; Gdynia, Szczecin; Sur place; PLN 120 000 - 180 000; Plein temps

Résumé du poste

RemoDevs poszukuje specjalisty Data Engineering do projektu 12-miesięcznego w Polsce. Zadaniem będzie budowa i utrzymanie pipeline'ów danych w Databricks, z naciskiem na ETL/ELT, transformacje w PySpark oraz architekturę Delta Lake.

Projekt obejmuje zapewnienie jakości i wydajności danych oraz zgodności z wymogami regulacyjnymi sektora finansowego. Wymagane doświadczenie z Databricks, Spark i SQL, Python oraz komunikatywna znajomość angielskiego na poziomie C1.

Qualifications

• Co najmniej 5 lat doświadczenia w data engineering.
• Co najmniej 3 lata praktycznego doświadczenia z Databricks.
• Silna znajomość Apache Spark i PySpark.
• Zaawansowany SQL i Python.
• Doświadczenie w projektowaniu i implementacji pipeline'ów ETL/ELT.
• Znajomość Delta Lake i architektury Lakehouse.
• Znajomość angielskiego na poziomie C1.

Responsabilités

• Budowa i utrzymanie skalowalnych pipeline'ów danych w Databricks dla klienta z sektora finansowego.
• Praca nad ETL/ELT, transformacjami w PySpark, jakością i wydajnością danych, zgodnością z wymogami regulacyjnymi.

Connaissances

Data engineering

Databricks

PySpark

SQL

Python

ETL/ELT design

Delta Lake

Lakehouse architecture

English (C1)

Outils

Databricks

Apache Spark

PySpark

Description du poste

RemoDevs poszukuje specjalisty Data Engineering do projektu 12-miesięcznego w Polsce. Zadaniem będzie budowa i utrzymanie pipeline'ów danych w Databricks, z naciskiem na ETL/ELT, transformacje w PySpark oraz architekturę Delta Lake.

Projekt obejmuje zapewnienie jakości i wydajności danych oraz zgodności z wymogami regulacyjnymi sektora finansowego. Wymagane doświadczenie z Databricks, Spark i SQL, Python oraz komunikatywna znajomość angielskiego na poziomie C1.