Senior Databricks Data Engineer - Delta Lake & Spark

Codest Ltd.; Warszawa; On-site; PLN 180,000 - 260,000; Full time

Job summary

Codest Ltd. w Warszawie poszukuje doświadczonego Data Engineer z Databricks, aby projektować, budować i zarządzać skalowalnymi rozwiązaniami danych dla dużej instytucji finansowej w Japonii.

Zadania obejmują budowę Medallion Architecture, ETL/ELT, CI/CD i optymalizację zadań Spark; wymagane są Python, PySpark, SQL oraz doświadczenie z AWS i Delta Lake. Mile widziane Certyfikaty Databricks.

Qualifications

• 6+ lat doświadczenia w data engineering.
• Biegłość w Python, PySpark i SQL.
• Doświadczenie z AWS (Glue, Lambda, Redshift, S3).
• Doświadczenie z Unity Catalog i Delta Lake.
• Komunikatywny język angielski.

Responsibilities

• Projektowanie, budowanie i zarządzanie skalowalnymi rozwiązaniami danych.
• Tworzenie i utrzymanie złożonych pipeline'ów ETL/ELT.
• Projektowanie CI/CD dla pipeline'ów danych.
• Optymalizacja zadań Spark.

Skills

Python

PySpark

SQL

AWS

Unity Catalog

Delta Lake

Spark

English

Tools

Docker

Kubernetes

Job description

Codest Ltd. w Warszawie poszukuje doświadczonego Data Engineer z Databricks, aby projektować, budować i zarządzać skalowalnymi rozwiązaniami danych dla dużej instytucji finansowej w Japonii.

Zadania obejmują budowę Medallion Architecture, ETL/ELT, CI/CD i optymalizację zadań Spark; wymagane są Python, PySpark, SQL oraz doświadczenie z AWS i Delta Lake. Mile widziane Certyfikaty Databricks.