Data Engineer w/ Databricks

Codest Ltd.; Warszawa; On-site; PLN 180,000 - 260,000; Full time

Job summary

Codest Ltd. w Warszawie poszukuje doświadczonego Data Engineer z Databricks, aby projektować, budować i zarządzać skalowalnymi rozwiązaniami danych dla dużej instytucji finansowej w Japonii.

Zadania obejmują budowę Medallion Architecture, ETL/ELT, CI/CD i optymalizację zadań Spark; wymagane są Python, PySpark, SQL oraz doświadczenie z AWS i Delta Lake. Mile widziane Certyfikaty Databricks.

Qualifications

• 6+ lat doświadczenia w data engineering.
• Biegłość w Python, PySpark i SQL.
• Doświadczenie z AWS (Glue, Lambda, Redshift, S3).
• Doświadczenie z Unity Catalog i Delta Lake.
• Komunikatywny język angielski.

Responsibilities

• Projektowanie, budowanie i zarządzanie skalowalnymi rozwiązaniami danych.
• Tworzenie i utrzymanie złożonych pipeline'ów ETL/ELT.
• Projektowanie CI/CD dla pipeline'ów danych.
• Optymalizacja zadań Spark.

Skills

Python

PySpark

SQL

AWS

Unity Catalog

Delta Lake

Spark

English

Tools

Docker

Kubernetes

Job description

DATA ENGINEER z DATABRICKS

Dołącz do The Codest i pracuj nad aplikacją bankową dla jednej z wiodących grup finansowych w Japonii. Szukamy doświadczonego Databricks Engineer do projektowania, budowania i zarządzania skalowalnymi rozwiązaniami danych.

Twoje obowiązki:

• Doświadczenie z Medallion Architecture (Bronze, Silver, Gold)
• Budowa frameworków jakości danych z automatycznym testowaniem
• Implementacja funkcji Delta Lake (time travel, vacuum, Z-ordering)
• Tworzenie i utrzymanie złożonych pipeline'ów ETL/ELT
• Projektowanie CI/CD dla pipeline'ów danych
• Optymalizacja zadań Spark

Kluczowe wymagania:

• 6+ lat doświadczenia w data engineering
• Biegłość w Python, PySpark i SQL
• Doświadczenie z AWS (Glue, Lambda, Redshift, S3)
• Doświadczenie z Unity Catalog i Delta Lake
• Komunikatywny angielski

Mile widziane:

• Certyfikat Databricks Certified Professional Data Engineer
• Doświadczenie z Docker i Kubernetes