Data Engineer: Azure & Databricks Pro (Delta Lake)

POLENERGIA S.A.; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

POLENERGIA S.A. poszukuje doświadczonego Data Engineera do budowy i utrzymania procesów ETL/ELT oraz pipeline’ów danych w środowisku Azure. Pracownik będzie korzystał z Databricks, projektując rozwiązania zgodne z medallion architecture (bronze/silver/gold) z Delta Lake i zarządzaniem danymi w Unity Catalog.

Oczekujemy co najmniej 3 lat doświadczenia, bardzo dobrej znajomości SQL, Pythona, PySpark, Pandas i Polars, a także doświadczenia z Azure Data Factory i Azure Functions.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer.
• Bardzo dobra praktyczna znajomość Databricks (architektura platformy, samodzielna praca).
• Znajomość Delta Lake (formaty danych, ACID, time travel, MERGE/upsert).
• Doświadczenie z Unity Catalog (zarządzanie danymi, uprawnieniami, governance).
• Znajomość medallion architecture (bronze/silver/gold).
• Bardzo dobra znajomość SQL.
• Znajomość Pythona oraz PySpark, Pandas, Polars.

Responsibilities

• Budowa i utrzymanie procesów ETL/ELT oraz pipeline'ów danych w Azure.
• Praca na Databricks, projektowanie rozwiązań zgodnych z medallion architecture (bronze/silver/gold) z Delta Lake.
• Zarządzanie danymi i uprawnieniami w Unity Catalog oraz tworzenie Data Products.
• Wykorzystanie narzędzi AI do wspomagania pracy.

Skills

SQL

Python

PySpark

Pandas

Polars

Tools

Databricks

Delta Lake

Unity Catalog

Azure Data Factory

Azure Functions

Job description

POLENERGIA S.A. poszukuje doświadczonego Data Engineera do budowy i utrzymania procesów ETL/ELT oraz pipeline’ów danych w środowisku Azure. Pracownik będzie korzystał z Databricks, projektując rozwiązania zgodne z medallion architecture (bronze/silver/gold) z Delta Lake i zarządzaniem danymi w Unity Catalog.

Oczekujemy co najmniej 3 lat doświadczenia, bardzo dobrej znajomości SQL, Pythona, PySpark, Pandas i Polars, a także doświadczenia z Azure Data Factory i Azure Functions.