Data Engineer (m/k)

POLENERGIA S.A.; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

POLENERGIA S.A. poszukuje doświadczonego Data Engineera do budowy i utrzymania procesów ETL/ELT oraz pipeline’ów danych w środowisku Azure. Pracownik będzie korzystał z Databricks, projektując rozwiązania zgodne z medallion architecture (bronze/silver/gold) z Delta Lake i zarządzaniem danymi w Unity Catalog.

Oczekujemy co najmniej 3 lat doświadczenia, bardzo dobrej znajomości SQL, Pythona, PySpark, Pandas i Polars, a także doświadczenia z Azure Data Factory i Azure Functions.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer.
• Bardzo dobra praktyczna znajomość Databricks (architektura platformy, samodzielna praca).
• Znajomość Delta Lake (formaty danych, ACID, time travel, MERGE/upsert).
• Doświadczenie z Unity Catalog (zarządzanie danymi, uprawnieniami, governance).
• Znajomość medallion architecture (bronze/silver/gold).
• Bardzo dobra znajomość SQL.
• Znajomość Pythona oraz PySpark, Pandas, Polars.

Responsibilities

• Budowa i utrzymanie procesów ETL/ELT oraz pipeline'ów danych w Azure.
• Praca na Databricks, projektowanie rozwiązań zgodnych z medallion architecture (bronze/silver/gold) z Delta Lake.
• Zarządzanie danymi i uprawnieniami w Unity Catalog oraz tworzenie Data Products.
• Wykorzystanie narzędzi AI do wspomagania pracy.

Skills

SQL

Python

PySpark

Pandas

Polars

Tools

Databricks

Delta Lake

Unity Catalog

Azure Data Factory

Azure Functions

Job description

Budowa i utrzymanie procesów ETL/ELT oraz pipeline'ów danych w środowisku Azure dla Polenergii. Będziesz pracować na platformie Databricks, projektować rozwiązania zgodne z medallion architecture (bronze/silver/gold) z Delta Lake, zarządzać danymi i uprawnieniami w Unity Catalog oraz tworzyć Data Products. To oferta dla doświadczonego Data Engineera, który samodzielnie porusza się w Databricks i Azure, a także chętnie wykorzystuje narzędzia AI do wspomagania pracy.

• min. 3 lata doświadczenia jako Data Engineer
• bardzo dobra, praktyczna znajomość Databricks (architektura platformy, samodzielna praca)
• znajomość Delta Lake (formaty danych, ACID, time travel, MERGE/upsert)
• doświadczenie z Unity Catalog (zarządzanie danymi, uprawnieniami, governance)
• znajomość i praktyczne zastosowanie medallion architecture
• bardzo dobra znajomość SQL
• znajomość Pythona oraz PySpark, Pandas, Polars
• doświadczenie z Azure Data Factory i Azure Functions