Data Engineer – Azure & Databricks Data Lakehouse

Polenergia; Warszawa; Hybrid; PLN 180,000 - 300,000; Full time

Benefits offered by this job

LuxMed prywatna opieka medyczna

Karta Multisport

Dofinansowanie kulturalne/wyjścia doTe

Ubezpieczenie na życie

Szkolenia i rozwój

Job summary

Polenergia S.A. poszukuje doświadczonego Data Engineera do pracy nad zaawansowanymi projektami danych. Będziesz projektować i utrzymywać ETL/ELT w Azure, budować pipeline’y w Data Factory i przetwarzać dane na Databricks za pomocą PySpark.

Wymagana jest praktyczna znajomość Delta Lake, Unity Catalog, medallion architecture oraz SQL i Pythona. Oferujemy pracę hybrydową, atrakcyjne wynagrodzenie i możliwości rozwoju.

Qualifications

• Minimum 3 years experience as Data Engineer.
• Praktyczna znajomość Databricks i architektury platformy.
• Znajomość Delta Lake, ACID i time travel.
• Znajomość Unity Catalog, governance i lineage danych.
• Znajomość medallion architecture oraz architektur danych (data lake/wlakehouse).
• Dobra znajomość SQL; Python (PySpark, Pandas).
• Znajomość usług Azure (Data Factory, Functions).
• Umiejętność wykorzystania AI w tworzeniu kodu (GitHub Copilot, Databricks Assistant).
• Dobra znajomość języka angielskiego.

Responsibilities

• Projektowanie, implementacja i utrzymanie procesów ETL/ELT w Azure.
• Budowa i orkiestracja pipeline’ów danych z Azure Data Factory.
• Tworzenie rozwiązań serverless w Azure Functions.
• Przetwarzanie danych w Databricks – PySpark.
• Projektowanie i wdrażanie medallion architecture z Delta Lake.
• Zarządzanie danymi i uprawnieniami z Unity Catalog; governance i lineage.
• Tworzenie Data Products i ich cykl życia; optymalizacja zapytań SQL.

Skills

Databricks

Azure Data Factory

PySpark

SQL

Python

Delta Lake

Unity Catalog

Medallion architecture

Data governance

Data lake / lakehouse

Data products

AI tools in coding

Tools

Databricks

Azure Data Factory

Azure Functions

Delta Lake

Job description

Polenergia S.A. poszukuje doświadczonego Data Engineera do pracy nad zaawansowanymi projektami danych. Będziesz projektować i utrzymywać ETL/ELT w Azure, budować pipeline’y w Data Factory i przetwarzać dane na Databricks za pomocą PySpark.

Wymagana jest praktyczna znajomość Delta Lake, Unity Catalog, medallion architecture oraz SQL i Pythona. Oferujemy pracę hybrydową, atrakcyjne wynagrodzenie i możliwości rozwoju.