Azure Data Engineer: Delta Lake & Databricks

AmRest Holdings SE; Poland; Remote; PLN 180,000 - 260,000; Full time

Benefits offered by this job

LuxMed

Multisport

Dofinansowanie kultury/kina

Ubezpieczenie na życie

Szkolenia zawodowe

Praca zdalna/hybrydowa (ewentualnie)

Job summary

Polenergia S.A. poszukuje Data Engineer w Warszawie, aby projektować i utrzymywać zaawansowane procesy przetwarzania danych w środowisku Azure.

Do obowiązków należą pipeline’y w Azure Data Factory, implementacja rozwiązań serverless, a także praca z Databricks i PySpark nad jakością danych. Wymagane są praktyczne umiejętności z Delta Lake, Unity Catalog i architekturą medallion, a także solidna znajomość SQL i Python.

Qualifications

• Doświadczenie jako Data Engineer min. 3 lata.
• Bardzo dobra praktyczna znajomość Databricks i architektury platformy.
• Znajomość Delta Lake, ACID i time travel oraz MERGE/upsert.
• Znajomość Unity Catalog, governance i lineage danych.
• Znajomość medallion architecture oraz architektur danych.
• Ogólna wiedza o data lake, data warehouse i lakehouse.
• Bardzo dobra znajomość SQL i języka Python (PySpark, Pandas, Polars).
• Doświadczenie z usługami Azure (Data Factory, Functions) i AI wspomaganiem kodu.

Responsibilities

• Projektowanie, implementacja i utrzymanie procesów ETL/ELT w Azure.
• Budowa i orkiestracja pipeline’ów danych z Azure Data Factory.
• Tworzenie rozwiązań serverless w Azure Functions.
• Praca na Databricks – PySpark do przetwarzania danych.
• Projektowanie rozwiązań z Delta Lake i medallion architecture.
• Zarządzanie danymi i uprawnieniami w Unity Catalog, governance i lineage.
• Tworzenie Data Products i zarządzanie ich cyklem życia.
• Pisanie i optymalizacja zapytań SQL oraz procesów przetwarzania danych.
• Dbałość o jakość, spójność i bezpieczeństwo danych.

Skills

SQL

Python

Angielski dobry

Tools

Databricks

Delta Lake

Unity Catalog

Azure Data Factory

Azure Functions

PySpark

Pandas

Polars

Job description

Polenergia S.A. poszukuje Data Engineer w Warszawie, aby projektować i utrzymywać zaawansowane procesy przetwarzania danych w środowisku Azure.

Do obowiązków należą pipeline’y w Azure Data Factory, implementacja rozwiązań serverless, a także praca z Databricks i PySpark nad jakością danych. Wymagane są praktyczne umiejętności z Delta Lake, Unity Catalog i architekturą medallion, a także solidna znajomość SQL i Python.