Databricks Data Engineer — Lakehouse, Azure, Warsaw Hybrid

Moondigo Sp. z o.o.; Województwo mazowieckie; Hybrid; PLN 180,000 - 240,000; Full time

Job summary

Moondigo Sp. z o.o. w Warszawie rozwija platformę danych dla jednego z największych ubezpieczycieli w Polsce, koncentrując się na Databricks, ETL/ELT oraz architekturze Data Lakehouse z Delta Lake.

Poszukujemy inżyniera danych z min. 4 lat doświadczenia, biegłej znajomości Databricks, SQL i Python, gotowego do pracy hybrydowej z biurem w Warszawie. Praca obejmuje integrację chmury z on-premise, monitoring jakości danych oraz CI/CD.

Qualifications

• Minimum 4 lata doświadczenia w Data Engineering.
• Praktyczna, bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość SQL i Python.
• Doświadczenie w przetwarzaniu dużych zbiorów z Apache Spark / PySpark.
• Znajomość ETL/ELT i projektowaniu pipeline'ów danych.
• Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
• Doświadczenie z platformami danych w chmurze, preferowany Azure.
• Gotowość do pracy hybrydowej z biura w Warszawie min. 1 dzień w tygodniu.

Responsibilities

• Projektowanie i rozwój procesów przetwarzania danych w Databricks.
• Budowa pipeline'ów ETL/ELT oraz transformacje w Python/PySpark/SQL.
• Implementacja rozwiązań Data Lakehouse z Delta Lake.
• Integracja chmury z on-premise, monitoring jakości danych.
• Automatyzacja wdrożeń i CI/CD, współpraca z architektami i biznesem.

Skills

Databricks

SQL

Python

Spark / PySpark

ETL/ELT

Data Lakehouse

Delta Lake

Azure

Data engineering

Job description

Moondigo Sp. z o.o. w Warszawie rozwija platformę danych dla jednego z największych ubezpieczycieli w Polsce, koncentrując się na Databricks, ETL/ELT oraz architekturze Data Lakehouse z Delta Lake.

Poszukujemy inżyniera danych z min. 4 lat doświadczenia, biegłej znajomości Databricks, SQL i Python, gotowego do pracy hybrydowej z biurem w Warszawie. Praca obejmuje integrację chmury z on-premise, monitoring jakości danych oraz CI/CD.