Databricks Engineer

Moondigo Sp. z o.o.; Województwo mazowieckie; Hybride; PLN 180 000 - 240 000; Plein temps

Résumé du poste

Moondigo Sp. z o.o. w Warszawie rozwija platformę danych dla jednego z największych ubezpieczycieli w Polsce, koncentrując się na Databricks, ETL/ELT oraz architekturze Data Lakehouse z Delta Lake.

Poszukujemy inżyniera danych z min. 4 lat doświadczenia, biegłej znajomości Databricks, SQL i Python, gotowego do pracy hybrydowej z biurem w Warszawie. Praca obejmuje integrację chmury z on-premise, monitoring jakości danych oraz CI/CD.

Qualifications

• Minimum 4 lata doświadczenia w Data Engineering.
• Praktyczna, bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość SQL i Python.
• Doświadczenie w przetwarzaniu dużych zbiorów z Apache Spark / PySpark.
• Znajomość ETL/ELT i projektowaniu pipeline'ów danych.
• Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
• Doświadczenie z platformami danych w chmurze, preferowany Azure.
• Gotowość do pracy hybrydowej z biura w Warszawie min. 1 dzień w tygodniu.

Responsabilités

• Projektowanie i rozwój procesów przetwarzania danych w Databricks.
• Budowa pipeline'ów ETL/ELT oraz transformacje w Python/PySpark/SQL.
• Implementacja rozwiązań Data Lakehouse z Delta Lake.
• Integracja chmury z on-premise, monitoring jakości danych.
• Automatyzacja wdrożeń i CI/CD, współpraca z architektami i biznesem.

Connaissances

Databricks

SQL

Python

Spark / PySpark

ETL/ELT

Data Lakehouse

Delta Lake

Azure

Data engineering

Description du poste

Będziesz rozwijać platformę danych dla jednego z największych ubezpieczycieli w Polsce — projektowanie i rozwój procesów przetwarzania danych w Databricks, budowa pipeline'ów ETL/ELT, transformacje w Python/PySpark/SQL oraz rozwiązania w architekturze Data Lakehouse z Delta Lake. Zakres obejmuje też integrację cloud-on-premise, monitoring jakości danych, automatyzację wdrożeń i CI/CD oraz współpracę z architektami i biznesem. To oferta dla inżyniera danych z min. 4-letnim doświadczeniem i bardzo dobrą znajomością Databricks, gotowego do pracy hybrydowej z Warszawy (min. 1 dzień w tygodniu).

• min. 4 lata doświadczenia w Data Engineering
• praktyczna, bardzo dobra znajomość Databricks
• bardzo dobra znajomość SQL i Python
• doświadczenie w przetwarzaniu dużych zbiorów z Apache Spark / PySpark
• znajomość ETL/ELT i doświadczenie w projektowaniu pipeline'ów danych
• znajomość architektury Data Lake/Lakehouse oraz Delta Lake
• doświadczenie z platformami danych w chmurze, preferowany Azure
• gotowość do pracy hybrydowej z biura w Warszawie min. 1 dzień w tygodniu