Data Engineer: Microsoft Fabric & PySpark on Azure

Scalosoft; Warszawa; Hybrid; PLN 170,000 - 243,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalosoft w Warszawie poszukuje Data Engineera do realizacji pipeline’ów w Data Factory oraz PySpark, onboarding źródeł danych, transformacji i walidacji jakości danych. Do obowiązków należy również wersjonowanie, repozytoryzacja oraz CI/CD, a także współpraca z zespołem ds. ryzyka i zapewnienie zgodności z przepisami.

Model współpracy: hybrydowy (1x w tygodniu w Warszawie). Wymagane doświadczenie z PySpark/SQL, platformami chmurowymi oraz Delta/Parquet.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Praktyczna znajomość Python (PySpark) i SQL w pracy z dużymi zestawami danych.
• Doświadczenie z platformami chmurowymi do przetwarzania danych (Microsoft Fabric, Azure Synapse, Databricks).
• Znajomość architektury warstwowej danych i formatów Delta/Parquet.
• Doświadczenie z Git i integracją źródeł danych, w tym Excelów od biznesu.
• Gotowość do podpisania NDA oraz weryfikacji bezpieczeństwa.
• Mile widziane DP-600/DP-700, doświadczenie w sektorze finansowym.
• Mile widziane R, CI/CD dla platform danych, Data Quality, Agile/Scrum.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Data Factory oraz PySpark w środowisku chmurowym.
• Onboarding źródeł plikowych i bazodanowych z walidacją techniczną i standaryzacją danych.
• Realizacja transformacji danych i przygotowanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu i wersji.
• Praca w reżimie Git, code review i CI/CD, wdrożenia poprzez CI/CD.
• Współpraca z zespołem ryzyka przy definicji reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami prywatności i bezpieczeństwa danych.
• Optymalizacja procesów pod kątem wydajności i kosztów.
• Udział w projekcie w branży ubezpieczeniowej.

Skills

Data Engineer

Python (PySpark)

SQL

Cloud platforms

Microsoft Fabric

Azure Synapse

Databricks

Delta / Parquet

Git

Excel data sources

NDA & security

DP-600/DP-700 (cert)

Financial industry exp

R language

CI/CD for data

Data Quality frameworks

Agile / Scrum

Tools

Git

Job description

Scalosoft w Warszawie poszukuje Data Engineera do realizacji pipeline’ów w Data Factory oraz PySpark, onboarding źródeł danych, transformacji i walidacji jakości danych. Do obowiązków należy również wersjonowanie, repozytoryzacja oraz CI/CD, a także współpraca z zespołem ds. ryzyka i zapewnienie zgodności z przepisami.

Model współpracy: hybrydowy (1x w tygodniu w Warszawie). Wymagane doświadczenie z PySpark/SQL, platformami chmurowymi oraz Delta/Parquet.