Hybrid Data Engineer — Microsoft Fabric & PySpark

Scalo; Warszawa; Hybrid; PLN 124,000 - 207,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalo w Warszawie poszukuje Data Engineera do projektowania i implementacji pipeline’ów danych w Data Factory oraz PySpark w środowisku Microsoft Fabric. Do głównych zadań należą onboarding źródeł danych, walidacja techniczna i standaryzacja formatów danych.

Zakres obejmuje transformacje danych, przygotowanie danych wsadowych, implementację reguł jakości oraz mechanizmy raportowania błędów. Wymagana jest znajomość Git, CI/CD, Delta/Parquet oraz bezpiecznych praktyk.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zestawami danych.
• Doświadczenie z platformami chmurowymi do przetwarzania danych, takich jak Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych oraz formatów Delta i Parquet.
• Doświadczenie w pracy z systemem kontroli wersji Git.
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel.
• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa.
• Mile widziany certyfikat DP-600 lub DP-700.
• Mile widziane doświadczenie w sektorze finansowym lub audytowych środowiskach.
• Mile widziana znajomość języka R.
• Mile widziane doświadczenie w CI/CD dla platform danych.
• Mile widziane doświadczenie z Data Quality i Agile/Scrum.

Responsibilities

• Projektowanie i implementacja pipeline’ów danych w środowiskach Azure iFabric/Databricks.
• Onboarding źródeł danych i walidacja jakości danych.
• Wdrażanie reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych.
• Współpraca z zespołem ds. ryzyka i zapewnienie zgodności z NDA i procesami bezpieczeństwa.
• Realizacja usług w modelu Git, z CI/CD oraz code reviews.
• Współpraca przy projektach finansowych o wysokich wymaganiach audytowych.

Skills

Python (PySpark)

SQL

Cloud platforms (Microsoft Fabric, Az-

Tools

Git

Microsoft Fabric

Azure Synapse

Databricks

Delta Lake

Parquet

CI/CD tooling

Job description

Scalo w Warszawie poszukuje Data Engineera do projektowania i implementacji pipeline’ów danych w Data Factory oraz PySpark w środowisku Microsoft Fabric. Do głównych zadań należą onboarding źródeł danych, walidacja techniczna i standaryzacja formatów danych.

Zakres obejmuje transformacje danych, przygotowanie danych wsadowych, implementację reguł jakości oraz mechanizmy raportowania błędów. Wymagana jest znajomość Git, CI/CD, Delta/Parquet oraz bezpiecznych praktyk.