Data Engineer (Microsoft Fabric)

Scalo; Warszawa; Hybrid; PLN 124,000 - 207,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalo w Warszawie poszukuje Data Engineera do projektowania i implementacji pipeline’ów danych w Data Factory oraz PySpark w środowisku Microsoft Fabric. Do głównych zadań należą onboarding źródeł danych, walidacja techniczna i standaryzacja formatów danych.

Zakres obejmuje transformacje danych, przygotowanie danych wsadowych, implementację reguł jakości oraz mechanizmy raportowania błędów. Wymagana jest znajomość Git, CI/CD, Delta/Parquet oraz bezpiecznych praktyk.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zestawami danych.
• Doświadczenie z platformami chmurowymi do przetwarzania danych, takich jak Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych oraz formatów Delta i Parquet.
• Doświadczenie w pracy z systemem kontroli wersji Git.
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel.
• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa.
• Mile widziany certyfikat DP-600 lub DP-700.
• Mile widziane doświadczenie w sektorze finansowym lub audytowych środowiskach.
• Mile widziana znajomość języka R.
• Mile widziane doświadczenie w CI/CD dla platform danych.
• Mile widziane doświadczenie z Data Quality i Agile/Scrum.

Responsibilities

• Projektowanie i implementacja pipeline’ów danych w środowiskach Azure iFabric/Databricks.
• Onboarding źródeł danych i walidacja jakości danych.
• Wdrażanie reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych.
• Współpraca z zespołem ds. ryzyka i zapewnienie zgodności z NDA i procesami bezpieczeństwa.
• Realizacja usług w modelu Git, z CI/CD oraz code reviews.
• Współpraca przy projektach finansowych o wysokich wymaganiach audytowych.

Skills

Python (PySpark)

SQL

Cloud platforms (Microsoft Fabric, Az-

Tools

Git

Microsoft Fabric

Azure Synapse

Databricks

Delta Lake

Parquet

CI/CD tooling

Job description

Cześć! Poznaj możliwości współpracy ze Scalo!

Zakres współpracy obejmuje:

• projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,
• onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych,
• realizację transformacji danych oraz przygotowanie danych wsadowych,
• implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów,
• wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji,
• realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD,
• współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych,
• zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure,
• optymalizację procesów pod kątem wydajności i kosztów,
• udział w projekcie realizowanym w branży ubezpieczeniowej,
• model współpracy: hybrydowy (1x w tygodniu w Warszawie),
• stawka do 150 PLN/h w oparciu o współpracę B2B.

Kompetencje wymagane do realizacji usług:

• minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
• praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych,
• doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks,
• znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet,
• doświadczenie w pracy z systemem kontroli wersji Git,
• doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych,
• gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa,
• mile widziany certyfikat DP-600 lub DP-700,
• mile widziane doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
• mile widziana znajomość języka R,
• mile widziane doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych,
• mile widziane doświadczenie z frameworkami Data Quality,
• mile widziane doświadczenie w metodykach Agile i Scrum.

Co oferujemy w ramach współpracy?

• Różnorodne projekty technologiczne
• Realizacja projektów z obszaru Software, Embedded, Data, Cloud Services i AI.
• Inicjatywy eksperckie i presalesowe
• Możliwość udziału w działaniach eksperckich oraz wsparciu procesów presalesowych.
• Dodatkowe korzyści
• Opieka medyczna, karta sportowa oraz platforma kafeteryjna dostępne zgodnie z obowiązującymi zasadami współpracy.