Data Engineer, Microsoft Fabric – Hybrid (Warsaw)

Scalo Sp. z o.o.; Warszawa; Hybrid; PLN 170,000 - 243,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalo Sp. z o.o. w Warszawie poszukuje Data Engineer'a do projektowania i implementacji pipeline'ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric.

Do obowiązków należy onboarding źródeł plikowych i bazodanowych oraz walidacja techniczna danych. Praca w modelu hybrydowym (1x w tygodniu w Warszawie) z możliwością współpracy B2B. Wymagane jest minimum 3 lata doświadczenia, znajomość Python (PySpark), SQL, platform chmurowych i systemów kontroli wersji Git, a także NDA i audyt

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych.
• Doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych (medalionowej) oraz formatów Delta i Parquet.
• Doświadczenie w pracy z Git.
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel.
• Gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementację pipeline'ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych.
• Realizację transformacji danych oraz przygotowanie danych wsadowych.
• Implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji.
• Realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD.
• Współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure.
• Optymalizację procesów pod kątem wydajności i kosztów.
• Udział w projekcie realizowanym w branży ubezpieczeniowej.

Skills

Data Engineer experience

Python (PySpark)

SQL

Cloud platforms

Data architecture

Delta/Parquet

Git

Excel data sources

Tools

Microsoft Fabric

Azure Synapse

Databricks

Job description

Scalo Sp. z o.o. w Warszawie poszukuje Data Engineer'a do projektowania i implementacji pipeline'ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric.

Do obowiązków należy onboarding źródeł plikowych i bazodanowych oraz walidacja techniczna danych. Praca w modelu hybrydowym (1x w tygodniu w Warszawie) z możliwością współpracy B2B. Wymagane jest minimum 3 lata doświadczenia, znajomość Python (PySpark), SQL, platform chmurowych i systemów kontroli wersji Git, a także NDA i audyt