DATA ENGINEER / SENIOR DATA ENGINEER MISCROSOFT FABRIC

Goldenore ITC Sp. z o.o.; Warszawa; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

Goldenore ITC Sp. z o.o. poszukuje specjalisty Data Engineer / Senior Data Engineer do projektów z branży ubezpieczeniowej.

Będziesz projektować i implementować pipeline’y w Data Factory oraz PySpark w Fabric, onboardingować źródła danych i zapewniać walidację oraz standaryzację danych. Współpraca w środowisku z Git, CI/CD, przeglądy kodu oraz współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Praktyczne doświadczenie z platformą chmurową do przetwarzania danych – Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych (Delta/Parquet) i pracy z Git w zespole.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Fabric.
• Onboarding źródeł plikowych i bazodanowych oraz walidacja techniczna i standaryzacja formatu.
• Transformacje i przygotowanie danych wsadowych; zapisy metadanych przebiegu.

Skills

Python (PySpark)

SQL

Git

Data processing

Cloud data platforms

Tools

Data Factory

Azure Synapse

Databricks

Delta/Parquet

Job description

Dla klienta z branży ubezpieczeniowej poszukujemy kandydata na stanowisko Data Engineer / Senior Data Engineer Microsoft Fabric

Twoje zadania:

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Fabric.
• Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną i standaryzacją formatu.
• Transformacje, przygotowanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych i zapis metadanych przebiegu (parametry, źródła, wersje).
• Praca w reżimie Git – kod pipeline’ów w repozytorium, wdrożenia przez CI/CD, code review.
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń.
• Zapewnienie zgodności z regulacjami prywatności i bezpieczeństwa danych i integracja standardów bezpieczeństwa firmy ze środowiskiem Azure.
• Optymalizacja procesów pod względem wydajnościowym oraz kosztowym.

Wymagania:

• Min. 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
  Python (PySpark) i SQL na poziomie sprawnej pracy z dużymi zbiorami,
• Praktyczne doświadczenie z platformą chmurową do przetwarzania danych — Microsoft Fabric, Azure Synapse lub Databricks,
• Znajomość architektury warstwowej danych (medalionowa lub podobna) i formatu Delta/Parquet,
• Praca z Git w zespole,
• Doświadczenie w integracji różnorodnych źródeł, w tym plików Excel od użytkowników biznesowych,
• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa.

Mile widziane:

• Certyfikat DP-600 lub DP-700,
• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
• Znajomość R (model wykorzystuje Python i R),
• Praktyka z CI/CD dla platform danowych,
• Doświadczenie z frameworkami data quality,
• Doświadczenie w metodykach Agile i Scrum.

Współpraca jest w formie hybrydowej – 1x w tygodniu spotkasz się w biurze w Warszawie.

Wymiar godzin: Pełny etat.

Rekrutacja jest jednoetapowa.