Senior Data Engineer – Azure Fabric Pipelines & Data Quality

Goldenore ITC Sp. z o.o.; Warszawa; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

Goldenore ITC Sp. z o.o. poszukuje specjalisty Data Engineer / Senior Data Engineer do projektów z branży ubezpieczeniowej.

Będziesz projektować i implementować pipeline’y w Data Factory oraz PySpark w Fabric, onboardingować źródła danych i zapewniać walidację oraz standaryzację danych. Współpraca w środowisku z Git, CI/CD, przeglądy kodu oraz współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Praktyczne doświadczenie z platformą chmurową do przetwarzania danych – Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych (Delta/Parquet) i pracy z Git w zespole.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Fabric.
• Onboarding źródeł plikowych i bazodanowych oraz walidacja techniczna i standaryzacja formatu.
• Transformacje i przygotowanie danych wsadowych; zapisy metadanych przebiegu.

Skills

Python (PySpark)

SQL

Git

Data processing

Cloud data platforms

Tools

Data Factory

Azure Synapse

Databricks

Delta/Parquet

Job description

Goldenore ITC Sp. z o.o. poszukuje specjalisty Data Engineer / Senior Data Engineer do projektów z branży ubezpieczeniowej.

Będziesz projektować i implementować pipeline’y w Data Factory oraz PySpark w Fabric, onboardingować źródła danych i zapewniać walidację oraz standaryzację danych. Współpraca w środowisku z Git, CI/CD, przeglądy kodu oraz współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń.