Data Engineer: Microsoft Fabric & Azure Data Pipelines

Astek; Warszawa; Hybrid; PLN 166,000 - 221,000; Full time

Benefits offered by this job

Długoterminowa współpraca

Szkolenia techniczne

Mentoring

Jasna ścieżka kariery

Multisport i prywatna opieka medyczna

Spotkania team-buildingowe

Job summary

Astrex Polska sp. z o.o. prowadzi rekrutację na stanowisko Data Engineer z Microsoft Fabric dla klienta z branży ubezpieczeniowej. Praca w modelu hybrydowym w Warszawie, z wynagrodzeniem od 900 do 1200 PLN netto/dzień w zależności od doświadczenia.

Wymagane min. 3 lata doświadczenia w Data Engineering, znajomość Python/PySpark/SQL, chmury danych (Microsoft Fabric/Azure Synapse/Databricks) oraz Git. NDA i weryfikacja bezpieczeństwa to obowiązek.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Znajomość Pythona (Python) oraz PySpark i SQL na poziomie umożliwiającym pracę z dużymi zbiorami danych.
• Posiadanie praktycznego doświadczenia w pracy z chmurowymi platformami przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
• Rozumienie architektury warstwowej danych (np. medallion).
• Dobrze znasz formaty Delta/Parquet.
• Doświadczenie w integracji źródeł danych (w tym Excel od użytkowników biznesowych).
• Sprawne posługiwanie się Git w projekcie zespołowym.
• Wyrażenie gotowości do podpisania NDA oraz weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Azure Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną i standaryzacją formatów.
• Transformacje i przygotowywanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu.
• Dbanie o jakość kodu w reżimie Git – CI/CD i code review.
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych.
• Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.
• Optymalizacja procesów pod kątem wydajnościowym i kosztowym.

Skills

Python

PySpark

SQL

Microsoft Fabric

Azure Synapse

Databricks

Delta format

Parquet format

Git

NDA readiness

Tools

Azure Data Factory

Azure Databricks

Job description

Astrex Polska sp. z o.o. prowadzi rekrutację na stanowisko Data Engineer z Microsoft Fabric dla klienta z branży ubezpieczeniowej. Praca w modelu hybrydowym w Warszawie, z wynagrodzeniem od 900 do 1200 PLN netto/dzień w zależności od doświadczenia.

Wymagane min. 3 lata doświadczenia w Data Engineering, znajomość Python/PySpark/SQL, chmury danych (Microsoft Fabric/Azure Synapse/Databricks) oraz Git. NDA i weryfikacja bezpieczeństwa to obowiązek.