Data Engineer z Microsoft Fabric – Azure Data Pipeline Expert

ASTEK Polska; Warszawa; On-site; PLN 166,000 - 221,000; Full time

Benefits offered by this job

Długoterminowa współpraca

Szkolenia techniczne

Mentoring

Ścieżka kariery

Multisport

Opieka medyczna

Ubezpieczenie na życie

Imprezy team-buildingowe

Job summary

Astek Polska poszukuje Data Engineer z doświadczeniem w projektach produkcyjnych, specjalizującego się w Pythonie, PySpark i SQL. Kandydat powinien pracować z Microsoft Fabric, Azure Synapse lub Databricks, posiadać praktyczne doświadczenie z danymi w chmurze oraz znajomość Delta/Parquet. Wymagana umiejętność pracy z Git i NDA.

Oferujemy długoterminową współpracę, wsparcie szkoleń i rozwoju, a także pakiet benefitów. Proces rekrutacji obejmuje rozmowy z rekruterem, Business Managerem i klientem.

Qualifications

• ,3 lata doświadczenia Data Engineer w projektach produkcyjnych.
• Python (PySpark) i SQL na wysokim poziomie.
• Doświadczenie z platformami przetwarzania danych w chmurze: Microsoft Fabric, Azure Synapse, Databricks.
• Znajomość architektury danych (medalionowa).
• Znajomość formatów Delta/Parquet.
• Integracja różnych źródeł danych (w tym Excel).
• Kontrola wersji Git w zespole.
• Gotowość do podpisania NDA i weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Azure Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych, walidacja techniczna i standaryzacja formatów.
• Transformacje oraz przygotowywanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu (źródła, wersje, parametry).
• Dbanie o jakość kodu w reżimie Git – CI/CD oraz code review.
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych.
• Integracja standardów bezpieczeństwa firmy ze środowiskiem Azure.
• Optymalizacja procesów pod kątem wydajności i kosztów.

Skills

Python

PySpark

SQL

Microsoft Fabric

Azure Synapse

Databricks

Delta/Parquet

Git

NDA compliance

Tools

Git

Job description

Astek Polska poszukuje Data Engineer z doświadczeniem w projektach produkcyjnych, specjalizującego się w Pythonie, PySpark i SQL. Kandydat powinien pracować z Microsoft Fabric, Azure Synapse lub Databricks, posiadać praktyczne doświadczenie z danymi w chmurze oraz znajomość Delta/Parquet. Wymagana umiejętność pracy z Git i NDA.

Oferujemy długoterminową współpracę, wsparcie szkoleń i rozwoju, a także pakiet benefitów. Proces rekrutacji obejmuje rozmowy z rekruterem, Business Managerem i klientem.