Senior Data Engineer - Microsoft Fabric & PySpark

HeadHR; Redmond (WA); Hybrid; USD 52,000 - 63,000; Part time

Benefits offered by this job

Pakiet medyczny

Karta sportowa

Darmowa opieka księgowa

Job summary

HeadHR w Warszawie poszukuje Data Engineera do projektowania i implementacji pipeline’ów danych w Data Factory oraz PySpark w Microsoft Fabric. Będziesz integrować źródła plikowe i bazodanowe, walidować dane i transformować duże zbiory, z naciskiem na jakość i koszty.

Wymagane 5 lat doświadczenia, dobra znajomość Python (PySpark) i SQL oraz praktyczne doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks. NDA i weryfikacja bezpieczeństwa. Praca w modelu hybrydowym.

Qualifications

• Minimum 5 lat doświadczenia na podobnym stanowisku w projektach produkcyjnych.
• Bardzo dobra znajomość Python (PySpark) i SQL.
• Praktyczne doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych i formatów Delta/Parquet.
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel.
• Doświadczenie w pracy z Git w zespole.
• Gotowość do podpisania NDA i weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric
• Onboarding i integracja źródeł plikowych oraz bazodanowych, walidacja danych
• Transformacja i przygotowywanie danych wsadowych
• Implementacja reguł walidacji jakości danych i raportowania błędów
• Praca z Git, CI/CD i code review oraz wersjonowanie zestawów danych
• Współpraca z zespołem Ryzyka przy ustalaniu reguł transformacji
• Zapewnienie zgodności z wymaganiami bezpieczeństwa i prywatności danych
• Optymalizacja procesów pod kątem wydajności i kosztów

Skills

Python (PySpark)

SQL

Git collaboration

CI/CD familiarity

Big data experience

NDA readiness

Tools

Microsoft Fabric

Azure Synapse

Databricks

Git

Job description

HeadHR w Warszawie poszukuje Data Engineera do projektowania i implementacji pipeline’ów danych w Data Factory oraz PySpark w Microsoft Fabric. Będziesz integrować źródła plikowe i bazodanowe, walidować dane i transformować duże zbiory, z naciskiem na jakość i koszty.

Wymagane 5 lat doświadczenia, dobra znajomość Python (PySpark) i SQL oraz praktyczne doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks. NDA i weryfikacja bezpieczeństwa. Praca w modelu hybrydowym.