Data Engineer (Microsoft Fabric)

HeadHR; Redmond (WA); Hybrid; USD 52,000 - 63,000; Part time

Benefits offered by this job

Pakiet medyczny

Karta sportowa

Darmowa opieka księgowa

Job summary

HeadHR w Warszawie poszukuje Data Engineera do projektowania i implementacji pipeline’ów danych w Data Factory oraz PySpark w Microsoft Fabric. Będziesz integrować źródła plikowe i bazodanowe, walidować dane i transformować duże zbiory, z naciskiem na jakość i koszty.

Wymagane 5 lat doświadczenia, dobra znajomość Python (PySpark) i SQL oraz praktyczne doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks. NDA i weryfikacja bezpieczeństwa. Praca w modelu hybrydowym.

Qualifications

• Minimum 5 lat doświadczenia na podobnym stanowisku w projektach produkcyjnych.
• Bardzo dobra znajomość Python (PySpark) i SQL.
• Praktyczne doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych i formatów Delta/Parquet.
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel.
• Doświadczenie w pracy z Git w zespole.
• Gotowość do podpisania NDA i weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric
• Onboarding i integracja źródeł plikowych oraz bazodanowych, walidacja danych
• Transformacja i przygotowywanie danych wsadowych
• Implementacja reguł walidacji jakości danych i raportowania błędów
• Praca z Git, CI/CD i code review oraz wersjonowanie zestawów danych
• Współpraca z zespołem Ryzyka przy ustalaniu reguł transformacji
• Zapewnienie zgodności z wymaganiami bezpieczeństwa i prywatności danych
• Optymalizacja procesów pod kątem wydajności i kosztów

Skills

Python (PySpark)

SQL

Git collaboration

CI/CD familiarity

Big data experience

NDA readiness

Tools

Microsoft Fabric

Azure Synapse

Databricks

Git

Job description

Charakterystyka oferty:

• Miejsce pracy: praca hybrydowa (1 dzień tygodniowo z biura Klienta w Warszawie)
• Start: ASAP (do 1 miesiąca OW)
• Forma współpracy: B2B z ITFS
• Stawka: 140-170 PLN/h + VAT
• Proces rekrutacyjny: Krótka rozmowa telefoniczna z rekruterem ITFS -> Rozmowa rekrutacyjna z menedżerem po stronie Klienta -> Decyzja

Oferujemy:

• Przejrzyste warunki współpracy w firmie o pewnej i stabilnej pozycji rynkowej
• Możliwość skorzystania z dodatkowych benefitów (pakiet medyczny, sportowy, darmowa opieka księgowa - do 3 wpisów miesięcznie)

Obowiązki na stanowisku:

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric
• Onboarding i integracja źródeł plikowych oraz bazodanowych, wraz z walidacją techniczną i standaryzacją danych
• Transformacja i przygotowywanie danych wsadowych
• Implementacja reguł walidacji jakości danych oraz mechanizmów raportowania błędów
• Praca z Git, CI/CD i code review oraz wersjonowanie zestawów danych i metadanych
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń
• Zapewnienie zgodności z wymaganiami dotyczącymi bezpieczeństwa i prywatności danych
• Optymalizacja procesów pod kątem wydajności i kosztów

Kogo poszukujemy?

Wymagania:

• Minimum 5 lat doświadczenia na podobnym stanowisku, w tym minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych
• Bardzo dobra znajomość Python (PySpark) i SQL oraz doświadczenie w pracy z dużymi zbiorami danych
• Praktyczne doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks
• Znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta/Parquet
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel
• Doświadczenie w pracy z Git w zespole
• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa

Mile widziane:

• Certyfikat DP-600 lub DP-700
• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych
• Znajomość R
• Praktyka z CI/CD dla platform danych
• Doświadczenie z frameworkami data quality
• Doświadczenie w metodykach Agile i Scrum