Data Engineer Microsoft Fabric - Warszawa (Mazowieckie), Polska K/M

Astek; Warszawa; Hybrid; PLN 166,000 - 221,000; Full time

Benefits offered by this job

Długoterminowa współpraca

Szkolenia techniczne

Mentoring

Jasna ścieżka kariery

Multisport i prywatna opieka medyczna

Spotkania team-buildingowe

Job summary

Astrex Polska sp. z o.o. prowadzi rekrutację na stanowisko Data Engineer z Microsoft Fabric dla klienta z branży ubezpieczeniowej. Praca w modelu hybrydowym w Warszawie, z wynagrodzeniem od 900 do 1200 PLN netto/dzień w zależności od doświadczenia.

Wymagane min. 3 lata doświadczenia w Data Engineering, znajomość Python/PySpark/SQL, chmury danych (Microsoft Fabric/Azure Synapse/Databricks) oraz Git. NDA i weryfikacja bezpieczeństwa to obowiązek.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Znajomość Pythona (Python) oraz PySpark i SQL na poziomie umożliwiającym pracę z dużymi zbiorami danych.
• Posiadanie praktycznego doświadczenia w pracy z chmurowymi platformami przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
• Rozumienie architektury warstwowej danych (np. medallion).
• Dobrze znasz formaty Delta/Parquet.
• Doświadczenie w integracji źródeł danych (w tym Excel od użytkowników biznesowych).
• Sprawne posługiwanie się Git w projekcie zespołowym.
• Wyrażenie gotowości do podpisania NDA oraz weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Azure Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną i standaryzacją formatów.
• Transformacje i przygotowywanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu.
• Dbanie o jakość kodu w reżimie Git – CI/CD i code review.
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych.
• Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.
• Optymalizacja procesów pod kątem wydajnościowym i kosztowym.

Skills

Python

PySpark

SQL

Microsoft Fabric

Azure Synapse

Databricks

Delta format

Parquet format

Git

NDA readiness

Tools

Azure Data Factory

Azure Databricks

Job description

Stanowisko

Obecnie dla naszego klienta z branży ubezpieczeniowej poszukujemy kandydata/kandydatki na stanowisko Data engineer z Microsoft Fabric (K/M)

Dodatkowe informacje

CZĘŚĆ NIEOBOWIĄZKOWA - możesz tutaj umieścić dodatkowe informacje nt projektu/klienta, branży, modelu pracy (hybryda, zdalnie), wymiaru FTE, itd., ale też o samej pracy, np. dla FullStack Deva o podziale pracy pomiędzy backend i frontend

Oferowane wynagrodzenie

Wynagrodzenie: od 900 do 1200 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji.

Sprawdysz się w tej roli, jeżeli:

• Masz minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Znasz Python (oraz PySpark) i SQL na poziomie pozwalającym na swobodną i sprawną pracę z dużymi zbiorami danych.
• Posiadasz praktyczne doświadczenie w pracy z chmurowymi platformami przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
• Rozumiesz i stosujesz architekturę warstwową danych (np. medalionową).
• Dobrze znasz formaty Delta / Parquet.
• Posiadasz doświadczenie w integracji różnorodnych źródeł danych (w tym praca z plikami Excel od użytkowników biznesowych).
• Sprawnie posługujesz się systemem kontroli wersji Git w pracy zespołowej.
• Wyrażasz gotowość do podpisania umowy NDA oraz przejścia weryfikacji bezpieczeństwa (wymóg konieczny).

Mile widziane:

• Posiadanie certyfikatów Microsoft: DP-600 lub DP-700.
• Doświadczenie z frameworkami Data Quality.
• Praktyka w tworzeniu procesów CI/CD dedykowanych dla platform danych.
• Znajomość języka R.
• Doświadczenie zdobyte w sektorze finansowym lub innym środowisku o wysokich rygorach audytowych.
• Znajomość zwinnych metodyk prowadzenia projektów (Agile, Scrum).

Zadania, które na Ciebie czekają:

• Projektowanie i implementacja pipeline’ów w Azure Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych (wraz z ich walidacją techniczną i standaryzacją formatów).
• Transformacje oraz przygotowywanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu (w tym parametrów, źródeł i wersji).
• Dbanie o jakość kodu w reżimie Git – praca z repozytorium, wdrożenia przez CI/CD oraz udział w code review.
• Ścisła współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności oraz bezpieczeństwa danych.
• Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.
• Optymalizacja procesów pod kątem wydajnościowym oraz kosztowym.

Nasz proces rekrutacji

Rozmowa z naszym Rekruterem -> Rozmowa z naszym Business Managerem -> Spotkanie z Klientem W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej. Skontaktujemy się tylko z wybranymi kandydatami.

Co oferujemy

• Długoterminowa współpraca
• Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
• Mentoring Competence Center - bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
• Jasna ścieżka kariery
• Pakiet benefitów pracowniczych (Multisport, prywatna opieka medyczna, ubezpieczenie na życie)
• Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe

Klauzula informacyjna

Administratorem Pana/Pani danych osobowych jest ASTEK Polska sp. z o.o. z siedziba w Warszawie (00-133) przy Al. Jana Pawla II 22.

Przysługuje Panu/Pani prawo do wglądu do danych, prawo żądania usunięcia danych itp.

Szczegółowe informacje dotyczace przetwarzania: http://astek.pl/polityka-prywatnosci

W dowolnym momencie przysługuje Panu/Pani prawo do wycofania wyrażonych zgód.

W razie wycofania zgód prosimy o kontakt e‑mailowy na adres [e-mail] lub pisemnie na adres administratora.

Procedura dokonywania zgłoszeń przez sygnalistów w ASTEK Polska sp. z o. o.: https://astek.pl/sygnalisci/