Data Engineer Microsoft Fabric

ASTEK Polska; Warszawa; On-site; PLN 166,000 - 221,000; Full time

Benefits offered by this job

Długoterminowa współpraca

Szkolenia techniczne

Mentoring

Ścieżka kariery

Multisport

Opieka medyczna

Ubezpieczenie na życie

Imprezy team-buildingowe

Job summary

Astek Polska poszukuje Data Engineer z doświadczeniem w projektach produkcyjnych, specjalizującego się w Pythonie, PySpark i SQL. Kandydat powinien pracować z Microsoft Fabric, Azure Synapse lub Databricks, posiadać praktyczne doświadczenie z danymi w chmurze oraz znajomość Delta/Parquet. Wymagana umiejętność pracy z Git i NDA.

Oferujemy długoterminową współpracę, wsparcie szkoleń i rozwoju, a także pakiet benefitów. Proces rekrutacji obejmuje rozmowy z rekruterem, Business Managerem i klientem.

Qualifications

• ,3 lata doświadczenia Data Engineer w projektach produkcyjnych.
• Python (PySpark) i SQL na wysokim poziomie.
• Doświadczenie z platformami przetwarzania danych w chmurze: Microsoft Fabric, Azure Synapse, Databricks.
• Znajomość architektury danych (medalionowa).
• Znajomość formatów Delta/Parquet.
• Integracja różnych źródeł danych (w tym Excel).
• Kontrola wersji Git w zespole.
• Gotowość do podpisania NDA i weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementacja pipeline’ów w Azure Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych, walidacja techniczna i standaryzacja formatów.
• Transformacje oraz przygotowywanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu (źródła, wersje, parametry).
• Dbanie o jakość kodu w reżimie Git – CI/CD oraz code review.
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych.
• Integracja standardów bezpieczeństwa firmy ze środowiskiem Azure.
• Optymalizacja procesów pod kątem wydajności i kosztów.

Skills

Python

PySpark

SQL

Microsoft Fabric

Azure Synapse

Databricks

Delta/Parquet

Git

NDA compliance

Tools

Git

Job description

Astek

Założona w 1988 roku we Francji Grupa Astek jest światowym partnerem w obszarze doradztwa inżynieryjnego oraz IT. Dzięki swojej wiedzy specjalistycznej w wielu sektorach przemysłowych i technologicznych, Astek wspiera międzynarodowych Klientów w rozwijaniu i wdrażaniu produktów oraz usług, jednocześnie uczestnicząc w ich transformacji cyfrowej.

Grupa Astek od momentu powstania opiera swój rozwój na kulturze przedsiębiorczości i innowacyjności oraz na budowaniu umiejętności swoich ponad 10 000 pracowników, którzy codziennie uczestniczą w zróżnicowanych projektach technologicznych i inżynieryjnych.

Dołącz do silnie rozwijającej się we Francji i na całym świecie Grupy, której obroty w 2025 r. wyniosły 730 milionów euro. Zapraszamy po link.

Stanowisko

Obecnie dla naszego klienta z branży ubezpieczeniowej poszukujemy kandydata/kandydatki na stanowisko Data engineer z Microsoft Fabric (K/M)

Dodatkowe informacje

CZĘŚĆ NIEOBOWIĄZKOWA - możesz tutaj umieścić dodatkowe informacje nt projektu/klienta, branży, modelu pracy (hybryda, zdalnie), wymiaru FTE, itd., ale też o samej pracy, np. dla FullStack Deva o podziale pracy pomiędzy backend i frontend]

Oferowane wynagrodzenie

Wynagrodzenie: od 900 do 1200 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji.

Sprawdzisz się w tej roli, jeżeli:

• Masz minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Znasz Python (oraz PySpark) i SQL na poziomie pozwalającym na swobodną i sprawną pracę z dużymi zbiorami danych.
• Posiadasz praktyczne doświadczenie w pracy z chmurowymi platformami przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
• Rozumiesz i stosujesz architekturę warstwową danych (np. medalionową).
• Dobrze znasz formaty Delta / Parquet.
• Posiadasz doświadczenie w integracji różnorodnych źródeł danych (w tym praca z plikami Excel od użytkowników biznesowych).
• Sprawnie posługujesz się systemem kontroli wersji Git w pracy zespołowej.
• Wyrażasz gotowość do podpisania umowy NDA oraz przejścia weryfikacji bezpieczeństwa (wymóg konieczny).

Mile widziane:

• Posiadanie certyfikatów Microsoft: DP-600 lub DP-700.
• Doświadczenie z frameworkami Data Quality.
• Praktyka w tworzeniu procesów CI/CD dedykowanych dla platform danych.
• Znajomość języka R.
• Doświadczenie zdobyte w sektorze finansowym lub innym środowisku o wysokich rygorach audytowych.
• Znajomość zwinnych metodyk prowadzenia projektów (Agile, Scrum).

Zadania, które na Ciebie czekają:

• Projektowanie i implementacja pipeline’ów w Azure Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Onboarding źródeł plikowych i bazodanowych (wraz z ich walidacją techniczną i standaryzacją formatów).
• Transformacje oraz przygotowywanie danych wsadowych.
• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.
• Wersjonowanie zestawów danych oraz zapis metadanych przebiegu (w tym parametrów, źródeł i wersji).
• Dbanie o jakość kodu w reżimie Git – praca z repozytorium, wdrożenia przez CI/CD oraz udział w code review.
• Ścisła współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń danych.
• Zapewnienie zgodności z regulacjami dotyczącymi prywatności oraz bezpieczeństwa danych.
• Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.
• Optymalizacja procesów pod kątem wydajnościowym oraz kosztowym.

Nasz proces rekrutacji

Rozmowa z naszym Rekruterem -> Rozmowa z naszym Business Managerem -> Spotkanie z Klientem

W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej

Skontaktujemy się tylko z wybranymi kandydatami.

Co oferujemy

• Długoterminowa współpraca
• Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
• Mentoring Competence Center - bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
• Jasna ścieżka kariery
• Pakiet benefitów pracowniczych (Multisport, prywatna opieka medyczna, ubezpieczenie na życie)
• Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe

Klauzula informacyjna

Administratorem Pana/Pani danych osobowych jest ASTEK Polska sp. z o.o. z siedziba w Warszawie (00-133) przy Al. Jana Pawla II 22. Przysługuje Pani/Panu prawo do wglądu do danych, prawo żądania usunięcia danych itp. Szczegółowe informacje dotyczace przetwarzania: http://astek.pl/polityka-prywatnosci W dowolnym momencie przysługuje Panu/Pani prawo do wycofania wyrażonych zgód. W razie wycofania zgód prosimy o kontakt e-mailowy na [e-mail] pisemnie na adres administratora. Procedura dokonywania zgłoszeń przez sygnalistów w ASTEK Polska sp. z o. o.: https://astek.pl/sygnalisci/

Nr ref

AO240078