Data Engineer / Senior Data Engineer Microsoft Fabric

Primaris Services; Warszawa; Hybrid; PLN 210,000 - 250,000; Full time

Job summary

Primaris Services poszukuje doświadczonego Data Engineer / Senior Data Engineer, specjalizującego się w Microsoft Fabric i Azure. Do obowiązków należeć będzie projektowanie i utrzymanie pipeline’ów danych, PySpark, SQL oraz integracja źródeł danych. Praca w trybie hybrydowym w Warszawie, z naciskiem na wysokie standardy bezpieczeństwa i audytowalności.

Wymagane min. 3 lata doświadczenia w obszarze danych, znajomość Delta Lake/Parquet i Git, a także znajomość CI/CD oraz praktyczne podejście do

Qualifications

• Minimum 3 lata doświadczenia na stanowisku Data Engineer przy projektach produkcyjnych.
• Bardzo dobra znajomość Python, PySpark oraz SQL; praca z dużymi zbiorami danych.
• Doświadczenie z Microsoft Fabric lub pokrewnymi platformami (Azure Synapse, Databricks).
• Znajomość architektury warstwowej danych (Medallion Architecture) oraz Delta Lake/Parquet.
• Doświadczenie w projektowaniu pipeline’ów i integracji źródeł danych, także Excel i baz danych.
• Praktyczna znajomość Git i pracy zespołowej z CI/CD.
• Doświadczenie w Data Quality, walidacji danych i raportowaniu błędów.
• Znajomość zasad bezpieczeństwa danych w Azure i audytowalności.
• Umiejętność optymalizacji przetwarzania danych pod kątem wydajności i kosztów.
• Mile widziane DP-600/DP-700, doświadczenie w finansach, znajomość R, Agile/Scrum.

Responsibilities

• Projektowanie i implementacja pipeline’ów danych w środowisku Microsoft Fabric/Azure.
• Tworzenie notebooków PySpark i onboarding źródeł danych.
• Transformacje danych i przygotowanie danych wsadowych.
• Zapewnienie jakości, wersjonowania i bezpieczeństwa danych.
• Automatyzacja wdrożeń z wykorzystaniem Git i CI/CD.
• Praca w wysokospecyfikowanym środowisku z naciskiem na audytowalność.

Skills

Python

PySpark

SQL

Git

Data Quality

Azure security

CI/CD

Agile/Scrum

Medallion Architecture

Wydajność i koszty

Tools

Microsoft Fabric

Azure Synapse

Databricks

Delta Lake

Parquet

Job description

Forma współpracy

kontrakt B2B

Tryb: hybrydowy (uzgodnione spotkania projektowe 1 dzień w tygodniu w Warszawie)

Poszukujemy osoby o profilu Data Engineer / Senior Data Engineer Microsoft Fabric, która posiadamin. 3 lat komercyjnego doświadczenia.

Projekt który będziemy gotowi Ci zaproponować dotyczy

rozwoju i utrzymania procesów data engineeringowych w środowisku Microsoft Fabric i Azure. W ramach projektu będziesz odpowiadać za projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark, onboarding i integrację źródeł danych, transformacje oraz przygotowanie danych wsadowych. Istotnym elementem będzie również zapewnienie jakości, wersjonowania i bezpieczeństwa danych oraz automatyzacja wdrożeń z wykorzystaniem Git i CI/CD. Projekt realizowany jest w środowisku o wysokich wymaganiach w zakresie bezpieczeństwa i audytowalności.

Wymagania:

• Minimum 3 lata doświadczenia na stanowisku Data Engineer przy realizacji produkcyjnych projektów danych.


• Bardzo dobra znajomość Python, PySpark oraz SQL i doświadczenie w pracy z dużymi zbiorami danych.


• Praktyczne doświadczenie z Microsoft Fabric lub pokrewnymi platformami, takimi jak Azure Synapse czy Databricks.


• Znajomość architektury warstwowej danych, np. Medallion Architecture, oraz formatów Delta Lake / Parquet.


• Doświadczenie w projektowaniu i implementacji pipeline’ów danych oraz integracji różnorodnych źródeł, w tym plików Excel i baz danych.


• Praktyczna znajomość Git oraz pracy zespołowej z wykorzystaniem code review i CI/CD.


• Doświadczenie w implementacji mechanizmów Data Quality, walidacji danych i raportowania błędów.


• Znajomość zasad bezpieczeństwa i ochrony danych w środowisku Azure oraz gotowość do pracy z wymaganiami dotyczącymi prywatności i audytowalności.


• Umiejętność optymalizacji procesów przetwarzania danych pod kątem wydajności i kosztów.


• Mile widziane: certyfikaty DP-600 / DP-700, doświadczenie w sektorze finansowym, znajomość R, CI/CD dla platform danych oraz praca w metodykach Agile/Scrum.

Współpracując z naszą organizacją będziesz mógł/mogła liczyć na

• Ugruntowaną pozycją rynkową


• Projekty, w których będziesz miał/miała wpływ na ich rozwój


• Współpracę z atrakcyjnymi klientami biznesowymi z różnych branż (m.in.: finanse, bankowość, ubezpieczenia, healthcare, robotyzacja, energetyka, media)


• Bieżące informacje projektowe oraz stały dostęp do dokumentacji niezbędnej do realizacji zadań (np. Git, Gitflow, Angular, Docker, Primaris x TechTalks, Primaris Leadership Academy)


• Świetną atmosferę współpracy podczas realizacji projektów wśród zaangażowanych ludzi z pasją

Proces nawiązywania współpracy składa się z:

• rozmowy telefonicznej (do 30 min)


• zdalnego spotkania z Product Owner projektu (30-60 min)

Cały proces nawiązywania współpracy oraz onboarding prowadzony jest zdalnie.

Primaris Services to ponad 250 ekspertów na pokładzie i 15 lat doświadczenia w branży IT na rynku polskim oraz zagranicznym. Realizujemy ambitne projekty o wysokiej złożoności z różnych obszarów - m.in. bankowości, ubezpieczeń, healthcare, robotyzacji, energetyka, mediów (mamy ponad 40 aktywnych klientów). Rośniemy w siłę oraz ciągle poszerzamy portfolio zarówno naszych usług jak i klientów.
Zakres naszej działalności obejmuje budowę systemów od zera, ich rozwój oraz utrzymanie, wdrożenia produktowe, alokacje całych Zespołów, a także pojedynczych Ekspertów w strukturach Klienta.
Ponadto od kilku lat działamy bardzo intensywnie jako złoty Partner firmy UiPath (obszar Robotic Process Automation) budując roboty i sprzedając licencje u naszych Klientów. Co miesiąc nawiązujemy współpracę z 7 nowymi osobami. Wierzymy, że ludzie z pasją to klucz do naszego wspólnego sukcesu! Właśnie dlatego ciągle poszukujemy nowych, zdolnych osób, które powiększą grono naszych współpracowników.