Senior Data Engineer - Microsoft Fabric & Azure

Primaris Services; Warszawa; Hybrid; PLN 210,000 - 250,000; Full time

Job summary

Primaris Services poszukuje doświadczonego Data Engineer / Senior Data Engineer, specjalizującego się w Microsoft Fabric i Azure. Do obowiązków należeć będzie projektowanie i utrzymanie pipeline’ów danych, PySpark, SQL oraz integracja źródeł danych. Praca w trybie hybrydowym w Warszawie, z naciskiem na wysokie standardy bezpieczeństwa i audytowalności.

Wymagane min. 3 lata doświadczenia w obszarze danych, znajomość Delta Lake/Parquet i Git, a także znajomość CI/CD oraz praktyczne podejście do

Qualifications

• Minimum 3 lata doświadczenia na stanowisku Data Engineer przy projektach produkcyjnych.
• Bardzo dobra znajomość Python, PySpark oraz SQL; praca z dużymi zbiorami danych.
• Doświadczenie z Microsoft Fabric lub pokrewnymi platformami (Azure Synapse, Databricks).
• Znajomość architektury warstwowej danych (Medallion Architecture) oraz Delta Lake/Parquet.
• Doświadczenie w projektowaniu pipeline’ów i integracji źródeł danych, także Excel i baz danych.
• Praktyczna znajomość Git i pracy zespołowej z CI/CD.
• Doświadczenie w Data Quality, walidacji danych i raportowaniu błędów.
• Znajomość zasad bezpieczeństwa danych w Azure i audytowalności.
• Umiejętność optymalizacji przetwarzania danych pod kątem wydajności i kosztów.
• Mile widziane DP-600/DP-700, doświadczenie w finansach, znajomość R, Agile/Scrum.

Responsibilities

• Projektowanie i implementacja pipeline’ów danych w środowisku Microsoft Fabric/Azure.
• Tworzenie notebooków PySpark i onboarding źródeł danych.
• Transformacje danych i przygotowanie danych wsadowych.
• Zapewnienie jakości, wersjonowania i bezpieczeństwa danych.
• Automatyzacja wdrożeń z wykorzystaniem Git i CI/CD.
• Praca w wysokospecyfikowanym środowisku z naciskiem na audytowalność.

Skills

Python

PySpark

SQL

Git

Data Quality

Azure security

CI/CD

Agile/Scrum

Medallion Architecture

Wydajność i koszty

Tools

Microsoft Fabric

Azure Synapse

Databricks

Delta Lake

Parquet

Job description

Primaris Services poszukuje doświadczonego Data Engineer / Senior Data Engineer, specjalizującego się w Microsoft Fabric i Azure. Do obowiązków należeć będzie projektowanie i utrzymanie pipeline’ów danych, PySpark, SQL oraz integracja źródeł danych. Praca w trybie hybrydowym w Warszawie, z naciskiem na wysokie standardy bezpieczeństwa i audytowalności.

Wymagane min. 3 lata doświadczenia w obszarze danych, znajomość Delta Lake/Parquet i Git, a także znajomość CI/CD oraz praktyczne podejście do