Data Engineer - Microsoft Fabric & Azure Pipelines (Hybrid)

ASTEK Polska Sp. z o.o.; Warszawa; On-site; PLN 166,000 - 221,000; Full time

Benefits offered by this job

Multisport

Prywatna opieka medyczna

Ubezpieczenie na życie

Szkolenia techniczne

Mentoring CC

Job summary

Astek Polska Sp. z o.o. poszukuje Data Engineera specjalizującego się w Microsoft Fabric i przetwarzaniu dużych zbiorów danych. Do obowiązków należą pipeline'y i integracja źródeł danych, walidacja jakości danych oraz współpraca z zespołem ds. ryzyka.

Wymagane co najmniej 3 lata doświadczenia, znajomość Python/PySpark, SQL oraz platform chmurowych takich jak Microsoft Fabric, Azure Synapse lub Databricks. Oferujemy długoterminową współpracę i benefity.

Qualifications

• Minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych.
• Znajomość Pythona (i PySpark) oraz SQL na dobrym poziomie.
• Doświadczenie z platformami przetwarzania danych w chmurze: Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość architektury warstwowej danych i formatów Delta/Parquet.
• Umiejętność integracji źródeł danych (np. pliki Excel od użytkowników biznesowych).
• Praktyczna znajomość Git i gotowość podpisania NDA oraz weryfikacji bezpieczeństwa.

Responsibilities

• Projektowanie i implementacja pipeline'ów w Azure Data Factory i PySpark w Microsoft Fabric.
• Onboarding źródeł danych, walidacja techniczna i standaryzacja formatów.
• Transformacje danych wsadowych i przygotowywanie zestawów danych.
• Implementacja reguł jakości danych i raportowania błędów.
• Wersjonowanie danych oraz logowanie metadanych przebiegu.
• Dbanie o jakość kodu w Git, CI/CD i code review.
• Współpraca z Zespołem Ryzyka przy transformacjach danych.
• Zapewnienie zgodności z RODO i bezpieczeństwem danych.
• Integracja standardów bezpieczeństwa firmy z Azure.
• Optymalizacja procesów pod kątem wydajności i kosztów.

Skills

Python

PySpark

SQL

Microsoft Fabric

Azure Synapse

Databricks

Delta/Parquet

Git

Data Quality

Tools

Microsoft Fabric

Azure Synapse

Databricks

Git

Job description

Astek Polska Sp. z o.o. poszukuje Data Engineera specjalizującego się w Microsoft Fabric i przetwarzaniu dużych zbiorów danych. Do obowiązków należą pipeline'y i integracja źródeł danych, walidacja jakości danych oraz współpraca z zespołem ds. ryzyka.

Wymagane co najmniej 3 lata doświadczenia, znajomość Python/PySpark, SQL oraz platform chmurowych takich jak Microsoft Fabric, Azure Synapse lub Databricks. Oferujemy długoterminową współpracę i benefity.