Data Engineer

Team Connect; Wrocław; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

Team Connect poszukuje Inżyniera Danych do zespołu pracującego nad nowoczesnymi potokami danych dla sektora Financial Services. Do zadań należy projektowanie, budowa i utrzymanie end-to-end potoków danych, integracja źródeł danych oraz zapewnienie jakości danych w środowisku chmurowym.

Praca hybrydowa z Wrocławia/Poznania (2 dni w biurze). Wymagane doświadczenie z Python, SQL, PySpark i Databricks w Azure. Doświadczenie w Data Lakehouse i modelowaniu danych mile widziane.

Qualifications

• Min.3–7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.
• Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla Financial Services / Investment Banking.
• Silne doświadczenie w integracji, transformacji i modelowaniu danych.
• Doświadczenie w pracy z platformami danych w chmurze.
• Znajomość REST API, batch i streaming ingestion, oraz DevOps w kontekście danych.
• Znajomość narzędzi Git, CI/CD i Azure DevOps.

Responsibilities

• Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań data lakehouse wspierających analitykę i raportowanie.
• Implementacja pozyskiwania danych z wielu źródeł (bazy danych, API, pliki, zdarzenia).
• Transformacja danych, walidacja i zapewnienie jakości w end-to-end przepływach.
• Współpraca z analitykami i interesariuszami w przekładaniu wymagań biznesowych na architekturę danych.
• Wsparcie środowisk produkcyjnych i udział w optymalizacji wydajności.

Skills

Python

SQL

PySpark

Databricks

Delta Lake

Azure

ADLS

Data Factory

Synapse

REST API

CI/CD

Git

Data quality

Data governance

Tools

Databricks

Azure DevOps

Azure

DLT

Power BI

ETL/ELT

Job description

Team Connect to wiodący w Polsce dostawca usług IT w modelunearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów.Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodykiAgile i DevOps- od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacjebackendowe, frontendowe oraz mobilne.

Dla jednego z naszych klientów z branży finansowej poszukujemy osoby na stanowisko Data Engineer. Specjalista/tka dołączy do wysoko wydajnego zespołu tworzącego nowoczesne platformy danych oraz rozwiązania oparte na danych dla klientów z sektora Usług Finansowych i Bankowości Inwestycyjnej. Rola koncentruje się na budowie, integracji i utrzymaniu skalowalnych potoków danych (data pipelines) wspierających analitykę, zarządzanie ryzykiem, wymagania regulacyjne oraz procesy raportowania.

Lokalizacja: praca hybrydowa z Wrocławia/Poznania (2 razy na tydzień praca z biura)

Zakres obowiązków:

• Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Budowa i optymalizacja rozwiązań typu data lakehouse wspierających analitykę, raportowanie oraz wymagania regulacyjne.
• Implementacja procesów pozyskiwania danych z wielu źródeł (bazy danych, API, pliki, strumienie komunikatów/zdarzeń).
• Wykonywanie transformacji danych, walidacji oraz kontroli jakości w całych przepływach danych (end-to-end).
• Współpraca z Analitykami Biznesowymi oraz interesariuszami w celu przełożenia wymagań biznesowych na rozwiązania danych.
• Wsparcie środowisk produkcyjnych, analiza incydentów oraz udział w optymalizacji wydajności.
• Zapewnienie zgodności z zasadami zarządzania danymi (data governance), bezpieczeństwa oraz standardami regulacyjnymi.

Wymagania:

• Min.3–7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.
• Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla sektora Financial Services / Investment Banking.
• Silne doświadczenie w zakresie: integracji danych, transformacji danych, modelowania danych.
• Doświadczenie w pracy z platformami danych działającymi w chmurze.
• Doświadczenie/Znajomość:
  • Programowanie i przetwarzanie danych: Python, SQL, PySpark,
  • Platformy danych: Databricks (Delta Lake, DLT),
  • Coud data lakes / architektury lakehouse,
  • Chmura: Azure: ADLS (Azure Data Lake Storage), Data Factory, Synapse lub równoważne usługi chmurowe,
  • Modelowanie danych: Architektura Medallion, Modele wymiarowe (dimensional models), Data Vault (mile widziane),
  • Integracja: REST API, Przetwarzanie wsadowe (batch ingestion), Przetwarzanie strumieniowe (streaming ingestion),
  • DevOps i narzędzia: Git, Pipeline’y CI/CD, Azure DevOps lub podobne narzędzi,
  • Bardzo dobra znajomość: jakości danych, optymalizacji wydajności, skalowalności rozwiązań.