Data Engineer (Python / Azure)

DCG; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

DCG poszukuje Data Engineer’a z minimum 3-letnim doświadczeniem do pracy nad integracją REST API i przetwarzaniem danych JSON/XML. Do obowiązków należeć będzie projektowanie i utrzymanie pipeline’ów ETL/ELT w ekosystemie Azure, walidacja danych i monitorowanie procesów. Wymagana znajomość SQL oraz Docker/Git i praktyczna znajomość CI/CD.

Praca w Warszawie, możliwość pracy zdalnej ograniczona. Wymagane jest dobre zrozumienie architektury danych oraz samodzielność, a także umiejętność współpracy z

Qualifications

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer.
• Praktyczna znajomość Pythona w ETL/ELT produkcyjnych pipeline'ów.
• Doświadczenie w integracjach REST API i przetwarzaniu JSON/XML.
• Znajomość SQL i walidacji danych oraz obsługi schema drift.

Responsibilities

• Integracja z zewnętrznymi REST API i obsługa autoryzacji, paginacji oraz ponowień połączeń.
• Pobieranie i przetwarzanie danych w formatach JSON i XML.
• Implementacja transformacji i struktur danych zgodnie z architekturą.
• Zapewnienie jakości danych poprzez walidację i obsługę zmian schematów.
• Wdrażanie logowania, monitorowania pipeline'ów i obsługę błędów.
• Praca z Git i procesami CI/CD klienta; ścisła współpraca z zespołem klienta.

Skills

Python

REST API integration

JSON/XML processing

ETL/ELT pipelines

Data validation

Schema drift handling

Git workflows

CI/CD

English (B2+)

Tools

Azure Data Lake Storage

Azure Data Factory

Azure Functions

Azure SQL

Azure Databricks

Microsoft Fabric

Pydantic

Pandera

Great Expectations

Git

CI/CD tooling

Azure DevOps

GitHub Actions

Job description

Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:

Zakres obowiązków:

• Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń
• Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML
• Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą
• Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych
• Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów
• Praca z repozytoriami Git i procesami CI/CD klienta
• Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych

Wymagania:

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
• Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
• Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
• Dobra znajomość SQL
• Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
• Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
• Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
• Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
• Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym

Mile widziane:

• Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
• Znajomość zasad przygotowania modeli danych pod Power BI
• Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament