Data Engineer Python & Azure ETL Pipelines

DCG; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

DCG poszukuje Data Engineer’a z minimum 3-letnim doświadczeniem do pracy nad integracją REST API i przetwarzaniem danych JSON/XML. Do obowiązków należeć będzie projektowanie i utrzymanie pipeline’ów ETL/ELT w ekosystemie Azure, walidacja danych i monitorowanie procesów. Wymagana znajomość SQL oraz Docker/Git i praktyczna znajomość CI/CD.

Praca w Warszawie, możliwość pracy zdalnej ograniczona. Wymagane jest dobre zrozumienie architektury danych oraz samodzielność, a także umiejętność współpracy z

Qualifications

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer.
• Praktyczna znajomość Pythona w ETL/ELT produkcyjnych pipeline'ów.
• Doświadczenie w integracjach REST API i przetwarzaniu JSON/XML.
• Znajomość SQL i walidacji danych oraz obsługi schema drift.

Responsibilities

• Integracja z zewnętrznymi REST API i obsługa autoryzacji, paginacji oraz ponowień połączeń.
• Pobieranie i przetwarzanie danych w formatach JSON i XML.
• Implementacja transformacji i struktur danych zgodnie z architekturą.
• Zapewnienie jakości danych poprzez walidację i obsługę zmian schematów.
• Wdrażanie logowania, monitorowania pipeline'ów i obsługę błędów.
• Praca z Git i procesami CI/CD klienta; ścisła współpraca z zespołem klienta.

Skills

Python

REST API integration

JSON/XML processing

ETL/ELT pipelines

Data validation

Schema drift handling

Git workflows

CI/CD

English (B2+)

Tools

Azure Data Lake Storage

Azure Data Factory

Azure Functions

Azure SQL

Azure Databricks

Microsoft Fabric

Pydantic

Pandera

Great Expectations

Git

CI/CD tooling

Azure DevOps

GitHub Actions

Job description

DCG poszukuje Data Engineer’a z minimum 3-letnim doświadczeniem do pracy nad integracją REST API i przetwarzaniem danych JSON/XML. Do obowiązków należeć będzie projektowanie i utrzymanie pipeline’ów ETL/ELT w ekosystemie Azure, walidacja danych i monitorowanie procesów. Wymagana znajomość SQL oraz Docker/Git i praktyczna znajomość CI/CD.

Praca w Warszawie, możliwość pracy zdalnej ograniczona. Wymagane jest dobre zrozumienie architektury danych oraz samodzielność, a także umiejętność współpracy z