Remote Data Engineer — Python & Azure Pipelines

DCG; Polska; Remote; PLN 180,000 - 240,000; Full time

Job summary

DCG Sp. z o.o. poszukuje Data Engineer z minimum 3 latami doświadczenia do pracy zdalnej. Główny zakres obejmuje integracje REST API, przetwarzanie JSON/XML i implementację transformacji danych w oparciu o Azure i CI/CD. Wymagane jest doskonałe doświadczenie w SQL, walidacji danych oraz obsłudze zmian schematów.

Pracownik będzie współpracować z zespołem klienta, zapewniając wysoką jakość danych i bezproblemowe przepływy danych w środowisku produkcyjnym.

Qualifications

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer.
• Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT.
• Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML.
• Dobra znajomość SQL.
• Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations.

Responsibilities

• Integracja z zewnętrznymi REST API, w tym autoryzacja, paginacja i ponawianie połączeń.
• Pobieranie, parsowanie i przetwarzanie danych JSON/XML.
• Implementacja transformacji i struktur danych zgodnie z architekturą.
• Zapewnienie jakości danych przez walidację i obsługę zmian schematów.
• Wdrażanie logowania, monitorowania pipeline'ów i obsługi błędów.
• Praca z repozytoriami Git i CI/CD klienta.
• Współpraca z zespołem klienta i samodzielne doprecyzowywanie wymagań.

Skills

Python

REST API integration

JSON/XML processing

SQL

Data validation

CI/CD collaboration

Tools

Pydantic

Pandas

Great Expectations

Azure Data Lake Storage

Azure Data Factory

Azure Functions

Azure SQL

Azure Databricks

Job description

DCG Sp. z o.o. poszukuje Data Engineer z minimum 3 latami doświadczenia do pracy zdalnej. Główny zakres obejmuje integracje REST API, przetwarzanie JSON/XML i implementację transformacji danych w oparciu o Azure i CI/CD. Wymagane jest doskonałe doświadczenie w SQL, walidacji danych oraz obsłudze zmian schematów.

Pracownik będzie współpracować z zespołem klienta, zapewniając wysoką jakość danych i bezproblemowe przepływy danych w środowisku produkcyjnym.