Senior Data Engineer (Python / Azure)

DCG; Polska; Remote; PLN 180,000 - 320,000; Full time

Benefits offered by this job

Terraform/Bicep

Power BI data models

Legislative data APIs

Job summary

DCG Sp. z o.o. poszukuje specjalisty data engineeringu do zaprojektowania od podstaw hurtowni danych i lakehouse, z uwzględnieniem wymagań klienta oraz implementacją warstw bronze/silver/gold w architekturze medallion.

Oczekuje się praktycznej znajomości modelowania wymiarowego i Pythona w ETL/ELT, a także doświadczenia z Azure Data Lake, Data Factory i Databricks. Wymagany jest angielski na min. B2+ i samodzielność w współpracy z klientem.

Qualifications

• Minimum 5 lat komercyjnego doświadczenia w data engineeringu.
• Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse.
• Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion.
• Umiejętność przełożenia taksonomii biznesowej na struktury danych i ocenę ich kompletności oraz spójności.
• Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL.
• Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML.
• Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych.
• Doświadczenie z usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric.
• Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions.
• Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem.

Responsibilities

• Zaprojektowanie od podstaw hurtowni danych lub lakehouse z uwzględnieniem środowiska i wymagań klienta.
• Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion.
• Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy.
• Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania.
• Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych.
• Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi.
• Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych.
• Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych.
• Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta.

Skills

Python

SQL

Data modeling

Dimensional modeling

Azure Data Lake

Azure Data Factory

Azure Databricks

REST API

Git

CI/CD

Documentation

English B2+

Tools

Azure DevOps

GitHub Actions

Terraform

Bicep

Job description

Miejsce pracy: 100% zdalnie

Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:

Zakres obowiązków:

• Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta
• Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion
• Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy
• Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania
• Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych
• Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi
• Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych
• Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych
• Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta

Wymagania:

• Minimum 5 lat komercyjnego doświadczenia w data engineeringu
• Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse
• Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion
• Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności
• Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL
• Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML
• Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych
• Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
• Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions
• Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi
• Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem

Mile widziane:

• Znajomość Infrastructure as Code: Terraform lub Bicep
• Znajomość projektowania modeli danych na potrzeby Power BI
• Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament

Agencja doradztwa personalnego (nr licencji 4642)

Dane spółki: DCG Sp. z o.o.,

Siedziba główna: ul. Towarowa 28, 00-839 Warszawa

Oddział: Aleja Grunwaldzka 50A, 80-241 Gdańsk