Senior Data Engineer (Python/Azure) — Lakehouse Architect

DCG; United States; Remote; USD 46,000 - 71,000; Full time

Benefits offered by this job

Prywatną opiekę medyczną

Dofinansowanie karty sportowej

Stałe wsparcie konsultanta

Program rekomendacji pracowników

Job summary

DCG poszukuje specjalisty data engineeringu do projektowania i budowy hurtowni danych oraz lakehouse od podstaw dla klientów z sektorów regulacyjnych i państwowych. Kandydat będzie odpowiadał za implementację warstw bronze, silver i gold w architekturze medallion oraz rozwój modeli wymiarowych.

Wymagane doświadczenie z Azure Data Lake, Data Factory, Functions, Databricks lub Microsoft Fabric, Pythonem (ETL/ELT) oraz SQL. Wymagana dobra znajomość angielskiego (B2+).

Qualifications

• Minimum 5 lat komercyjnego doświadczenia w data engineeringu.
• Projektowanie i zbudowanie od podstaw hurtowni danych lub lakehouse.
• Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion.
• Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności.
• Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL.
• Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML.
• Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych.
• Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric.
• Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions.
• Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi.
• Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem.
• Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta.
• Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion.
• Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy.
• Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania.
• Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych.
• Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi.
• Prywatną opiekę medyczną
• Dofinansowanie karty sportowej
• Stałe wsparcie konsultanta
• Program rekomendacji pracowników

Responsibilities

• Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracja ze źródłami regulacyjnymi i parlamentarnymi.
• Dokumentowanie rozwiązań i przekazywanie ich do utrzymania innemu zespołowi.
• Analiza taksonomii biznesowej klienta, ocena dojrzałości i identyfikacja obszarów wymagających doprecyzowania.
• Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych.
• Projektowanie od podstaw hurtowni danych lub lakehouse z uwzględnieniem środowiska klienta i wymagań.

Skills

Data engineering

Hurtownia danych

Dimensional modeling

REST API

Python ETL

SQL

Azure data services

Git / CI/CD

Documentation

English B2+

Tools

Azure Data Lake Storage

Azure Data Factory

Azure Functions

Azure SQL

Azure Databricks

Microsoft Fabric

Git

GitHub Actions

Job description

DCG poszukuje specjalisty data engineeringu do projektowania i budowy hurtowni danych oraz lakehouse od podstaw dla klientów z sektorów regulacyjnych i państwowych. Kandydat będzie odpowiadał za implementację warstw bronze, silver i gold w architekturze medallion oraz rozwój modeli wymiarowych.

Wymagane doświadczenie z Azure Data Lake, Data Factory, Functions, Databricks lub Microsoft Fabric, Pythonem (ETL/ELT) oraz SQL. Wymagana dobra znajomość angielskiego (B2+).