Senior Data Engineer (Python / Azure)

Solid Company; Polska; Híbrido; PLN 180 000 - 240 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Prywatną opiekę medyczną

Dofinansowanie karty sportowej

Stałe wsparcie konsultanta

Program rekomendacji pracowników

Resumo da oferta

Solid Company w Polsce poszukuje doświadczonego inżyniera danych do zaprojektowania i wdrożenia hurtowni danych lub lakehouse od podstaw, z uwzględnieniem środowiska klienta. Do obowiązków należy wdrożenie warstw bronze/silver/gold w architekturze medallion i opracowanie modelu gwiazdowego.

Wymagane jest minimum 5 lat doświadczenia w data engineeringu, biegła znajomość Pythona (ETL/ELT) i SQL, a także praktyczne umiejętności integracji REST API, QA danych i schema drift.

Qualificações

• Minimum 5 lat komercyjnego doświadczenia w data engineeringu
• Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse
• Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion
• Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności
• Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL
• Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML
• Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych
• Doświadczenie z usługami Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
• Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions
• Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem
• Mile widziane: Terraform/Bicep, Power BI data modeling, knowledge of legislative data APIs

Responsabilidades

• Zaprojektowanie od podstaw hurtowni danych lub lakehouse z uwzględnieniem środowiska klienta
• Wdrożenie warstw bronze, silver i gold w architekturze medallion
• Opracowanie modelu wymiarowego (tabele faktów, wymiary, relacje w schemacie gwiazdy)
• Analiza taksonomii biznesowej klienta i identyfikacja potrzeb doprecyzowania
• Przeniesienie taksonomii na słownik danych i struktury klasyfikacyjne
• Budowa produkcyjnych pipeline’ów ETL/ELT w Pythonie i integracja ze źródłami regulacyjnymi
• Wdrożenie mechanizmów walidacji, obsługi zmian schematów i logowania
• Współpraca z klientem przy doprecyzowaniu wymagań i decyzjach technicznych
• Przygotowanie dokumentacji architektury, modelu danych i pipeline’ów oraz przekazanie rozwiązania zespołowi klienta

Conhecimentos

Data modeling

Dimensional modeling

Python ETL/ELT

SQL proficiency

REST API integration

Data quality & schema drift

Client collaboration

Documentation

CI/CD knowledge

English B2+

Ferramentas

Azure Data Lake Storage

Azure Data Factory

Azure Functions

Azure SQL

Azure Databricks

Microsoft Fabric

Git

CI/CD pipelines

Terraform

Bicep

Power BI

Descrição da oferta de emprego

Zakres obowiązków:

• Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta


• Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion


• Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy


• Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania


• Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych


• Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi


• Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych


• Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych


• Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta

Oferujemy:

• Prywatną opiekę medyczną


• Dofinansowanie karty sportowej


• Stałe wsparcie konsultanta


• Program rekomendacji pracowników

Kogo poszukujemy?

Wymagania:

• Minimum 5 lat komercyjnego doświadczenia w data engineeringu


• Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse


• Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion


• Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności


• Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL


• Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML


• Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych


• Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric


• Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions


• Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi


• Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem

Mile widziane:

• Znajomość Infrastructure as Code: Terraform lub Bicep


• Znajomość projektowania modeli danych na potrzeby Power BI


• Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament