Senior Azure Data Platform Engineer – Lakehouse Expert

DCG; Województwo mazowieckie; On-site; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Opieka medyczna prywatna

Dofinansowanie karty sportowej

Stałe wsparcie dedykowanego konsultant

Program poleceń pracowniczych

Job summary

DCG w Polsce szuka specjalisty ds. danych z doświadczeniem w Spark, Python i SQL, do projektów na platformie Azure. Będziesz projektować i utrzymywać skalowalne rozwiązania data lakehouse, pracować nad ETL/ELT oraz migracjami Unity Catalog.

Wymagamy samodzielności, wysokiej kultury pracy z interesariuszami i zdolności do szybkiego identyfikowania ryzyk. Oferujemy wsparcie mentorskie, program poleceń i prywatną opiekę medyczną.

Qualifications

• Doświadczenie z Apache Spark, Python i SQL
• Praktyczne doświadczenie z Azure Cloud, Databricks, Data Factory, Data Lake, Synapse i Data Explorer
• Udokumentowane doświadczenie w tworzeniu i utrzymaniu ETL/ELT
• Praktyczne doświadczenie z Delta Live Tables i Unity Catalog
• Znajomość architektury Lakehouse, governancji danych, bezpieczeństwa i zgodności
• Znajomość CI/CD, Azure DevOps, automatyzacji infrastruktury, monitoringu i logowania
• Silne umiejętności analityczne i rozwiązywania problemów
• Umiejętność pracy samodzielnej z wysokim poczuciem odpowiedzialności
• Proaktywne identyfikowanie ryzyk i możliwości usprawnień
• Dobre umiejętności komunikacyjne i zarządzania interesariuszami
• Doświadczenie w dynamicznych środowiskach z częstymi zmianami priorytetów
• Umiejętność podejmowania pragmatycznych decyzji przy niepełnych wymaganiach
• Zdolność adaptacyjna, odporność, samodyscyplina i inicjatywa
• Znajomość angielskiego na poziomie co najmniej B2+

Responsibilities

• Projektowanie, tworzenie i utrzymanie skalowalnych rozwiązań danych w Azure Synapse, Databricks i Data Lakehouse
• Implementacja i optymalizacja procesów ETL/ELT
• Tworzenie rozwiązań przetwarzania danych w Pythonie, SQL i Apache Spark
• Wspieranie migracji i modernizacji, w tym Unity Catalog
• Budowa i utrzymanie Databricks workflows, DLT i frameworków opartych na metadanych
• Współpraca z architektami, analitykami i interesariuszami w przekładaniu wymagań biznesowych
• Zapewnienie jakości danych, wydajności i bezpieczeństwa platformy danych
• Diagnozowanie incydentów produkcyjnych, analiza przyczyn i działania naprawcze
• Wkład w CI/CD, automatyzację, monitorowanie i najlepsze praktyki operacyjne
• Optymalizacja potoków danych, struktur przechowywania i obciążeń przetwarzania
• Udział w przeglądach rozwiązań i architektury, promowanie standardów inżynieryjnych
• Wspieranie dzielenia się wiedzą i rozwoju technicznego zespołu
• Współpraca z Data Architects i zespołami platformy w zgodności z architekturą przedsiębiorstwa
• Wspieranie raportowania, analityki i AI/ML poprzez wiarygodne i skalowalne fundamenty danych

Skills

Apache Spark

Python

SQL

Azure DevOps

CI/CD

English B2+

Analiza i problem solving

Komunikacja z interesariuszami

Tools

Azure Cloud

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse Analytics

Azure Data Explorer

Databricks

Delta Live Tables

Unity Catalog

Job description

DCG w Polsce szuka specjalisty ds. danych z doświadczeniem w Spark, Python i SQL, do projektów na platformie Azure. Będziesz projektować i utrzymywać skalowalne rozwiązania data lakehouse, pracować nad ETL/ELT oraz migracjami Unity Catalog.

Wymagamy samodzielności, wysokiej kultury pracy z interesariuszami i zdolności do szybkiego identyfikowania ryzyk. Oferujemy wsparcie mentorskie, program poleceń i prywatną opiekę medyczną.