Senior Data Engineer

DCG; Województwo mazowieckie; On-site; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Opieka medyczna prywatna

Dofinansowanie karty sportowej

Stałe wsparcie dedykowanego konsultant

Program poleceń pracowniczych

Job summary

DCG w Polsce szuka specjalisty ds. danych z doświadczeniem w Spark, Python i SQL, do projektów na platformie Azure. Będziesz projektować i utrzymywać skalowalne rozwiązania data lakehouse, pracować nad ETL/ELT oraz migracjami Unity Catalog.

Wymagamy samodzielności, wysokiej kultury pracy z interesariuszami i zdolności do szybkiego identyfikowania ryzyk. Oferujemy wsparcie mentorskie, program poleceń i prywatną opiekę medyczną.

Qualifications

• Doświadczenie z Apache Spark, Python i SQL
• Praktyczne doświadczenie z Azure Cloud, Databricks, Data Factory, Data Lake, Synapse i Data Explorer
• Udokumentowane doświadczenie w tworzeniu i utrzymaniu ETL/ELT
• Praktyczne doświadczenie z Delta Live Tables i Unity Catalog
• Znajomość architektury Lakehouse, governancji danych, bezpieczeństwa i zgodności
• Znajomość CI/CD, Azure DevOps, automatyzacji infrastruktury, monitoringu i logowania
• Silne umiejętności analityczne i rozwiązywania problemów
• Umiejętność pracy samodzielnej z wysokim poczuciem odpowiedzialności
• Proaktywne identyfikowanie ryzyk i możliwości usprawnień
• Dobre umiejętności komunikacyjne i zarządzania interesariuszami
• Doświadczenie w dynamicznych środowiskach z częstymi zmianami priorytetów
• Umiejętność podejmowania pragmatycznych decyzji przy niepełnych wymaganiach
• Zdolność adaptacyjna, odporność, samodyscyplina i inicjatywa
• Znajomość angielskiego na poziomie co najmniej B2+

Responsibilities

• Projektowanie, tworzenie i utrzymanie skalowalnych rozwiązań danych w Azure Synapse, Databricks i Data Lakehouse
• Implementacja i optymalizacja procesów ETL/ELT
• Tworzenie rozwiązań przetwarzania danych w Pythonie, SQL i Apache Spark
• Wspieranie migracji i modernizacji, w tym Unity Catalog
• Budowa i utrzymanie Databricks workflows, DLT i frameworków opartych na metadanych
• Współpraca z architektami, analitykami i interesariuszami w przekładaniu wymagań biznesowych
• Zapewnienie jakości danych, wydajności i bezpieczeństwa platformy danych
• Diagnozowanie incydentów produkcyjnych, analiza przyczyn i działania naprawcze
• Wkład w CI/CD, automatyzację, monitorowanie i najlepsze praktyki operacyjne
• Optymalizacja potoków danych, struktur przechowywania i obciążeń przetwarzania
• Udział w przeglądach rozwiązań i architektury, promowanie standardów inżynieryjnych
• Wspieranie dzielenia się wiedzą i rozwoju technicznego zespołu
• Współpraca z Data Architects i zespołami platformy w zgodności z architekturą przedsiębiorstwa
• Wspieranie raportowania, analityki i AI/ML poprzez wiarygodne i skalowalne fundamenty danych

Skills

Apache Spark

Python

SQL

Azure DevOps

CI/CD

English B2+

Analiza i problem solving

Komunikacja z interesariuszami

Tools

Azure Cloud

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse Analytics

Azure Data Explorer

Databricks

Delta Live Tables

Unity Catalog

Job description

O projekcie:

Offer:

• Private medical care- Co-financing for the sports card- Constant support of dedicated consultant- Employee referral program

Wymagania:

• Strong experience with Apache Spark, Python, and SQL
• Hands-on experience with Azure Cloud, Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, and Azure Data Explorer
• Proven experience in building and maintaining ETL/ELT processes
• Practical experience with Databricks, Delta Live Tables (DLT), and Unity Catalog
• Understanding of Lakehouse architecture, data governance, security, compliance, and operational excellence
• Familiarity with CI/CD, Azure DevOps, infrastructure automation, monitoring, and logging
• Strong analytical and problem-solving skills
• Ability to work independently with a high level of ownership and accountability
• Proactive approach to identifying risks, blockers, and improvement opportunities
• Strong communication and stakeholder management skills across technical and business teams
• Experience working in dynamic environments with frequently changing priorities and cross-functional teams
• Ability to make pragmatic decisions and deliver results despite incomplete requirements
• Adaptability, resilience, self-organization, and ability to independently drive initiatives and propose practical solutions
• English proficiency at minimum B2+ level

Codzienne zadania:

• Design, develop, and maintain scalable data solutions across Azure Synapse, Azure Databricks, and Data Lakehouse environments
• Implement and optimize ETL/ELT processes for ingesting, transforming, and serving data across multiple business domains
• Develop and maintain data processing solutions using Python, SQL, and Apache Spark
• Support migration and modernization initiatives, including Unity Catalog adoption, platform upgrades, and data platform transformations
• Build and maintain Databricks workflows, Delta Live Tables (DLT), metadata-driven frameworks, and orchestration processes
• Collaborate with architects, analysts, and business stakeholders to translate business requirements into technical solutions
• Ensure data quality, reliability, performance, and security across the data platform
• Troubleshoot production incidents, perform root cause analysis, and implement corrective actions
• Contribute to CI/CD, infrastructure automation, monitoring, logging, and operational best practices
• Optimize data pipelines, storage structures, and processing workloads for efficiency and cost reduction
• Participate in solution and architecture reviews while promoting engineering standards and governance principles
• Support knowledge sharing, mentoring, and technical development within the team
• Collaborate with Data Architects and platform teams to align solutions with enterprise data architecture, Lakehouse principles, and governance requirements
• Support reporting, analytics, and AI/ML initiatives by providing reliable and scalable data foundations