Senior Data Engineer (Databricks & PySpark)

AtlantisJobs; Warszawa; On-site; PLN 230,000 - 350,000; Full time

Job summary

AtlantisJobs w Warszawie szuka Senior Data Engineer do pracy nad Sustainability Data & AI, budowy i utrzymania Sustainability Data Foundation na Databricks, z pipeline'ami przetwarzającymi dane z ERP, procurement i źródeł zewnętrznych.

Realne zadania obejmują projektowanie data produktów, modeli danych, frameworków transformacji, optymalizację wydajności i kosztów, kontrolę jakości danych oraz wsparcie raportowania ESG. Doświadczenie w CI/CD i data governance będzie kluczowe.

Qualifications

• 5+ lat doświadczenia w projektowaniu, rozwijaniu i utrzymaniu platform i pipeline'ów danych.
• Rozległe praktyczne doświadczenie z Databricks w środowiskach produkcyjnych.
• Ekspercki poziom PySpark, modelowania danych i projektowania pipeline'ów.
• Doświadczenie w implementacji CI/CD dla workloadów data engineeringowych.
• Doświadczenie w automated testing, deployment pipelines i release management.
• Znajomość data lineage, metadata management, data governance i audytu.

Responsibilities

• Projektowanie i utrzymanie Sustainability Data Foundation na Databricks oraz pipeline'ów integrujących ERP, procurement i źródła zewnętrzne.
• Projektowanie data produktów, modeli danych i frameworków transformacji.
• Optymalizacja wydajności i kosztów przetwarzania danych.
• Kontrola jakości danych oraz wsparcie raportowania regulacyjnego ESG.

Skills

Databricks

PySpark

Data modeling

Data pipelines

CI/CD for data

Data governance

Data lineage

ETL testing

Tools

CI/CD tools

Job description

Senior Data Engineer w zespole Sustainability Data & AI — budowa i utrzymanie Sustainability Data Foundation na Databricks, z pipeline'ami przetwarzającymi dane z ERP, procurement i źródeł zewnętrznych. Realnie: projektowanie data produktów, modeli danych, frameworków transformacji, optymalizacja wydajności i kosztów, kontrola jakości danych oraz wsparcie raportowania regulacyjnego ESG. Uwaga: 'ability to balance engineering excellence with pragmatic delivery' może sugerować presję na dostarczanie kosztem jakości, a ogłoszenie jest urwane w połowie zdania — co świadczy o niedbałości w publikacji. Dla kogoś, kto lubi samodzielnie prowadzić rozwiązania od projektu po produkcję.

• 5+ lat doświadczenia w projektowaniu, rozwijaniu i utrzymaniu platform i pipeline'ów danych
• Rozległe praktyczne doświadczenie z Databricks w środowiskach produkcyjnych
• Ekspercki poziom PySpark, modelowania danych i projektowania pipeline'ów
• Doświadczenie w implementacji CI/CD dla workloadów data engineeringowych
• Doświadczenie w automated testing, deployment pipelines i release management
• Znajomość data lineage, metadata management, data governance i audytu