Senior Data Engineer: Databricks & PySpark for ESG Data

AtlantisJobs; Warszawa; On-site; PLN 230,000 - 350,000; Full time

Job summary

AtlantisJobs w Warszawie szuka Senior Data Engineer do pracy nad Sustainability Data & AI, budowy i utrzymania Sustainability Data Foundation na Databricks, z pipeline'ami przetwarzającymi dane z ERP, procurement i źródeł zewnętrznych.

Realne zadania obejmują projektowanie data produktów, modeli danych, frameworków transformacji, optymalizację wydajności i kosztów, kontrolę jakości danych oraz wsparcie raportowania ESG. Doświadczenie w CI/CD i data governance będzie kluczowe.

Qualifications

• 5+ lat doświadczenia w projektowaniu, rozwijaniu i utrzymaniu platform i pipeline'ów danych.
• Rozległe praktyczne doświadczenie z Databricks w środowiskach produkcyjnych.
• Ekspercki poziom PySpark, modelowania danych i projektowania pipeline'ów.
• Doświadczenie w implementacji CI/CD dla workloadów data engineeringowych.
• Doświadczenie w automated testing, deployment pipelines i release management.
• Znajomość data lineage, metadata management, data governance i audytu.

Responsibilities

• Projektowanie i utrzymanie Sustainability Data Foundation na Databricks oraz pipeline'ów integrujących ERP, procurement i źródła zewnętrzne.
• Projektowanie data produktów, modeli danych i frameworków transformacji.
• Optymalizacja wydajności i kosztów przetwarzania danych.
• Kontrola jakości danych oraz wsparcie raportowania regulacyjnego ESG.

Skills

Databricks

PySpark

Data modeling

Data pipelines

CI/CD for data

Data governance

Data lineage

ETL testing

Tools

CI/CD tools

Job description

AtlantisJobs w Warszawie szuka Senior Data Engineer do pracy nad Sustainability Data & AI, budowy i utrzymania Sustainability Data Foundation na Databricks, z pipeline'ami przetwarzającymi dane z ERP, procurement i źródeł zewnętrznych.

Realne zadania obejmują projektowanie data produktów, modeli danych, frameworków transformacji, optymalizację wydajności i kosztów, kontrolę jakości danych oraz wsparcie raportowania ESG. Doświadczenie w CI/CD i data governance będzie kluczowe.