Data Platform Engineer — Azure, Databricks & Kafka

DOZ S.A.; Województwo mazowieckie; On-site; PLN 180,000 - 320,000; Full time

Benefits offered by this job

Prywatna opieka medyczna

Zniżki na produkty

Karty sportowe

Udział w akcjach CSR

Program premiowy

Szkolenia i dofinansowanie kursów

Umowa o pracę

Dofinansowanie do karty sportowej

Brak dress code’u

Job summary

DOZ S.A. poszukuje specjalisty ds. Data Engineering/DevOps do projektowania i budowy skalowalnych potoków danych w Azure, z orkiestracją Dagster i przetwarzaniem w Databricks. Wymagana znajomość PySpark, Delta Lake, Docker i Kubernetes, a także CI/CD w Azure DevOps lub GitHub Actions.

Dołączysz do zespołów Data Engineering, Data Science i BI, prowadząc projekty w chmurze Azure, implementując Everything as Code i zapewniając observability oraz optymalizację kosztów.

Qualifications

• Min. 3 lata doświadczenia w Data Engineering / DataOps / DevOps dla danych.
• Bardzo dobra znajomość Pythona i SQL w kodzie produkcyjnym.
• Doświadczenie z Databricks i PySpark oraz Delta Lake.
• Znajomość usług chmurowych Azure.
• Terraform i podejście Infrastructure as Code.
• Praktyczna znajomość Dockera i Kubernetes (mile widziane AKS).
• Doświadczenie w CI/CD (Azure DevOps lub GitHub Actions) i Git.
• Znajomość narzędzi orkiestracji (Dagster, Airflow).
• Znajomość angielskiego na poziomie technicznym.

Responsibilities

• Projektowanie i implementacja potoków danych w Azure, orkiestracja w Dagster.
• Przetwarzanie danych na Databricks: optymalizacja Spark, zarządzanie klastrami, Delta Lake.
• Budowa rozwiązań przetwarzania danych w czasie rzeczywistym z Kafka/Debezium.
• Tworzenie reużywalnych komponentów w Pythonie dla ETL/ELT.
• Zarządzanie infrastrukturą Azure w Terraform, w tym AKS i Databricks.
• Konteneryzacja i orkiestracja danych (Docker, Kubernetes).
• Budowa CI/CD dla Kubernetes i Databricks (Azure DevOps, GitHub Actions).
• Everything as Code: kod, testy, Dockerfile, manifesty K8s i Terraform w Git.
• Projektowanie monitoringu, logowania i observability (OpenMetadata).
• Współpraca z Data Engineering, Data Science i BI; mentoring w DataOps.

Skills

Python

SQL

Databricks

PySpark

Azure

Terraform

Docker

Kubernetes

Dagster

Git

Education

Bachelor's degree in Computer Science

Tools

Databricks

Terraform

Docker

Kubernetes

Dagster

Git

Job description

DOZ S.A. poszukuje specjalisty ds. Data Engineering/DevOps do projektowania i budowy skalowalnych potoków danych w Azure, z orkiestracją Dagster i przetwarzaniem w Databricks. Wymagana znajomość PySpark, Delta Lake, Docker i Kubernetes, a także CI/CD w Azure DevOps lub GitHub Actions.

Dołączysz do zespołów Data Engineering, Data Science i BI, prowadząc projekty w chmurze Azure, implementując Everything as Code i zapewniając observability oraz optymalizację kosztów.