Analytics Engineer (m/k/os)

DOZ S.A.; Województwo mazowieckie; On-site; PLN 180,000 - 320,000; Full time

Benefits offered by this job

Prywatna opieka medyczna

Zniżki na produkty

Karty sportowe

Udział w akcjach CSR

Program premiowy

Szkolenia i dofinansowanie kursów

Umowa o pracę

Dofinansowanie do karty sportowej

Brak dress code’u

Job summary

DOZ S.A. poszukuje specjalisty ds. Data Engineering/DevOps do projektowania i budowy skalowalnych potoków danych w Azure, z orkiestracją Dagster i przetwarzaniem w Databricks. Wymagana znajomość PySpark, Delta Lake, Docker i Kubernetes, a także CI/CD w Azure DevOps lub GitHub Actions.

Dołączysz do zespołów Data Engineering, Data Science i BI, prowadząc projekty w chmurze Azure, implementując Everything as Code i zapewniając observability oraz optymalizację kosztów.

Qualifications

• Min. 3 lata doświadczenia w Data Engineering / DataOps / DevOps dla danych.
• Bardzo dobra znajomość Pythona i SQL w kodzie produkcyjnym.
• Doświadczenie z Databricks i PySpark oraz Delta Lake.
• Znajomość usług chmurowych Azure.
• Terraform i podejście Infrastructure as Code.
• Praktyczna znajomość Dockera i Kubernetes (mile widziane AKS).
• Doświadczenie w CI/CD (Azure DevOps lub GitHub Actions) i Git.
• Znajomość narzędzi orkiestracji (Dagster, Airflow).
• Znajomość angielskiego na poziomie technicznym.

Responsibilities

• Projektowanie i implementacja potoków danych w Azure, orkiestracja w Dagster.
• Przetwarzanie danych na Databricks: optymalizacja Spark, zarządzanie klastrami, Delta Lake.
• Budowa rozwiązań przetwarzania danych w czasie rzeczywistym z Kafka/Debezium.
• Tworzenie reużywalnych komponentów w Pythonie dla ETL/ELT.
• Zarządzanie infrastrukturą Azure w Terraform, w tym AKS i Databricks.
• Konteneryzacja i orkiestracja danych (Docker, Kubernetes).
• Budowa CI/CD dla Kubernetes i Databricks (Azure DevOps, GitHub Actions).
• Everything as Code: kod, testy, Dockerfile, manifesty K8s i Terraform w Git.
• Projektowanie monitoringu, logowania i observability (OpenMetadata).
• Współpraca z Data Engineering, Data Science i BI; mentoring w DataOps.

Skills

Python

SQL

Databricks

PySpark

Azure

Terraform

Docker

Kubernetes

Dagster

Git

Education

Bachelor's degree in Computer Science

Tools

Databricks

Terraform

Docker

Kubernetes

Dagster

Git

Job description

Twój zakres obowiązków

• Projektowanie i implementacja skalowalnych potoków danych w Azure, orkiestrowanych w Dagster
• Przetwarzanie danych na platformie Databricks: optymalizacja zadań Spark, zarządzanie klastrami, rozwiązania oparte na Delta Lake
• Budowa rozwiązań przetwarzania danych w czasie rzeczywistym w architekturze zdarzeniowej (Apache Kafka, Debezium)
• Tworzenie reużywalnych komponentów i bibliotek w Pythonie, które standaryzują procesy ETL/ELT
• Zarządzanie infrastrukturą Azure w Terraform, w tym AKS, zasobami Databricks, bazami danych i siecią
• Konteneryzacja aplikacji i procesów danych (Docker) oraz ich orkiestracja i skalowanie na Kubernetes
• Budowa w pełni zautomatyzowanych procesów CI/CD (Azure DevOps / GitHub Actions) dla Kubernetes i Databricks
• Wdrażanie podejścia „Everything as Code”: kod, testy, Dockerfile, manifesty K8s i Terraform wersjonowane w Git
• Projektowanie systemów monitorowania, logowania i alertowania oraz observability (np. OpenMetadata)
• Optymalizacja wydajności i kosztów procesów na Azure i Databricks
• Współpraca z zespołami Data Engineering, Data Science i BI oraz mentoring w zakresie praktyk DataOps

Nasze wymagania

• Min. 3 lata doświadczenia w obszarze Data Engineering, DataOps lub DevOps dla danych
• Bardzo dobra znajomość Pythona (kod produkcyjny, tworzenie bibliotek) oraz SQL
• Praktyczne doświadczenie z Databricks i PySpark, w tym Delta Lake
• Doświadczenie z usługami chmury Azure
• Znajomość Terraform i podejścia Infrastructure as Code
• Praktyczna znajomość Dockera i Kubernetes (mile widziane AKS)
• Doświadczenie w budowie pipeline’ów CI/CD (Azure DevOps lub GitHub Actions) oraz biegła praca z Git
• Doświadczenie z narzędziami do orkiestracji (Dagster, Airflow lub podobne)
• Znajomość języka angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną

Mile widziane

• Doświadczenie z Apache Kafka i Change Data Capture (Debezium)
• Znajomość narzędzi observability i katalogowania danych (OpenMetadata, Prometheus, Grafana)
• Doświadczenie z Unity Catalog
• Certyfikaty Databricks lub Microsoft Azure
• Doświadczenie w branży retail lub e-commerce

To oferujemy

• ambitną pracę, w której nie sposób się nudzić
• możliwość dołączenia do dobrego ubezpieczenia grupowego na preferencyjnych warunkach, które zapewni poczucie bezpieczeństwa Tobie i Twoim bliskim
• prywatną opiekę medyczną dzięki, której będziesz miał możliwość skonsultowania się ze specjalistami na trenie całego kraju
• akcje profilaktyczne dzięki którym chcemy zadbać o Twoje zdrowie!
• pyszną kawę w miłym towarzystwie współpracowników
• zniżki oraz karty rabatowe na wybrane produkty
• karty sportowe dzięki które zadbasz o swoje dobre samopoczucie
• udział w akcjach CSR, bo lubimy pomagać
• regularny feedback, który pomoże rozwijać Twoje kompetencje
• Udział w akcjach CSR (np. akcje charytatywne)

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie szkoleń i kursów
• ubezpieczenie na życie
• zniżki na firmowe produkty i usługi
• brak dress code’u
• wyprawka dla dziecka
• wyprawka szkolna
• umowa o pracę
• atrakcyjny system premiowy
• dofinansowanie do karty sportowej
• akcje profilaktyczne, programy prozdrowotne