Data Engineer: Buduj dane dla ML w systemach RTB

Wirtualna Polska SA; Województwo pomorskie; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Elastyczny pakiet benefitów

Karta sportowa na preferencyjnych war.

Ubezpieczenia na życie

Prywatna opieka medyczna

Konsultacje psychologiczne

Szkolenia w WP Akademia

Job summary

Wirtualnej Polski poszukujemy Data Engineera, który będzie rozwijać procesy dostarczające dane do modeli ML w systemie RTB i monitorować ich jakość. Zajmiesz się także optymalizacją przetwarzania i obiegów danych w skali setek tysięcy zapytań na sekundę.

Oczekujemy minimum 3 lat doświadczenia w Data Engineering, znajomości Pythona i SQL oraz pracy z dużymi wolumenami danych. Dołączysz do zespołu pracującego w modelu hybrydowym, z dostępem do szkoleń WP Akademia i benefitów.

Qualifications

• Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych.
• Bardzo dobra znajomość Pythona oraz SQL.
• Doświadczenie w przetwarzaniu dużych wolumenów danych z użyciem Spark i Polars.
• Doświadczenie z analitycznymi bazami danych typu kolumnowego.
• Silne kompetencje techniczne i zrozumienie działania skomplikowanych systemów.
• Doświadczenie w pracy na dużych danych i projektowaniu struktur danych pod analitykę w czasie zbliżonym do rzeczywistego.

Responsibilities

• Budowa i optymalizacja procesów zasilających modele danymi.
• Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
• Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
• Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
• Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.

Skills

Python

SQL

Spark

Polars

analytical databases

data modeling

large-scale data processing

Tools

ClickHouse

StarRocks

Kubernetes

ArgoCD

Job description

Wirtualnej Polski poszukujemy Data Engineera, który będzie rozwijać procesy dostarczające dane do modeli ML w systemie RTB i monitorować ich jakość. Zajmiesz się także optymalizacją przetwarzania i obiegów danych w skali setek tysięcy zapytań na sekundę.

Oczekujemy minimum 3 lat doświadczenia w Data Engineering, znajomości Pythona i SQL oraz pracy z dużymi wolumenami danych. Dołączysz do zespołu pracującego w modelu hybrydowym, z dostępem do szkoleń WP Akademia i benefitów.