Data Engineer - Potoki danych dla ML i analityki RTB

Wirtualna Polska SA; Warszawa; Hybrid; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Kafeteryjny pakiet benefitów

Karta sportowa

Opieka medyczna prywatna

Job summary

Wirtualna Polska poszukuje Data Engineera do budowy i optymalizacji potoków danych dla modeli ML. Będziesz monitorować jakość danych, optymalizować przetwarzanie i wspierać systemy w czasie rzeczywistym.

Doświadczenie z dużymi wolumenami danych, SQL, Python oraz obszarze analityki danych będzie kluczowe. Praca w modelu hybrydowym w Polsce, z elastycznym benefitem i możliwością rozwoju w WP holding.

Qualifications

• Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych.
• Bardzo dobra znajomość Pythona oraz SQL
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars
• Doświadczenie z analitycznymi bazami danych typu kolumnowego
• Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów
• Doświadczenie w pracy w sektorze operującym na dużej skali danych
• Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego

Responsibilities

• Budowa i optymalizacja procesów zasilających modele danymi.
• Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
• Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
• Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
• Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.

Skills

Python

SQL

Spark

Polars

Columnar DBs

Go

Kubernetes

ArgoCD

RTB

ML

Tools

ClickHouse

StarRocks

Kubernetes

ArgoCD

Job description

Wirtualna Polska poszukuje Data Engineera do budowy i optymalizacji potoków danych dla modeli ML. Będziesz monitorować jakość danych, optymalizować przetwarzanie i wspierać systemy w czasie rzeczywistym.

Doświadczenie z dużymi wolumenami danych, SQL, Python oraz obszarze analityki danych będzie kluczowe. Praca w modelu hybrydowym w Polsce, z elastycznym benefitem i możliwością rozwoju w WP holding.