Hybrid Data Engineer - Real-Time ML Data Quality

Grupa Wirtualna Polska; Warszawa; Hybride; PLN 180 000 - 250 000; Plein temps

Avantages offerts par ce poste

Konsultacje psychologiczne

Elastyczny pakiet benefitów

Dostęp do Pilot WP

Praca hybrydowa

Szkolenia WP Akademia

Résumé du poste

Grupa Wirtualna Polska poszukuje inżyniera danych do budowy i optymalizacji procesów zasilających modele ML. Będziesz monitorować jakość danych i wpływ na modele, projektować architekturę danych i obsługiwać systemy w czasie zbliżonym do rzeczywistego.

Praca w trybie hybrydowym: 3 dni w biurze, 2 dni zdalnie. Wymagana jest silna znajomość Python/SQL i doświadczenie z przetwarzaniem dużych wolumenów danych. Dołącz do lidera treści i reklam w Polsce.

Qualifications

• Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych.
• Bardzo dobra znajomość Pythona oraz SQL
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars
• Doświadczenie z analitycznymi bazami danych typu kolumnowego
• Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów
• Doświadczenie w pracy w sektorze operującym na dużej skali danych
• Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego

Responsabilités

• Budowa i optymalizacja procesów zasilających modele danymi.
• Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
• Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
• Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
• Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.

Connaissances

Python

SQL

Spark

Polars

Go

Kubernetes

GitOps

ArgoCD

RTB

ML

Outils

ClickHouse

StarRocks

Airflow

Kafka

Description du poste

Grupa Wirtualna Polska poszukuje inżyniera danych do budowy i optymalizacji procesów zasilających modele ML. Będziesz monitorować jakość danych i wpływ na modele, projektować architekturę danych i obsługiwać systemy w czasie zbliżonym do rzeczywistego.

Praca w trybie hybrydowym: 3 dni w biurze, 2 dni zdalnie. Wymagana jest silna znajomość Python/SQL i doświadczenie z przetwarzaniem dużych wolumenów danych. Dołącz do lidera treści i reklam w Polsce.