Data Engineer: Real-Time ML & Big Data (Hybrid)

Grupa Wirtualna Polska; Województwo mazowieckie; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Dostęp do bezpłatnych i anonimowych/?!

Elastyczny pakiet benefitów

Szkolenia WP Akademia

Job summary

Wirtualna Polska poszukuje Data Engineera, który będzie rozwijać przepływy danych dla modeli ML w wysokoskalowym środowisku reklamowym i e-commerce. Do Twoich zadań będzie należało zapewnienie jakości danych, projektowanie architektury danych i optymalizacja przetwarzania.

Oferujemy pracę w zespole ekspertów, możliwość pracy hybrydowej (3 dni w biurze, 2 zdalnie), szkolenia w WP Akademia i benefity dopasowywane do potrzeb.

Qualifications

• Minimum 3 lata komercyjnego doświadczenia w Data Engineering.
• Bardzo dobra znajomość Pythona i SQL.
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem Spark i Polars.
• Doświadczenie w pracy z analitycznymi bazami danych kolumnowych.

Responsibilities

• Budowa i optymalizacja procesów zasilających modele danymi.
• Projektowanie i optymalizacja warstwy przechowywania danych i indeksowania.
• Tworzenie warstwy obserwowalności danych i monitorowanie jakości danych.
• Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym detekcja distribution shift.
• Wdrażanie CI/CD wspierających tworzenie i wdrażanie modeli predykcyjnych.

Skills

Python

SQL

Spark

Polars

Columnar databases

Data modeling

Big data

Go

Tools

Kubernetes

ArgoCD

ClickHouse

StarRocks

Job description

Wirtualna Polska poszukuje Data Engineera, który będzie rozwijać przepływy danych dla modeli ML w wysokoskalowym środowisku reklamowym i e-commerce. Do Twoich zadań będzie należało zapewnienie jakości danych, projektowanie architektury danych i optymalizacja przetwarzania.

Oferujemy pracę w zespole ekspertów, możliwość pracy hybrydowej (3 dni w biurze, 2 zdalnie), szkolenia w WP Akademia i benefity dopasowywane do potrzeb.