Data Engineer

Wirtualna Polska SA; Województwo pomorskie; On-site; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Elastyczny pakiet benefitów

Karta sportowa na preferencyjnych war.

Ubezpieczenia na życie

Prywatna opieka medyczna

Konsultacje psychologiczne

Szkolenia w WP Akademia

Job summary

Wirtualnej Polski poszukujemy Data Engineera, który będzie rozwijać procesy dostarczające dane do modeli ML w systemie RTB i monitorować ich jakość. Zajmiesz się także optymalizacją przetwarzania i obiegów danych w skali setek tysięcy zapytań na sekundę.

Oczekujemy minimum 3 lat doświadczenia w Data Engineering, znajomości Pythona i SQL oraz pracy z dużymi wolumenami danych. Dołączysz do zespołu pracującego w modelu hybrydowym, z dostępem do szkoleń WP Akademia i benefitów.

Qualifications

• Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych.
• Bardzo dobra znajomość Pythona oraz SQL.
• Doświadczenie w przetwarzaniu dużych wolumenów danych z użyciem Spark i Polars.
• Doświadczenie z analitycznymi bazami danych typu kolumnowego.
• Silne kompetencje techniczne i zrozumienie działania skomplikowanych systemów.
• Doświadczenie w pracy na dużych danych i projektowaniu struktur danych pod analitykę w czasie zbliżonym do rzeczywistego.

Responsibilities

• Budowa i optymalizacja procesów zasilających modele danymi.
• Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
• Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
• Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
• Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.

Skills

Python

SQL

Spark

Polars

analytical databases

data modeling

large-scale data processing

Tools

ClickHouse

StarRocks

Kubernetes

ArgoCD

Job description

W Wirtualnej Polski wierzymy, że nie ma jednej drogi do sukcesu - liczy się to, co wniesiesz i jak będziesz działać. Kreatywność, odwaga i innowacyjność to nasze DNA.
Działamy w obszarach mediów, reklamy i e-commerce, łącząc te elementy w sposób, który angażuje i inspiruje. Tworzymy, testujemy, wprowadzamy zmiany tam, gdzie mają sens. Budujemy rzeczy od zera i szukamy nowych rozwiązań.

Nad czym będziesz pracować?

Budujemy „mózg” biddera RTB — systemu, który w imieniu klientów e-commerce kupuje powierzchnię reklamową w aukcjach czasu rzeczywistego. Nasze modele ML decydują, jaką kampanię wyświetlić, jak powinna wyglądać reklama oraz czy i za ile licytować.

Działamy na dużą skalę: setki tysięcy zapytań na sekundę, dziesiątki miliardów decyzji modeli ML dziennie i setki milionów wierszy logów aukcyjnych trafiających każdego dnia do bazy danych.

Jako Data Engineer będziesz rozwijać procesy dostarczające dane do tych modeli. Kluczową częścią Twojej pracy będzie monitorowanie i weryfikowanie jakości danych oraz zrozumienie ich wpływu na działanie modeli. Zajmiesz się również optymalizacją procesów przetwarzania i obliczeń, aby sprawnie obsługiwały skalę naszego systemu.

Brzmi dobrze?

Dołącz do nas na stanowisko Data Engineer i razem z nami buduj przyszłość Internetu!

Jakie działania będą należeć do Ciebie?

• Budowa i optymalizacja procesów zasilających modele danymi.
• Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
• Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
• Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
• Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.

Jakie kompetencje są dla nas ważne?

• Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych.
• Bardzo dobra znajomość Pythona oraz SQL
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars
• Doświadczenie z analitycznymi bazami danych typu kolumnowego
• Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów
• Doświadczenie w pracy w sektorze operującym na dużej skali danych
• Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego

Mile widziane:

• Znajomość konkretnych silników analitycznych: ClickHouse i/lub StarRocks
• Znajomość Kubernetes oraz narzędzi GitOps (ArgoCD)
• Doświadczenie w branży RTB (Real-Time Bidding) lub programmatic advertising
• Doświadczenie w projektach z obszaru uczenia maszynowego (ML)
• Znajomość języka Go (Golang)

Co zyskujesz, dołączając do WP?

• Pracęu technologicznego lidera i partnera pierwszego wyboru – tworzymy treści, usługi i rozrywkę, które towarzyszą milionom Polaków każdego dnia
• Darmowy dostęp do naszych produktów, takich jak Pilot WP czyAudioteka-chcemy, żebyś czuł się częścią tego, co tworzymy
• Worksmilei elastyczny pakiet benefitów - to Ty wybierasz, co jest dla Ciebie ważne
• Dostęp do bezpłatnych i anonimowych konsultacji psychologicznych
• Możliwość pracy hybrydowej - pracujemy 3 dni w biurze oraz 2 dni z domu łącząc swobodę pracy zdalnej z tym, co najlepsze w biurze
• Wydarzenia, które zbliżają - od sezonowych akcji (Dzień Dziecka to nasz ulubieniec!) powebinaryo zdrowiu ineuroróżnorodności
• Możliwość rozwoju dzięki szkoleniom w ramach programu WP Akademia
• Szansę na nowe wyzwania i kierunki w ramach spółek WP Holding - wewnętrzne rekrutacje są na wyciągnięcie ręki
• możliwość pracy hybrydowej
• system kafeteryjny
• karta sportowa na preferencyjnych warunkach
• ubezpieczenia na życie
• prywatna opieka medyczna na preferencyjnych warunkach