Data Engineer / ML Data Engineer (Mid/Senior) – Hybrid

Optineo; Województwo mazowieckie; Hybrid; PLN 223,000 - 279,000; Full time

Benefits offered by this job

Koncepcje GitOps i Kubernetes

KlikHouse/StarRocks wspierające ML

Go

Job summary

Optineo poszukuje Data Engineera / ML Data Engineera (Mid/Senior) do zespołu pracującego nad systemami przetwarzającymi ogromne wolumeny danych i modelami ML w czasie rzeczywistym. Rola wymaga projektowania pipeline'ów, zapewniania jakości danych i wysokiej wydajności przetwarzania.

2–3 lata doświadczenia w Data Engineering, biegłość w Pythonie i SQL oraz znajomość Spark/Polars i baz kolumnowych to kluczowe atuty. Praca w Warszawie, tryb hybrydowy, umowa o pracę lub B2B.

Qualifications

• Co najmniej 3 lata doświadczenia w Data Engineering lub pokrewnym obszarze.
• Bardzo dobrze znasz Pythona i SQL.
• Pracowałeś(-aś) z dużymi wolumenami danych w środowisku produkcyjnym.
• Masz doświadczenie z narzędziami takimi jak Spark, Polars lub podobnymi.
• Znasz analityczne bazy kolumnowe i potrafisz optymalizować ich działanie.
• Współpracowałeś(-aś) z data scientistami lub zespołami ML i rozumiesz, do czego wykorzystywane są przygotowywane przez Ciebie dane.
• Potrafisz samodzielnie diagnozować problemy i wdrażać rozwiązania.

Responsibilities

• Budować i optymalizować pipeline'y danych zasilające produkcyjne modele ML.
• Dbać o jakość i kompletność danych, wykrywać błędy i anomalie, zanim wpłyną na działanie modeli.
• Projektować sposób przechowywania i przetwarzania danych, tak żeby system radził sobie z dużym obciążeniem.
• Tworzyć metryki, dashboardy i alerty monitorujące jakość danych oraz działanie pipeline'ów.
• Analizować wydajność przetwarzania i zapytań, szukać wąskich gardeł i usuwać ich przyczyny.
• Pracować bezpośrednio z data scientistami, pomagając im skutecznie wykorzystywać dane w modelach ML.
• Automatyzować testowanie i wdrażanie zmian w pipeline'ach danych.

Skills

Python

SQL

Spark

Polars

ClickHouse

StarRocks

Kubernetes

GitOps

Go

Tools

Spark

Polars

ClickHouse

StarRocks

Kubernetes

Go

GitOps

Job description

Data Engineer / ML Data Engineer (Mid/Senior) – Hybrid

Wynagrodzenie: 20 000–25 000 PLN miesięcznie (UoP brutto lub adekwatna stawka B2B netto + VAT)

Forma współpracy: Umowa o pracę lub B2B

Lokalizacja: Warszawa

Tryb pracy: Hybrydowy

Szukamy Data Engineera do zespołu rozwijającego systemy, które przetwarzają ogromne ilości danych i wykorzystują modele ML do podejmowania decyzji w czasie rzeczywistym. Dużym wyzwaniem jest zapewnienie jakości danych i wydajności ich przetwarzania przy bardzo wysokim obciążeniu. To praca dla kogoś, kto lubi szukać wąskich gardeł, rozwiązywać złożone problemy techniczne i budować rozwiązania, które niezawodnie działają na produkcji.

Co będziesz robić:

• Budować i optymalizować pipeline'y danych zasilające produkcyjne modele ML.
• Dbać o jakość i kompletność danych, wykrywać błędy i anomalie, zanim wpłyną na działanie modeli.
• Projektować sposób przechowywania i przetwarzania danych, tak żeby system radził sobie z dużym obciążeniem.
• Tworzyć metryki, dashboardy i alerty monitorujące jakość danych oraz działanie pipeline'ów.
• Analizować wydajność przetwarzania i zapytań, szukać wąskich gardeł i usuwać ich przyczyny.
• Pracować bezpośrednio z data scientistami, pomagając im skutecznie wykorzystywać dane w modelach ML.
• Automatyzować testowanie i wdrażanie zmian w pipeline'ach danych.

Czego oczekujemy:

• Masz co najmniej 3 lata doświadczenia w Data Engineering lub pokrewnym obszarze.
• Bardzo dobrze znasz Pythona i SQL.
• Pracowałeś(-aś) z dużymi wolumenami danych w środowisku produkcyjnym.
• Masz doświadczenie z narzędziami takimi jak Spark, Polars lub podobnymi.
• Znasz analityczne bazy kolumnowe i potrafisz optymalizować ich działanie.
• Współpracowałeś(-aś) z data scientistami lub zespołami ML i rozumiesz, do czego wykorzystywane są przygotowywane przez Ciebie dane.
• Potrafisz samodzielnie diagnozować problemy i wdrażać rozwiązania.

Mile widziane:

• ClickHouse lub StarRocks.
• Kubernetes i narzędzia GitOps.
• Go.
• Doświadczenie z systemami przetwarzającymi dane w czasie rzeczywistym lub projektami ML.

Nie musisz mieć doświadczenia w konkretnej branży ani pracować wcześniej z systemami o takiej skali. Ważne, żebyś potrafił(-a) wykorzystać swoje doświadczenie w nowych, bardziej wymagających warunkach.

Zespół:

Dołączysz do zespołu rozwijającego rozwiązania, które dostarczają dane do modeli ML wykorzystywanych w systemach produkcyjnych. Będziesz pracować bezpośrednio z data scientistami, ale w obszarze inżynierii danych oczekujemy dużej samodzielności. To rola z realnym wpływem na jakość danych, wydajność i niezawodność całego systemu – nie tylko na pojedynczy etap ETL.

Stack technologiczny:

Python i SQL jako główne technologie; Spark, Polars lub podobne narzędzia do przetwarzania dużych zbiorów danych; analityczne bazy kolumnowe, w tym ClickHouse lub StarRocks. Przydatne będą również Kubernetes, narzędzia GitOps i znajomość Go.

Jak wygląda proces:

Rekrutację prowadzi Optineo. Zaczynamy od krótkiej rozmowy zapoznawczej. Potem umawiamy się na dłuższy wywiad o Twoim doświadczeniu i oczekiwaniach. W trakcie rozmów szybko odkryjemy karty: poznasz nazwę klienta i szczegóły pracy. Wspólnie zdecydujemy, czy idziemy dalej, a informacje o Tobie trafią do klienta wyłącznie za Twoją zgodą. To konkretne, otwarte stanowisko, a nie zbieranie CV na zapas.