Hybrid Data Engineer - ML Pipelines & Data Quality

Optineo; Województwo mazowieckie; Ibrido; PLN 223.000 - 279.000; Tempo pieno

Vantaggi offerti da questo lavoro

Koncepcje GitOps i Kubernetes

KlikHouse/StarRocks wspierające ML

Go

Descrizione del lavoro

Optineo poszukuje Data Engineera / ML Data Engineera (Mid/Senior) do zespołu pracującego nad systemami przetwarzającymi ogromne wolumeny danych i modelami ML w czasie rzeczywistym. Rola wymaga projektowania pipeline'ów, zapewniania jakości danych i wysokiej wydajności przetwarzania.

2–3 lata doświadczenia w Data Engineering, biegłość w Pythonie i SQL oraz znajomość Spark/Polars i baz kolumnowych to kluczowe atuty. Praca w Warszawie, tryb hybrydowy, umowa o pracę lub B2B.

Competenze

• Co najmniej 3 lata doświadczenia w Data Engineering lub pokrewnym obszarze.
• Bardzo dobrze znasz Pythona i SQL.
• Pracowałeś(-aś) z dużymi wolumenami danych w środowisku produkcyjnym.
• Masz doświadczenie z narzędziami takimi jak Spark, Polars lub podobnymi.
• Znasz analityczne bazy kolumnowe i potrafisz optymalizować ich działanie.
• Współpracowałeś(-aś) z data scientistami lub zespołami ML i rozumiesz, do czego wykorzystywane są przygotowywane przez Ciebie dane.
• Potrafisz samodzielnie diagnozować problemy i wdrażać rozwiązania.

Mansioni

• Budować i optymalizować pipeline'y danych zasilające produkcyjne modele ML.
• Dbać o jakość i kompletność danych, wykrywać błędy i anomalie, zanim wpłyną na działanie modeli.
• Projektować sposób przechowywania i przetwarzania danych, tak żeby system radził sobie z dużym obciążeniem.
• Tworzyć metryki, dashboardy i alerty monitorujące jakość danych oraz działanie pipeline'ów.
• Analizować wydajność przetwarzania i zapytań, szukać wąskich gardeł i usuwać ich przyczyny.
• Pracować bezpośrednio z data scientistami, pomagając im skutecznie wykorzystywać dane w modelach ML.
• Automatyzować testowanie i wdrażanie zmian w pipeline'ach danych.

Conoscenze

Python

SQL

Spark

Polars

ClickHouse

StarRocks

Kubernetes

GitOps

Go

Strumenti

Spark

Polars

ClickHouse

StarRocks

Kubernetes

Go

GitOps

Descrizione del lavoro

Optineo poszukuje Data Engineera / ML Data Engineera (Mid/Senior) do zespołu pracującego nad systemami przetwarzającymi ogromne wolumeny danych i modelami ML w czasie rzeczywistym. Rola wymaga projektowania pipeline'ów, zapewniania jakości danych i wysokiej wydajności przetwarzania.

2–3 lata doświadczenia w Data Engineering, biegłość w Pythonie i SQL oraz znajomość Spark/Polars i baz kolumnowych to kluczowe atuty. Praca w Warszawie, tryb hybrydowy, umowa o pracę lub B2B.