AI Data Engineer — Pipelines, Embeddings & Vector DB

Scalo; Województwo mazowieckie; Hybride; PLN 159 000 - 227 000; Plein temps

Avantages offerts par ce poste

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Résumé du poste

Scalo poszukuje specjalisty ds. inżynierii danych do hybrydowej współpracy w Warszawie. Zakres obejmuje budowę pipeline’ów danych, projektowanie przepływów ETL, przetwarzanie dokumentów, OCR/ASR oraz integrację z wektorowymi bazami danych i usługami REST API.

Wymagana jest 3–5 lat doświadczenia, solidna znajomość Pythona lub Rust, a także umiejętność pracy w architekturze event-driven i z systemami Linux. Mile widziane Docker, Kubernetes i GCP.

Qualifications

• Doświadczenie w inżynierii danych, budowaniu pipeline’ów i usług przetwarzających dane (min. 3–5 lat).
• Dobra znajomość Pythona lub Rust-a.
• Praktyczna znajomość wektorowych baz danych, w szczególności Qdrant.
• Znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych.
• Doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API.
• Znajomość architektury sterowanej zdarzeniami (np. Kafka, Pub/Sub).
• Dobra znajomość Linux.
• Znajomość relacyjnych baz danych, np. PostgreSQL.
• Umiejętność projektowania i rozwijania procesów przetwarzania danych.
• Samodzielność w analizie problemów technicznych i proponowaniu rozwiązań.

Responsabilités

• Budowa i rozwój pipeline’ów danych niestrukturalnych.
• Projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych i rozwiązania dla agentów AI.
• Tworzenie procesów przetwarzania danych z dokumentów, obrazów i plików audio.
• Implementacja mechanizmów ekstrakcji treści, OCR, ASR oraz konwersji dokumentów.
• Rozwój rozwiązań z embeddingami, wyszukiwaniem semantycznym, indeksowaniem i filtrowaniem po metadanych.
• Integracja pipeline’ów z wektorowymi bazami danych (Qdrant).
• Projektowanie i rozwój usług przetwarzających dane w Pythonie lub Rustcie.
• Tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API.
• Rozwój architektury zdarzeniowej i integracji z Kafka lub Pub/Sub.
• Współpraca z zespołami Data Engineering i AI; orientacja na wydajność i niezawodność.

Connaissances

Inżynieria danych

Python

Rust

Wektorowe bazy danych

Qdrant

REST API

Architektura zdarzeniowa

Linux

PostgreSQL

Docker

Kubernetes

GCP

Outils

Docker

Kubernetes

CI/CD

BigQuery

Dataflow

Dataproc

Pub/Sub

Neo4j

FastAPI

Description du poste

Scalo poszukuje specjalisty ds. inżynierii danych do hybrydowej współpracy w Warszawie. Zakres obejmuje budowę pipeline’ów danych, projektowanie przepływów ETL, przetwarzanie dokumentów, OCR/ASR oraz integrację z wektorowymi bazami danych i usługami REST API.

Wymagana jest 3–5 lat doświadczenia, solidna znajomość Pythona lub Rust, a także umiejętność pracy w architekturze event-driven i z systemami Linux. Mile widziane Docker, Kubernetes i GCP.