Data Engineer (k/m/x) – Python / Rust / Qdrant

B2B.NET S.A.; Województwo mazowieckie; On-site; PLN 120,000 - 180,000; Full time

Job summary

B2B.NET S.A. szuka inżyniera danych do projektów związanych z przetwarzaniem danych nieustrukturyzowanych dla systemów AI.

Będziesz projektować i rozwijać pipeline'y danych, tworzyć procesy ETL z elementami OCR i transkrypcji oraz pracować z embeddingami i wektorową bazą danych Qdrant do wyszukiwania semantycznego. Wymagane są dobre umiejętności Python lub Rust, doświadczenie w REST API, architekturze zdarzeniowej oraz znajomość Linuxa i PostgreSQL.

Qualifications

• Dobra znajomość Pythona i/lub Rust (wystarczy jeden z tych języków).
• Praktyczne doświadczenie w projektowaniu i budowaniu pipeline'ów danych oraz procesów ETL.
• Doświadczenie z wektorowymi bazami danych (np. Qdrant) i pracą z embeddingami oraz wyszukiwaniem semantycznym.
• Znajomość architektury zdarzeniowej (Apache Kafka lub Google Pub/Sub).
• Dobra znajomość systemu Linux oraz relacyjnych baz danych (np. PostgreSQL).

Skills

Python

ETL pipelines design

Vector databases (Qdrant)

Embedding & semantic search

REST API integration

Tools

Qdrant

PostgreSQL

Apache Kafka

Google Pub/Sub

Job description

Projekt związany z budową i rozwojem rozwiązań przetwarzających dane nieustrukturyzowane (dokumenty, obrazy, nagrania audio) na potrzeby systemów AI. Projektujesz i rozwijasz pipeline'y danych, tworzysz procesy ETL z elementami OCR i transkrypcji, generujesz embeddingi i pracujesz z wektorową bazą danych Qdrant na potrzeby wyszukiwania semantycznego.

Oferta dla inżyniera danych, który chce pracować przy nowoczesnych rozwiązaniach AI i przetwarzaniu danych nieustrukturyzowanych.

• dobra znajomość Pythona i/lub Rust (wystarczy jeden z tych języków)
• praktyczne doświadczenie w projektowaniu i budowaniu pipeline'ów danych oraz procesów ETL
• doświadczenie z wektorowymi bazami danych, w szczególności Qdrant lub podobnymi
• znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania po metadanych
• doświadczenie w tworzeniu i integracji REST API
• znajomość architektury zdarzeniowej (Apache Kafka lub Google Pub/Sub)
• dobra znajomość systemu Linux
• doświadczenie z relacyjnymi bazami danych (np. PostgreSQL)