Remote AI Data Engineer: RAG, Vector DB & Azure

TQLO SP. Z O.O.; Województwo mazowieckie; Remote; PLN 180,000 - 240,000; Full time

Job summary

TQLO SP. Z O.O. poszukuje specjalisty AI Data Engineer do współpracy zdalnej lub z Warszawy.

Rola skupia się na projektowaniu i rozwijaniu procesów pozyskiwania danych, ich przetwarzania i udostępniania dla systemów AI, w tym rozwoju pipeline'ów i mechanizmów wyszukiwania informacji w środowisku Azure. Wymagane jest minimum 4 lata doświadczenia w Data Engineering, zaawansowana znajomość Pythona, doświadczenie z RAG i wektorowymi bazami danych oraz praktyczna znajomość usług Azure.

Qualifications

• Minimum 4 lata doświadczenia komercyjnego w Data Engineering
• Bardzo dobra znajomość Pythona i tworzenia pipeline'ów danych
• Doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych
• Znajomość rozwiązań AI oraz sposobów przygotowywania danych na potrzeby systemów wykorzystujących AI
• Doświadczenie w projektowaniu lub rozwijaniu rozwiązań RAG
• Praktyczna znajomość wektorowych baz danych oraz mechanizmów wyszukiwania semantycznego
• Znajomość procesów tworzenia embeddingów oraz Azure"
• Doświadczenie z platformą Microsoft Azure oraz usługami wykorzystywanymi do przechowywania i przetwarzania danych

Responsibilities

• Projektowaniem i rozwijaniem procesów pozyskiwania, przetwarzania oraz udostępniania danych na potrzeby rozwiązań AI
• Budowaniem i optymalizowaniem pipeline'ów danych wykorzystywanych przez systemy oparte na sztucznej inteligencji
• Przygotowywaniem i przekształcaniem danych pochodzących z różnych źródeł, w tym danych nieustrukturyzowanych
• Rozwijaniem mechanizmów indeksowania i wyszukiwania informacji wykorzystywanych w rozwiązaniach RAG
• Projektowaniem procesów generowania i aktualizowania reprezentacji wektorowych danych
• Integracją źródeł danych z komponentami AI oraz usługami chmurowymi
• Optymalizowaniem procesów wyszukiwania i dostarczania kontekstu do modeli AI
• Zapewnianiem jakości, spójności i aktualności danych wykorzystywanych przez rozwijane rozwiązania
• Automatyzacją procesów przetwarzania oraz aktualizacji zbiorów danych
• Analizowaniem wydajności pipeline'ów i identyfikowaniem możliwości ich usprawnienia
• Współpracą z zespołami AI Engineering i Data Engineering przy projektowaniu architektury danych
• Tworzeniem dokumentacji technicznej oraz rozwijaniem standardów przetwarzania danych

Skills

Python

Data pipelines

Azure

RAG

Vector DB

Semantic search

Embedding data

Azure services

Tools

Azure Data Factory

Azure Databricks

LangChain

Job description

TQLO SP. Z O.O. poszukuje specjalisty AI Data Engineer do współpracy zdalnej lub z Warszawy.

Rola skupia się na projektowaniu i rozwijaniu procesów pozyskiwania danych, ich przetwarzania i udostępniania dla systemów AI, w tym rozwoju pipeline'ów i mechanizmów wyszukiwania informacji w środowisku Azure. Wymagane jest minimum 4 lata doświadczenia w Data Engineering, zaawansowana znajomość Pythona, doświadczenie z RAG i wektorowymi bazami danych oraz praktyczna znajomość usług Azure.