AI Data Engineer

TQLO SP. Z O.O.; Województwo mazowieckie; Remote; PLN 180,000 - 240,000; Full time

Job summary

TQLO SP. Z O.O. poszukuje specjalisty AI Data Engineer do współpracy zdalnej lub z Warszawy.

Rola skupia się na projektowaniu i rozwijaniu procesów pozyskiwania danych, ich przetwarzania i udostępniania dla systemów AI, w tym rozwoju pipeline'ów i mechanizmów wyszukiwania informacji w środowisku Azure. Wymagane jest minimum 4 lata doświadczenia w Data Engineering, zaawansowana znajomość Pythona, doświadczenie z RAG i wektorowymi bazami danych oraz praktyczna znajomość usług Azure.

Qualifications

• Minimum 4 lata doświadczenia komercyjnego w Data Engineering
• Bardzo dobra znajomość Pythona i tworzenia pipeline'ów danych
• Doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych
• Znajomość rozwiązań AI oraz sposobów przygotowywania danych na potrzeby systemów wykorzystujących AI
• Doświadczenie w projektowaniu lub rozwijaniu rozwiązań RAG
• Praktyczna znajomość wektorowych baz danych oraz mechanizmów wyszukiwania semantycznego
• Znajomość procesów tworzenia embeddingów oraz Azure"
• Doświadczenie z platformą Microsoft Azure oraz usługami wykorzystywanymi do przechowywania i przetwarzania danych

Responsibilities

• Projektowaniem i rozwijaniem procesów pozyskiwania, przetwarzania oraz udostępniania danych na potrzeby rozwiązań AI
• Budowaniem i optymalizowaniem pipeline'ów danych wykorzystywanych przez systemy oparte na sztucznej inteligencji
• Przygotowywaniem i przekształcaniem danych pochodzących z różnych źródeł, w tym danych nieustrukturyzowanych
• Rozwijaniem mechanizmów indeksowania i wyszukiwania informacji wykorzystywanych w rozwiązaniach RAG
• Projektowaniem procesów generowania i aktualizowania reprezentacji wektorowych danych
• Integracją źródeł danych z komponentami AI oraz usługami chmurowymi
• Optymalizowaniem procesów wyszukiwania i dostarczania kontekstu do modeli AI
• Zapewnianiem jakości, spójności i aktualności danych wykorzystywanych przez rozwijane rozwiązania
• Automatyzacją procesów przetwarzania oraz aktualizacji zbiorów danych
• Analizowaniem wydajności pipeline'ów i identyfikowaniem możliwości ich usprawnienia
• Współpracą z zespołami AI Engineering i Data Engineering przy projektowaniu architektury danych
• Tworzeniem dokumentacji technicznej oraz rozwijaniem standardów przetwarzania danych

Skills

Python

Data pipelines

Azure

RAG

Vector DB

Semantic search

Embedding data

Azure services

Tools

Azure Data Factory

Azure Databricks

LangChain

Job description

Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne rozwiązania technologiczne wykorzystujące dane oraz sztuczną inteligencję. Projekt koncentruje się na budowie i rozwoju infrastruktury danych wspierającej rozwiązania AI. Zakres współpracy obejmuje projektowanie procesów przetwarzania danych, przygotowywanie źródeł wiedzy dla systemów RAG oraz rozwój integracji i mechanizmów wyszukiwania informacji w środowisku Azure. Do realizacji projektu poszukujemy osoby do współpracy w roli AI Data Engineer, która łączy doświadczenie w Data Engineering z praktyczną znajomością rozwiązań AI oraz potrafi projektować skalowalne procesy przetwarzania i udostępniania danych.

Tryb Współpracy

100% zdalnie lub Warszawa

Dostępność

Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością

Co będziesz się zajmować?

• Projektowaniem i rozwijaniem procesów pozyskiwania, przetwarzania oraz udostępniania danych na potrzeby rozwiązań AI
• Budowaniem i optymalizowaniem pipeline'ów danych wykorzystywanych przez systemy oparte na sztucznej inteligencji
• Przygotowywaniem i przekształcaniem danych pochodzących z różnych źródeł, w tym danych nieustrukturyzowanych
• Rozwijaniem mechanizmów indeksowania i wyszukiwania informacji wykorzystywanych w rozwiązaniach RAG
• Projektowaniem procesów generowania i aktualizowania reprezentacji wektorowych danych
• Integracją źródeł danych z komponentami AI oraz usługami chmurowymi
• Optymalizowaniem procesów wyszukiwania i dostarczania kontekstu do modeli AI
• Zapewnianiem jakości, spójności i aktualności danych wykorzystywanych przez rozwijane rozwiązania
• Automatyzacją procesów przetwarzania oraz aktualizacji zbiorów danych
• Analizowaniem wydajności pipeline'ów i identyfikowaniem możliwości ich usprawnienia
• Współpracą z zespołami AI Engineering i Data Engineering przy projektowaniu architektury danych
• Tworzeniem dokumentacji technicznej oraz rozwijaniem standardów przetwarzania danych

Czego od Ciebie oczekujemy?

Must have:

• Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub pokrewnym
• Bardzo dobra znajomość Python oraz doświadczenie w tworzeniu procesów przetwarzania danych
• Praktyczne doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych
• Znajomość rozwiązań AI oraz sposobów przygotowywania danych na potrzeby systemów wykorzystujących sztuczną inteligencję
• Doświadczenie w projektowaniu lub rozwijaniu rozwiązań RAG
• Praktyczna znajomość wektorowych baz danych oraz mechanizmów wyszukiwania semantycznego
• Znajomość procesów tworzenia, przechowywania i aktualizowania embeddingów
• Doświadczenie z platformą Microsoft Azure oraz usługami wykorzystywanymi do przechowywania i przetwarzania danych
• Umiejętność integracji danych pochodzących z różnych źródeł i systemów
• Doświadczenie w przetwarzaniu danych ustrukturyzowanych i nieustrukturyzowanych
• Dobre rozumienie zasad jakości danych, optymalizacji wydajności oraz skalowalności procesów
• Umiejętność samodzielnego analizowania problemów technicznych i proponowania odpowiednich rozwiązań

Nice to have:

• Doświadczenie z Azure AI Search
• Znajomość Azure Data Factory lub Azure Databricks
• Doświadczenie z LangChain lub LlamaIndex
• Znajomość metod hybrid search, reranking i chunking
• Doświadczenie z Azure OpenAI
• Znajomość SQL i relacyjnych baz danych
• Doświadczenie w automatyzacji wdrożeń i procesach CI/CD
• Znajomość architektury Lakehouse

Dlaczego warto?

• Udział w projekcie łączącym Data Engineering z nowoczesnymi rozwiązaniami AI
• Rozwój infrastruktury danych stanowiącej podstawę systemów RAG
• Złożone zagadnienia związane z wyszukiwaniem semantycznym, przetwarzaniem danych i integracją AI
• Udział w kształtowaniu architektury oraz sposobu przygotowywania i udostępniania danych
• Projektowanie rozwiązań wykorzystujących technologie chmurowe i wektorowe bazy danych

Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami.