AI Tester / AI Evaluation Engineer

HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ; Wrocław; On-site; PLN 120,000 - 180,000; Full time

Benefits offered by this job

Prywatna opieka medyczna

Job summary

Hiberus Poland Sp. z o.o. poszukuje AI Testera / AI Evaluation Engineera do testowania i oceny jakości rozwiązań AI/ML/GenAI. Twoje zadania obejmą analizę wyników modeli, tworzenie scenariuszy testowych i raportowanie defektów.

Doświadczenie w testowaniu oprogramowania, znajomość ML/LLM oraz umiejętność pracy z SQL i API będą kluczowe. Oferujemy stabilne zatrudnienie i rozwój w międzynarodowym środowisku Hiberus.

Qualifications

• Minimum 3 lata doświadczenia w testowaniu oprogramowania lub systemów analitycznych.
• Praktyczna znajomość tworzenia przypadków testowych i raportowania defektów.
• Znajomość podstaw działania modeli ML/LLM oraz testowania systemów niedeterministycznych.
• Umiejętność projektowania zestawów testowych do oceny jakości odpowiedzi modeli, klasyfikacji i ekstrakcji informacji.
• Znajomość SQL, Postman oraz narzędzi do testowania API.
• Umiejętność oceny wyników modeli pod kątem trafności, kompletności, zgodności ze źródłem, bezpieczeństwa i użyteczności.

Responsibilities

• Przygotowywanie scenariuszy testowych dla rozwiązań AI, ML i GenAI.
• Projektowanie zestawów pytań, danych referencyjnych i przypadków brzegowych do oceny modeli.
• Testowanie jakości odpowiedzi modeli oraz stabilności zachowania systemów AI.
• Przeprowadzanie testów regresji po zmianie modelu, promptu, danych źródłowych lub konfiguracji.
• Raportowanie defektów, anomalii oraz ryzyk jakościowych.
• Współpraca z AI Engineerami, analitykami, zespołami biznesowymi i bezpieczeństwa.
• Dokumentowanie wyników testów oraz przygotowywanie rekomendacji dotyczących jakości systemów AI.

Skills

Testowanie oprogramowania

ML/LLM basics

Raportowanie defektów

SQL

Postman API

Testy regresji

Analiza danych

Tools

Postman

SQL client

Job description

Więcej niż jeden projekt. Więcej niż jeden rynek.

Jesteśmy częściąHiberus, firmy technologicznej wywodzącej się z Hiszpanii z silną pozycją na rynku polskim:4700+ specjalistów, obecnej w 14+ krajach i realizującej projekty dla klientów na całym świecie.

Pracujemy z technologiamiAI, Data, Cloud, Software Development, BI i Cybersecurity. Ale przede wszystkim stawiamy na ludzi –gdy jeden projekt się kończy, szukamy kolejnych możliwości w ramach Hiberus, również w innych krajach.

Naszą wartość dodatkową stanowiHiberus University - międzynarodowe środowisko i realna możliwość rozwijania swoich kompetencji. Ponad tysiąc osób przeszkolonych w zeszłym roku z wybranych technologii.

Pierwszy projekt to początek. Z Hiberus możesz budować swoją karierę długoterminowo.

Opis stanowiska

Dla naszego Klienta poszukujemy AI Testera / AI Evaluation Engineera, który będzie odpowiedzialny za testowanie, ocenę jakości oraz stabilności rozwiązań opartych na AI, ML i GenAI.

Szukamy osoby z doświadczeniem w testowaniu oprogramowania lub systemów opartych na danych, która rozumie specyfikę modeli ML/LLM i potrafi oceniać ich wyniki pod kątem jakości, zgodności z wymaganiami, bezpieczeństwa i użyteczności.

Zakres obowiązków:

• przygotowywanie scenariuszy testowych dla rozwiązań AI, ML i GenAI,
• projektowanie zestawów pytań, przypadków brzegowych oraz danych referencyjnych do oceny modeli,
• testowanie jakości odpowiedzi modeli oraz stabilności zachowania systemów AI,
• przeprowadzanie testów regresji po zmianie modelu, promptu, danych źródłowych lub konfiguracji,
• raportowanie defektów, anomalii oraz ryzyk jakościowych,
• współpraca z AI Engineerami, analitykami, zespołami biznesowymi i bezpieczeństwa przy odbiorze rozwiązań,
• dokumentowanie wyników testów oraz przygotowywanie rekomendacji dotyczących jakości systemów AI.
• Prywatna opieka medyczna

Wymagane doświadczenie

• minimum 3 lata doświadczenia w testowaniu oprogramowania, systemów analitycznych lub rozwiązań opartych na danych,
• praktyczna znajomość tworzenia przypadków i scenariuszy testowych oraz raportowania defektów,
• znajomość podstaw działania modeli ML lub LLM oraz specyfiki testowania systemów niedeterministycznych,
• umiejętność projektowania zestawów testowych do oceny jakości odpowiedzi modeli, klasyfikacji i ekstrakcji informacji,
• znajomość SQL, Postman oraz narzędzi do testowania API,
• umiejętność oceny wyników modeli pod kątem trafności, kompletności, zgodności ze źródłem, bezpieczeństwa i użyteczności.

Mile widziane:

• doświadczenie w testowaniu systemów RAG, chatbotów, asystentów AI lub modeli predykcyjnych,
• znajomość narzędzi do automatycznej ewaluacji LLM oraz testów regresji promptów,
• doświadczenie w testach bezpieczeństwa rozwiązań GenAI, w tym prompt injection i jailbreak,
• znajomość wymagań dotyczących dostępności, UX lub prostego języka,
• znajomość języka angielskiego umożliwiająca swobodne korzystanie z dokumentacji technicznej.