AI Test Strategy Expert / Ekspert / Ekspertka ds. Strategii Testowania AI

ITHOUSE SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

Poland

Remote

PLN 180,000 - 240,000

Full time

4 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Elastyczny czas pracy
Praca zdalna źródłowa w modelu B2B

Job summary

ITHOUSE Sp. z o.o. poszukuje eksperta ds. strategii testowania AI do wsparcia projektów dla sektora publicznego oraz komercyjnych. Praca w trybie B2B, elastyczny czas i całkowita praca zdalna.

Zakres obejmuje opracowanie standardów testowania AI, metryk jakości, scenariuszy testowych i dokumentacji. Wymagana samodzielność, doświadczenie w LLM/RAG i ocenie ryzyka związanego z AI.

Qualifications

  • Minimum 5 lat doświadczenia w testowaniu oprogramowania i projektowaniu strategii testów.

Responsibilities

  • Tworzenie kompleksowej metodyki testowania rozwiązań AI (LLM/RAG, ML).
  • Opracowywanie scenariuszy testowych, metryk jakości i kryteriów akceptacji.
  • Opracowanie zasad monitorowania jakości po wdrożeniu i raportowania niezgodności.
  • Współpraca z zespołami technicznymi i interesariuszami w modelu zdalnym/B2B.
  • Zapewnienie zgodności z zasadami bezpieczeństwa i ochrony danych.
  • Dokumentowanie procesów, standardów i rekomendacji dotyczących testowania AI.

Skills

QA/QA Strategy
AI Testing
Test Strategy
Security & Risk

Tools

LLM/RAG testing tools
OCR/IDP testing
AI governance tools

Job description

AI Test Strategy Expert / Ekspert / Ekspertka ds. Strategii Testowania AI

Cześć, miło nam, że tu jesteś!


Jesteśmy IThouse i od ponad 7 lat łączymy specjalistów IT z projektami, które naprawdę mają znaczenie i zmieniają sposób, w jaki Polacy korzystają z technologii na co dzień.


To nie jest utarty zwrot! Współpracujemy z instytucjami publicznymi i firmami komercyjnymi, pomagając modernizować systemy, z których korzystają miliony osób. Dzięki zespołom, które budujemy, coraz mniej spraw wymaga biegania z kwitkami po urzędach, a procesy stają się prostsze, szybsze i bardziej dostępne. Ale to nie wszystko! Realizujemy też ambitne projekty R&D, m.in. dla Samsunga, gdzie technologia spotyka się ze sztuczną inteligencją i innowacją.


Staramy się dopasować projekt do osoby: do doświadczenia, preferencji i tego, co naprawdę ją motywuje. Jeśli czujesz, że chcesz robić sensowne rzeczy i mieć realny wpływ, jest spora szansa, że to może być to!


W naszym procesie stawiamy na partnerskie relacje, transparentność i wzajemny szacunek. Rekrutacja to dla nas nie tylko proces, to rozmowa o tym, co dla Ciebie ważne i gdzie możesz się rozwinąć.


Poszukujemy AI Test Strategy Expert / Eksperta / Ekspertki ds. Strategii Testowania AI, który/-a dołączy do dodatkowego projektu realizowanego dla jednego z naszych klientów z sektora publicznego. Współpraca zakłada zaangażowanie w niepełnym wymiarze godzin z elastycznym czasem pracy.


Przedmiotem współpracy będzie opracowanie kompleksowego standardu testowania i oceny oprogramowania wykorzystującego sztuczną inteligencję. Celem projektu jest stworzenie praktycznej metodyki, która pozwoli w uporządkowany i mierzalny sposób oceniać jakość, bezpieczeństwo, niezawodność oraz poziom ryzyka rozwiązań opartych na AI.


Zakres obejmuje różne technologie, m.in. generatywną AI (LLM/RAG), uczenie maszynowe (ML), inteligentne przetwarzanie dokumentów (OCR/IDP), technologie mowy oraz gotowe produkty i usługi wykorzystujące AI.


Szukamy samodzielnego eksperta, który potrafi połączyć wiedzę z zakresu zapewnienia jakości oprogramowania z praktycznym rozumieniem technologii AI, a następnie przełożyć ją na konkretne standardy, procedury, scenariusze testowe i dokumentację.


Na to stanowisko wymagane jest:


  • Minimum 5 lat doświadczenia w obszarze testowania oprogramowania, zapewnienia jakości (QA), projektowania strategii testowych lub architektury jakości.

  • Doświadczenie w samodzielnym opracowywaniu strategii, standardów lub metodyk testowania oprogramowania.

  • Praktyczna znajomość specyfiki testowania rozwiązań wykorzystujących sztuczną inteligencję, w szczególności LLM, RAG lub Machine Learning.

  • Znajomość metod oceny jakości modeli AI, w tym definiowania metryk, kryteriów akceptacji i scenariuszy testowych.

  • Umiejętność projektowania procesów testowych obejmujących planowanie, realizację, raportowanie, obsługę niezgodności i monitoring jakości.

  • Znajomość zagadnień związanych z bezpieczeństwem, ochroną danych i oceną ryzyka systemów AI.

  • Umiejętność tworzenia kompleksowej dokumentacji technicznej, procedur, standardów i rekomendacji.

  • Umiejętność samodzielnej analizy zagadnień technicznych i przekładania ich na praktyczne rozwiązania organizacyjne.


Mile widziane:


  • Doświadczenie w opracowywaniu standardów lub metodyk dla dużych organizacji, szczególnie z sektora publicznego.

  • Znajomość regulacji i standardów dotyczących sztucznej inteligencji, np. AI Act, RODO, ISO/IEC 42001, ISO/IEC 23894.

  • Znajomość zagadnień związanych z AI Governance i zarządzaniem ryzykiem systemów AI.

  • Doświadczenie w testowaniu systemów OCR/IDP, rozpoznawania i przetwarzania mowy.

  • Znajomość narzędzi wspierających ewaluację i testowanie rozwiązań AI/LLM.

  • Certyfikaty z obszaru ISTQB, AI, QA lub zarządzania ryzyka.

  • Doświadczenie w prowadzeniu warsztatów, konsultacji lub doradztwa eksperckiego.


A tym będziesz zajmować się na co dzień:


  • Analizą regulacji, norm, standardów i dobrych praktyk dotyczących testowania oraz oceny jakości oprogramowania wykorzystującego AI.

  • Opracowaniem kompleksowej metodyki testowania rozwiązań AI, uwzględniającej ich rodzaj, przeznaczenie i poziom ryzyka.

  • Przygotowaniem zasad testowania dla różnych kategorii technologii: LLM/RAG, Machine Learning, OCR/IDP, technologii mowy oraz gotowych produktów i usług AI.

  • Definiowaniem metod testowania, metryk jakościowych i mierzalnych kryteriów akceptacji.

  • Opracowaniem przykładowych scenariuszy testowych oraz zasad przygotowywania danych i środowisk testowych.

  • Przygotowaniem zasad dokumentowania wyników testów, raportowania niezgodności i oceny gotowości rozwiązań do wdrożenia.

  • Opracowaniem zasad monitorowania jakości rozwiązań AI po wdrożeniu, w tym testów regresyjnych i oceny wpływu zmian.

  • Przygotowaniem praktycznych wzorów dokumentacji, checklist, kart testowych, raportów i rejestrów niezgodności.

  • Opracowaniem rekomendacji dotyczących organizacji procesu testowania i podziału odpowiedzialności.

  • Współpracę przy dodatkowym zleceniu doradczo-eksperckim.


Elastyczny czas pracy na niepełny wymiar godzin.


Zatrudnienie na podstawie umowy B2B.


Pracę w modelu 100% zdalnie.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

AI Adoption & Enablement Lead
AI Adoption & Enablement Lead

Antal • Warszawa

Hybrid
PLN 207,000 - 248,000
LuxMed
Multisport
AI Coach (Tester)
AI Coach (Tester)

Ness Solution • Warszawa

Hybrid
PLN 234,192 - 316,848
Enterprise AI Architect / Lead AI Solutions Engineer
Enterprise AI Architect / Lead AI Solutions Engineer

ITLT • Polska

Hybrid
PLN 300,000 - 520,000
Pełna swoboda pracy zdalnej
Długoterminowe zatrudnienie
Uczestnictwo w kluczowych projektach
Inżynier Rozwiązań AI
Inżynier Rozwiązań AI

Grupaeurocash • Województwo mazowieckie

Hybrid
PLN 180,000 - 240,000
Elastyczny model pracy
Benefity dopasowane do Twoich potrzeb
AI Tester / AI Evaluation Engineer
AI Tester / AI Evaluation Engineer

HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ • Wrocław

On-site
PLN 120,000 - 180,000
Prywatna opieka medyczna
AI Agent Engineer
AI Agent Engineer

Uniqa • Polska

Hybrid
PLN 180,000 - 260,000
Ciekawe projekty
Przyjazne środowisko pracy
Współpraca z doświadczonymi specjalist
+1
Senior IT Project Managera
Senior IT Project Managera

Endorfy • Sokołów Podlaski

Hybrid
PLN 134,000 - 201,000
Prywatna opieka medyczna
Karta sportowa
Ubezpieczenie grupowe
+3
Agentic SDLC Senior Engineer
Agentic SDLC Senior Engineer

Antal • Warszawa

Hybrid
PLN 220,000 - 248,000
LuxMed private medical care
Multisport card
Remote Enterprise AI Architect & Lead Solutions Engineer
Remote Enterprise AI Architect & Lead Solutions Engineer

ITLT • Polska

Hybrid
PLN 300,000 - 520,000
Pełna swoboda pracy zdalnej
Długoterminowe zatrudnienie
Uczestnictwo w kluczowych projektach
AI Adoption & Enablement Lead
AI Adoption & Enablement Lead

Solid Company • Warszawa

Hybrid
PLN 193,000 - 275,000
Top locations