Test Lead (AI Validation & Integration)

Digital Forms; Warszawa; On-site; PLN 120,000 - 180,000; Full time

Job summary

Digital Forms poszukuje specjalisty ds. QA, odpowiedzialnego za strategię testowania i walidację AI w złożonych środowiskach. Do zadań należy projektowanie planów E2E, nadzór nad testami funkcjonalnymi i regresyjnymi, a także koordynacja walidacji end-to-end z klientem i integracja z pipeline CI/CD.

Wymagane doświadczenie w testowaniu AI/ML, doskonała znajomość JIRA oraz zdolności analityczne. Praca w Warszawie, z możliwością overlapu 14:00-18:00 i ścisłą współpracą z zespołem klienta.

Qualifications

• Biegła znajomość języka angielskiego.
• Doświadczenie w definiowaniu strategii testowania end-to-end dla złożonych rozwiązań.
• Doświadczenie w projektowaniu i wykonywaniu testów E2E dla złożonych systemów zintegrowanych.
• Doświadczenie w walidacji modeli AI/ML/LLM.
• Doświadczenie w zarządzaniu danymi testowymi w środowiskach Dev/Test/Prod.
• Umiejętność traceability: wymagania, przypadki testowe, dowody defekty decyzje o wydaniu.
• Doświadczenie w testowaniu NFR (wydajność, niezawodność, audytowalność, podstawy bezpieczeństwa).
• Znajomość zasad ochrony prywatności i danych wrażliwych.
• Doświadczenie w automatyzacji testów (Python/Java/JS + frameworki).
• Umiejętność raportowania metryk QA.
• Dobra komunikacja.
• Biegłość w Jira.
• Pełna dostępność z overlapem 14:00-18:00.

Responsibilities

• Własność strategii QA: projektowanie, planowanie i rozwijanie kompleksowej strategii testowania i walidacji AI, obejmującej testy funkcjonalne, jednostkowe, E2E, integracyjne, regresyjne i UAT.
• Adresowanie NFR i zgodność ze standardami (m.in. GDPR, HIPAA, HITRUST).
• Definiowanie planów walidacji komponentów AI, określanie kryteriów poprawności wyjścia, progów sukcesu oraz metod oceny.
• Tworzenie planów środowisk testowych (Dev/Test/Prod) oraz strategii danych testowych zapewniającej pokrycie scenariuszy standardowych, przypadków brzegowych i awarii ingestii.
• Wykonywanie testów funkcjonalnych, regresyjnych, eksploracyjnych, wydajnościowych i obciążeniowych.
• Koordynacja wspólnej walidacji end-to-end z zespołem klienta przy integracji Salesforce.
• Integracja działań testowych z pipeline CI/CD.
• Zarządzanie strukturami przypadków testowych w Jira powiązanymi z user stories i kryteriami akceptacji.
• Regularne raportowanie metryk QA, w tym wskaźników defektów.

Skills

Angielski płynny

Strategia QA

Testy end-to-end

Walidacja AI/ML/LLM

Zarządzanie danymi testowymi

Traceability wymagań

Testowanie NFR

Jira

Dobra komunikacja

Automatyzacja testów

Education

ISTQB certyfikat (mile widziany)

Tools

Python

Java

JavaScript

Job description

Strategia i planowanie

Własność strategii QA: projektowanie, planowanie i rozwijanie kompleksowej strategii testowania i walidacji AI, obejmującej testy funkcjonalne, jednostkowe, E2E, integracyjne, regresyjne i UAT.

Adresowanie NFR i zgodność ze standardami (m.in. GDPR, HIPAA, HITRUST).

Walidacja AI

Definiowanie planów walidacji komponentów AI, określanie kryteriów poprawności wyjścia, progów sukcesu oraz metod oceny (w tym obsługa halucynacji i reguł ugruntowania).

Środowisko i dane

Tworzenie planów środowisk testowych (Dev/Test/Prod) oraz strategii danych testowych zapewniającej pokrycie scenariuszy standardowych, przypadków brzegowych i awarii ingestii.

Wykonanie i raportowanie

Wykonywanie testów funkcjonalnych, regresyjnych, eksploracyjnych, wydajnościowych i obciążeniowych.

Koordynacja wspólnej walidacji end-to-end z zespołem klienta przy integracji Salesforce.

Integracja działań testowych z pipeline CI/CD.

Zarządzanie strukturami przypadków testowych w Jira powiązanymi z user stories i kryteriami akceptacji.

Regularne raportowanie metryk QA, w tym wskaźników defektów.

Wymagania techniczne (must-have)

• Biegła znajomość języka angielskiego
• Doświadczenie w definiowaniu strategii testowania end-to-end dla złożonych rozwiązań
• Doświadczenie w projektowaniu i wykonywaniu testów E2E dla złożonych systemów zintegrowanych
• Doświadczenie w walidacji modeli AI/ML/LLM
• Doświadczenie w zarządzaniu danymi testowymi w środowiskach Dev/Test/Prod
• Umiejętność traceability: wymagania przypadki testowe dowody defekty decyzje o wydaniu
• Doświadczenie w testowaniu NFR (wydajność, niezawodność, audytowalność, podstawy bezpieczeństwa)
• Znajomość zasad ochrony prywatności i danych wrażliwych
• Doświadczenie w automatyzacji testów (Python/Java/JS + frameworki)
• Umiejętność raportowania metryk QA
• Dobra komunikacja
• Biegłość w Jira
• Pełna dostępność z overlapem 14:00-18:00

Wymagania dodatkowe (nice-to-have)

• Znajomość platformy AWS
• Certyfikaty ISTQB lub równoważne
• Doświadczenie w projektach consultingowych lub klient-facing w szybkim tempie