AI & LLM QA Engineer — Elevate AI Feature Quality

NDA

United States

Remote

USD 90,000 - 140,000

Full time

4 days ago

Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

NDA объявляет о вакансии QA-инженера для работы над AI/LLM проектами в составе команды тестирования. Требуется опыт в тестировании LLM, разработке наборов данных для оценки качества вывода и API-тестировании с использованием инструментов типа Postman.

Знания Python, Jira и понимание финансовой документации приветствуются. Ищем профиль с опытом в автоматизации тестирования (Playwright/pytest), внимательность к вопросам безопасности, GDPR и конфиденциальности.

Qualifications

Опыт не менее 3 лет в QA/QA-инženерии, включая тестирование LLM/AI- функций (RAG, чат-боты, документ-ИИ).
Умение формировать наборы данных для оценки качества вывода AI, не ограничиваясь pass/fail.
Опыт API-тестирования через Postman или аналогичные инструменты.
Базовые навыки Python для скриптов и подготовки тестовых данных.
Умение писать понятные баг-репорты в Jira.
Свободное владение английским языком (устно и письменно).
Продвинутые навыки Excel и чтение финансовой отчетности/сверка цифр.
Опыт в финансах, аудите или due diligence.
Опыт с инструментами оценки AI (Langfuse/Promptfoo/DeepEval).
Опыт автоматизации тестирования (Playwright/pytest).
Навыки тестирования безопасности (доступ, PII, GDPR).