QA-инженер (manual) AI-агентов

Альвента; United States; Remote; USD 11,000 - 16,000; Full time

Benefits offered by this job

Удалённая работа

Job summary

Alventa.ai в роли разработчика AI-голосового администратора для стоматологических клиник ищет QA-инженера. Ваша задача — выстроить системное тестирование живого диалога, учитывать неоднозначности LLM, регрессии и качество разметки данных.

Условия: удалёнка, оплата 80 000–120 000 ₽ на руки, оформление по ТК или как самозанятый; опыт тест-дизайна от 2 лет, владение инструментами тест‑менеджмента и навыки работы с JSON и таблицами.

Qualifications

• Опыт коммерческой тестирования не менее 2 лет.
• Умение писать понятные тест‑кейсы, чек-листы и баг‑репорты.
• Знание процессов регрессии, смоук-тестирования и приоритизации багов.
• Умение работать с JSON и структурированными логами.

Responsibilities

• Строить тестовую модель агента и сценарии звонков с учётом пограничных и нестандартных ситуаций.
• Писать и поддерживать тест‑кейсы и чек‑листы, формировать регрессионные наборы.
• Прогонять сценарии и анализировать логи реальных звонков; отделять стабильные баги от случайных.

Skills

Тест-дизайн

Тест-кейсы и баг-репорты

SLA/TMS опыт

Регресcия и приоритизация багов

Русский язык на уровне профессионала

Работа с таблицами и JSON

Python basics (pytest)

Tools

Postman

Swagger

Label Studio

Toloka

pytest

Job description

Описание:

Мы — Alventa.ai, делаем AI-голосового администратора для стоматологических клиник. Агент сам принимает звонки пациентов, консультирует, записывает на приём, переносит и отменяет визиты. Он говорит по-русски в реальном времени и ведёт диалог по сценариям, заданным в состояниях. Ищем QA-инженера, который выстроит системное тестирование агента и замкнёт цикл «нашли баг → разметили данные → дообучили модель → проверили, что баг закрыт». Тестировать нужно не форму на сайте, а живой диалог, который каждый раз идёт немного по‑разному.

Задачи:

• Строить тестовую модель агента: сценарии звонков (запись, перенос, отмена, консультация, продажа услуги), состояния и переходы между ними, граничные и нестандартные случаи
• Писать и поддерживать тест‑кейсы и чек‑листы, собирать регрессионные наборы
• Прогонять сценарии: звонить агенту вручную и запускать текстовые прогоны.
• Проверять перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время
• Учитывать недетерминированность LLM: гонять кейс несколько раз, считать долю успешных прогонов, отделять стабильные баги от случайных
• Заводить баги с чёткой классификацией: ошибка распознавания речи, неверный переход по сценарию, неправильно извлечённые данные, галлюцинация, грамматика, тон и стиль, синтез речи
• Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест‑кейсы
• Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары «хороший / плохой ответ» для дообучения
• Писать критерии оценки и инструкции для автоматической проверки ответов через LLM (LLM-as-a-judge) и выборочно проверять её оценки
• После каждого релиза или дообучения проверять, что старые баги закрыты и не появились новые

Требования:

• Коммерческий опыт в тестировании от 2 лет
• Уверенное владение техниками тест‑дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise
• Умение писать понятные тест‑кейсы, чек‑листы и баг‑репорты; опыт с TMS (TestRail, Qase, Allure TestOps или аналоги)
• Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие
• Отличная грамотность в русском языке: ты слышишь ошибки в согласовании, неестественные обороты и «канцелярит» в речи
• Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки
• Уверенная работа с таблицами и JSON: умеешь читать структурированные логи и данные
• Будет плюсом: Опыт тестирования чат‑ботов, голосовых ассистентов или других LLM‑продуктов; Опыт разметки данных (Label Studio, Толока или аналоги) и понимание, зачем нужна согласованность разметки; Базовый Python: скрипты для обработки логов и датасетов, pytest; Понимание, как работают LLM, промпты и дообучение (SFT, DPO) — хотя бы на уровне идей; Опыт с API‑тестированием (Postman, Swagger); Интерес к медицине или опыт работы с клиниками

Условия:

• Зарплата 80 000–120 000 ₽ на руки, конкретная сумма — по итогам собеседования
• Удалённая работа
• Оформление по ТК или как самозанятый
• Редкая специализация на стыке QA и AI: оценка качества LLM, данные для дообучения, голосовые интерфейсы
• Прямая связь твоей работы с продуктом: найденный и размеченный баг уходит в дообучение, и ты видишь, как агент перестаёт ошибаться
• Возможность самому выстроить процесс тестирования с нуля