Voice AI QA Engineer - Conversational Agent Tester

Альвента; United States; A distancia; USD 65.000 - 90.000; Jornada completa

Descripción de la vacante

Альвента ищет специалиста по тестированию для построения тестовой модели агента и разработки регрессионных наборов. Требуется опыт проектирования тестов, написания тест-кейсов и ведения баг-репортов. В задачи входит ручное и автоматизированное тестирование сценариев звонков, учет недетерминированности LLM и анализ логов.

Кандидат должен владеть русским языком на высоком уровне, хорошо работать с таблицами и JSON, а также иметь опыт работы с TMS или аналогами. График 5/2, работа в США.

Formación

• Опыт коммерческого тестирования не менее 2 лет.
• Умение проектировать тесты по техникам тест-дизайна: эквивалентность, граничные значения, таблицы решений, диаграммы состояний.
• Умение писать понятные тест-кейсы, чек-листы и баг-репорты; работа с TMS или аналогами.
• Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие.
• Отличная грамотность на русском языке.
• Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки.
• Уверенная работа с таблицами и JSON, чтение структурированных логов.

Responsabilidades

• Строить тестовую модель агента: сценарии звонков, состояния и переходы между ними.
• Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы.
• Проверять сценарии звонков вручную и с помощью текстовых прогонов, учитывать нарушения темы, шум.
• Проверять работу агента с учётом недетерминированности LLM, считать долю успеха прогона.
• Заводить баги с чёткой классификацией.
• Анализировать логи реальных звонков и превращать их в тест-кейсы.
• Размечать датасеты под баги: интенты и поля, реплики, пары хороших/плохих ответов.
• Писать критерии оценки и инструкции для автоматической проверки через LLM-as-a-judge.
• Проверять после релизов и дообучения, чтобы старые баги закрыты.

Conocimientos

Test design

QA processes

Russian fluency

Log analysis

JSON & tables

Test case writing

Bug reporting

Herramientas

TMS

Descripción del empleo

Альвента ищет специалиста по тестированию для построения тестовой модели агента и разработки регрессионных наборов. Требуется опыт проектирования тестов, написания тест-кейсов и ведения баг-репортов. В задачи входит ручное и автоматизированное тестирование сценариев звонков, учет недетерминированности LLM и анализ логов.

Кандидат должен владеть русским языком на высоком уровне, хорошо работать с таблицами и JSON, а также иметь опыт работы с TMS или аналогами. График 5/2, работа в США.