qa engineer (auto) for AI agents

HireHi; United States; Remote; USD 90,000 - 140,000; Full time

Job summary

EPAM ищет QA-инженера для тестирования агентно-ориентированных систем в области памяти и контекста. Ваша задача — развивать и поддерживать тестовые наборы на функциональной и регрессионной стороне, фокусируясь на поведении памяти агентов и её управлении.

Основные требования: опыт QA в AI/ML, тестирование stateful систем и API, владение Python для автоматизации. Роль предполагает работу над эмуляцией и валидацией памяти в сложных окружениях EPAM.

Qualifications

• 3+ года опыта QA-инженерии для AI/ML или разговорных AI систем.
• Опыт тестирования систем с сохранением контекста (stateful) и персонализации.
• Опыт функционального автоматизированного тестирования/API-driven сервисов.
• Знание регрессионного тестирования.
• Уровень английского не ниже B2.

Responsibilities

• Ведение функциональных и регрессионных тестовых наборов для поведения памяти агентов.
• Проектирование и выполнение тестов памяти агентов, охватывающих краткосрочную и долгосрочную память.
• Проверка извлечения памяти на корректность фактов и предпочтений в стратегиях Summary и Semantic.
• Проверка извлечения памяти: подтверждать релевантный контекст и фильтрацию нерелевантной памяти.
• Тестирование жизненного цикла памяти: истечение TTL, удаление пользователя, изоляция пространств имен.
• Запуск регрессионного тестирования агентов для сохранения качества ответов.
• Разработка автоматизации тестирования на Python для памяти рабочих процессов.

Skills

QA-инженерия

AI/ML тестирование

разговорный AI

Функциональное тестирование API

Регрессионное тестирование

Python

Tools

Python

Job description

Описание

EPAM develops enterprise software products, open source solutions, and accelerators. Its Enterprise Agent Development Platform enables engineering teams to define, orchestrate, deploy, and observe AI agents at scale while standardizing agent development, security, quality, and governance.

Задачи

• Own functional and regression test suites for agentic memory behavior
• Design and execute agent memory functional tests covering short-term memory and long-term memory
• Validate memory extraction to verify Summary and Semantic strategies extract correct facts and preferences
• Conduct memory retrieval testing to validate agents retrieve relevant context and filter irrelevant memories
• Perform memory lifecycle testing, including TTL expiration, user deletion, and namespace isolation
• Run agent regression testing to verify memory does not degrade agent response quality
• Build Python test automation for memory workflows

Требования

• 3+ Years of experience in QA engineering for AI/ML or conversational AI systems
• Experience testing stateful agent behaviors, including context retention and personalization
• Background in functional test automation for API-driven services
• Knowledge of regression testing methodologies
• Proficiency in English at a B2+ level
• Nice to have: Experience testing agent memory frameworks (LangChain, LangGraph), background in conversational AI evaluation, familiarity with AWS AgentCore Memory testing, knowledge of GDPR compliance testing (user deletion validation)

Условия

No conditions specified