qa engineer (manual) ИИ-решений

HireHi; United States; Remote; USD 70,000 - 110,000; Full time

Job summary

HireHi ищет QA-инженера по тестированию ПО с опытом работы в ML/LLM и API-интеграциях. Кандидат будет подготавливать тест-кейсы, тестировать на площадке Dify и внешние API, проверять сценарии и регрессию, формировать выборки и обеспечивать качество релизов.

Требуется 3+ лет опыта в тестировании ПО, знание REST API, Python и навыков чтения JSON/SQL. Работа проектная, контракт — ГПХ или ИП, возможна удаленная/гибридная форма по договоренности.

Qualifications

• Опыт тестирования ПО не менее 3 лет.
• Не менее 1 года тестирования ML/LLM или API и интеграций бэкенд-сервисов.
• Понимание недетерминированности ответов ИИ.
• Не менее двух проектов тестирования интеграционных решений, API или ИИ-продуктов в промышленной эксплуатации.
• Опыт формирования регрессионных наборов и тестовых выборок.
• Знание тест-дизайна, тестовой документации и баг-трекеров.
• Опыт тестирования REST API, чтение JSON и SQL логов.
• Базовые навыки Python для скриптов проверки данных.
• Понимание LLM, RAG, промптов и метрик качества ИИ.
• Знание Jira или Yandex Tracker, Confluence или Yandex Wiki, Git и Google Sheets.

Responsibilities

• Подготавливать тест-кейсы на основании требований и критериев приемки инициатив.
• Проводить функциональное и интеграционное тестирование на платформе Dify и API-интеграций.
• Проверять позитивные, негативные и пограничные сценарии, включая галлюцинации модели.
• Проводить регрессионное тестирование после изменений промптов, моделей и интеграций.
• Проверять соответствие результатов требованиям и метрикам качества.
• Формировать и поддерживать тестовые выборки совместно с бизнесом и ML-командами.
• Фиксировать дефекты, отслеживать устранение и отчитываться о качестве релизов.
• Проводить приемочное тестирование перед выпуском в промышленную эксплуатацию.

Skills

Тестирование ПО

ML/LLM тестирование

API интеграции

Непредсказуемые ответы

Регрессионные тесты

Тест-дизайн/документация

REST API тестирование

Python для скриптов

LLM/RAG/промпты

Jira/Confluence/Git/Sheets

Tools

Jira

Confluence

Git

Google Sheets

Yandex Tracker

Yandex Wiki

Job description

Описание

AI-команда реализует портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.

Задачи

• Подготавливать тест-кейсы на основании требований и критериев приемки инициатив
• Проводить функциональное и интеграционное тестирование ИИ-агентов, сценариев на платформе Dify и API-интеграций со внутренними системами
• Проверять позитивные, негативные и пограничные сценарии, включая нетипичные запросы пользователей и «галлюцинации» модели
• Проводить регрессионное тестирование после изменений промптов, моделей, базы знаний и интеграций
• Проверять соответствие результатов согласованным требованиям и метрикам качества
• Формировать и поддерживать тестовые выборки совместно с бизнесом и ML-командой, участвовать в оценке качества ответов
• Фиксировать дефекты, контролировать их устранение и отчитываться о качестве релизов
• Проводить приемочное тестирование перед выпуском в промышленную эксплуатацию и участвовать в приемке с бизнесом

Требования

• Опыт работы в тестировании ПО от 3 лет
• От 1 года тестирования продуктов на основе ML/LLM или API и интеграций бэкенд-сервисов
• Понимание специфики недетерминированных ответов модели
• Не менее двух проектов тестирования интеграционных решений, API или ИИ-продуктов с выводом в промышленную эксплуатацию
• Опыт построения регрессионных наборов и тестовых выборок
• Знание тест-дизайна, тестовой документации и баг-трекеров
• Опыт тестирования REST API, чтения JSON и логов SQL на уровне выборок для проверки данных
• Базовые навыки Python для скриптов проверки и подготовки тестовых данных
• Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ
• Знание Jira или Yandex Tracker, Confluence или Yandex Wiki, Git и Google Sheets
• Будет плюсом: опыт в электронной коммерции, рознице, B2B-дистрибуции и клиентском сервисе, работа с платформами оркестрации LLM, автоматизация тестирования API и инструменты оценки LLM, разметка и оценка ответов модели, CI/CD

Условия

Проектная занятость

Тип контракта: ГПХ, ИП