AI QA Engineer – ML/LLM & API Testing Expert

HireHi; United States; Remote; USD 70,000 - 110,000; Full time

Job summary

HireHi ищет QA-инженера по тестированию ПО с опытом работы в ML/LLM и API-интеграциях. Кандидат будет подготавливать тест-кейсы, тестировать на площадке Dify и внешние API, проверять сценарии и регрессию, формировать выборки и обеспечивать качество релизов.

Требуется 3+ лет опыта в тестировании ПО, знание REST API, Python и навыков чтения JSON/SQL. Работа проектная, контракт — ГПХ или ИП, возможна удаленная/гибридная форма по договоренности.

Qualifications

• Опыт тестирования ПО не менее 3 лет.
• Не менее 1 года тестирования ML/LLM или API и интеграций бэкенд-сервисов.
• Понимание недетерминированности ответов ИИ.
• Не менее двух проектов тестирования интеграционных решений, API или ИИ-продуктов в промышленной эксплуатации.
• Опыт формирования регрессионных наборов и тестовых выборок.
• Знание тест-дизайна, тестовой документации и баг-трекеров.
• Опыт тестирования REST API, чтение JSON и SQL логов.
• Базовые навыки Python для скриптов проверки данных.
• Понимание LLM, RAG, промптов и метрик качества ИИ.
• Знание Jira или Yandex Tracker, Confluence или Yandex Wiki, Git и Google Sheets.

Responsibilities

• Подготавливать тест-кейсы на основании требований и критериев приемки инициатив.
• Проводить функциональное и интеграционное тестирование на платформе Dify и API-интеграций.
• Проверять позитивные, негативные и пограничные сценарии, включая галлюцинации модели.
• Проводить регрессионное тестирование после изменений промптов, моделей и интеграций.
• Проверять соответствие результатов требованиям и метрикам качества.
• Формировать и поддерживать тестовые выборки совместно с бизнесом и ML-командами.
• Фиксировать дефекты, отслеживать устранение и отчитываться о качестве релизов.
• Проводить приемочное тестирование перед выпуском в промышленную эксплуатацию.

Skills

Тестирование ПО

ML/LLM тестирование

API интеграции

Непредсказуемые ответы

Регрессионные тесты

Тест-дизайн/документация

REST API тестирование

Python для скриптов

LLM/RAG/промпты

Jira/Confluence/Git/Sheets

Tools

Jira

Confluence

Git

Google Sheets

Yandex Tracker

Yandex Wiki

Job description

HireHi ищет QA-инженера по тестированию ПО с опытом работы в ML/LLM и API-интеграциях. Кандидат будет подготавливать тест-кейсы, тестировать на площадке Dify и внешние API, проверять сценарии и регрессию, формировать выборки и обеспечивать качество релизов.

Требуется 3+ лет опыта в тестировании ПО, знание REST API, Python и навыков чтения JSON/SQL. Работа проектная, контракт — ГПХ или ИП, возможна удаленная/гибридная форма по договоренности.