Head of QA (auto) for AI products

Meteoro Platform; United States; Remote; USD 140,000 - 190,000; Full time

Benefits offered by this job

Полностью удаленная работа

Полную занятость и стабильную загрузку

Конкурентная оплата труда (обсуждается

Job summary

Meteoro Platform ищет QA Lead для развития направления тестирования в AI Tech-компании. Руководство командой Manual QA и Automation QA, участие в найме и развитии сотрудников. Акцент на тестировании LLM, AI-агентов и интеграциях с языковыми моделями.

Требуется опыт лидирования QA, сильные знания TypeScript и Playwright, а также практический опыт UI и API-автоматизации. Полностью удаленная работа, гибкая занятость и перспектива роста в AI-продуктах.

Qualifications

• Опыт работы в QA от 5 лет.
• Опыт автоматизации тестирования от 3 лет.
• Опыт технического лидерства или управления QA-командой.
• Уверенное владение TypeScript и Playwright.
• Практический опыт автоматизации UI и API-тестирования.
• Понимание CI/CD и интеграции автотестов в pipeline.
• Опыт работы с Docker.

Responsibilities

• Руководить QA-командой из Manual QA и Automation QA инженеров.
• Планировать работу команды, распределять задачи и контролировать качество.
• Проводить code review, ревью тест-кейсов и тест-дизайна.
• Участвовать в найме, адаптации и развитии QA-инженеров.
• Помогать команде развивать технические компетенции.
• Выстроить и развивать процессы тестирования с учетом AI-продуктов.
• Разрабатывать QA-стратегию, подходы к тестированию.
• Внедрять quality gates, Definition of Done и критерии готовности к релизу.
• Развивать automation framework и интегрировать автотесты в CI/CD.
• Работать с API, UI и backend-тестированием.
• Проверять качество AI-функциональности: тестировать LLM и AI-агентов.
• Прорабатывать сценарии обработки ошибок и нестабильных ответов.

Skills

TypeScript

Playwright

UI automation

API automation

AI/LLM testing

CI/CD

SQL

Tools

Docker

REST/OpenAPI

Kafka/RabbitMQ

Job description

Описание:

Ищем QA Lead, который возьмет на себя развитие направления тестирования в AI Tech-компании. Нам нужен не просто руководитель, который управляет процессами, а сильный технический специалист, способный выстроить QA-функцию с нуля, развивать команду и лично участвовать в автоматизации тестирования. Особое внимание уделяем качеству AI-функциональности: тестированию LLM, AI-агентов и интеграций с языковыми моделями.

Задачи:

Руководить QA-командой из Manual QA и Automation QA инженеров. Планировать работу команды, распределять задачи и контролировать качество их выполнения. Проводить code review, ревью тест-кейсов и тест-дизайна. Участвовать в найме, адаптации и развитии QA-инженеров. Помогать команде развивать технические компетенции. Выстроить и развивать процессы тестирования с учетом особенностей AI-продуктов. Разрабатывать QA-стратегию, подходы к функциональному, регрессионному, интеграционному и acceptance-тестированию. Внедрять quality gates, Definition of Done и критерии готовности к релизу. Развивать подходы к автоматизации, повышать тестовое покрытие и стабильность тестов. Участвовать в планировании релизов, оценке рисков и принятии решений о качестве выпускаемого продукта. Самостоятельно разрабатывать и поддерживать автоматизированные тесты. Развивать и поддерживать automation framework. Проводить code review автотестов и улучшать качество тестовой инфраструктуры. Интегрировать автоматизацию в CI/CD. Работать с API, UI и backend-тестированием. Разрабатывать подходы к тестированию LLM и AI-агентов. Проверять качество и стабильность ответов моделей, корректность выполнения действий и использования инструментов (tool calling). Прорабатывать сценарии обработки ошибок, повторных запросов, ограничений и нестабильных ответов. Проверять безопасность AI-функциональности: prompt injection, утечки данных, обход ограничений и другие потенциальные уязвимости. Использовать AI-инструменты и агентов для разработки, анализа и поддержки автотестов.

Требования:

Опыт работы в QA от 5 лет. Опыт автоматизации тестирования от 3 лет. Опыт технического лидерства или управления QA-командой. Уверенное владение TypeScript и Playwright. Практический опыт автоматизации UI и API-тестирования. Понимание принципов построения automation framework и тестовой архитектуры. Опыт работы с REST API, микросервисной архитектурой и интеграционным тестированием. Понимание CI/CD и опыт интеграции автотестов в pipeline. Уверенная работа с SQL и понимание баз данных. Опыт работы с Docker. Понимание принципов работы брокеров сообщений (Kafka, RabbitMQ или аналоги). Умение выстраивать процессы тестирования, оценивать риски и принимать решения по качеству релизов. Практический опыт использования AI-инструментов и AI-агентов в QA-процессах. Будет плюсом: Опыт работы с Python и Pytest; Опыт тестирования AI/LLM-продуктов и AI-агентов; Практический опыт построения LLM Evals и оценки качества генеративных ответов; Знакомство с инструментами Claude Code, Codex, Cursor и аналогами; Опыт работы с Arize Phoenix, Langfuse, promptfoo, DeepEval, Ragas, Braintrust или LangSmith; Понимание SSE streaming, OpenAPI и contract testing; Опыт тестирования безопасности AI-систем, включая prompt injection и утечки данных

Условия:

Полностью удаленный формат работы. Полную занятость и стабильную загрузку. Участие в создании AI-продуктов нового поколения. Возможность выстраивать quality-инфраструктуру с нуля. Современный технологический стек. Высокий уровень автономности и инженерной ответственности. Команду сильных инженеров и быстрый цикл разработки. Конкурентную оплату труда (обсуждается индивидуально).