automation engineer for ai agents evaluation

HireHi; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

HireHi ищет опытного специалиста по автоматизации для разработки и эволюции фреймворков автоматизации, работы с Playwright, API и интеграциями, а также внедрения CI/CD и качества на уровне систем.

Кандидат будет работать над созданием рабочих процессов, наборов данных и метрик для оценки агентов, а также отвечать за выбор инструментов тестирования агентных систем. Роль носит долгосрочный характер.

Qualifications

• 7+ лет опыта в автоматизации или инфраструктуре автоматизации.
• Опыт оценки AI-агентов или агентных систем и создания реальных рабочих процессов.
• Уровень владения английским языком B1 и русского языка B1.

Responsibilities

• Создание и развитие фреймворков автоматизации
• Разработка автоматизации для Playwright, API и интеграций
• Внедрение CI/CD и автоматизированных точек качества
• Построение пайплайнов оценки агентов, рабочих процессов, наборов данных, метрик и регрессионного охвата
• Валидация и выбор инструментов для тестирования агентных систем

Skills

Automation experience

AI agents evaluation

English (B1)

Russian (B1)

Job description

Описание: Описания нет

Задачи:

• Build and evolve automation frameworks
• Develop automation for Playwright, APIs, and integrations
• Implement CI/CD and automated quality gates
• Build agents evaluation pipelines, workflows, datasets, metrics, and regression coverage
• Validate and select tools for testing agentic systems

Требования:

• 7+ Years of hands-on automation or automation infrastructure experience
• Practical experience evaluating AI agents or agentic systems and building real workflows, not just experimenting with prompts or LLM APIs
• Enjoys exploring tools, frameworks, and architecture, challenging assumptions, and investigating how new systems behave English (B1) Russian (B1)

Условия:

Long-term position