ML Engineer for AI Agents & Evaluation Frameworks

Enfint; United States; Remote; USD 140,000 - 190,000; Full time

Job summary

EPAM разрабатывает облачную платформу Enterprise Agent Development для проектов на основе ИИ, упрощающую создание и внедрение агентов. В роли вы будете проектировать и внедрять современные фреймворки оценки LLM и агентов, писать Python-оценщики и интегрировать проверки качества в CI/CD.

Требуется опыт работы с оценкой LLM/GenAI, знание архитектур AI-агентов и умение определять метрики и пороги приемки. Ваша работа поможет обеспечить надежность и качество в продакшене.

Qualifications

• Опыт работы в ML/AI не менее 5 лет.
• Сильная разработка на Python.
• Практический опыт оценки LLM/GenAI.
• Умение проектировать и внедрять фреймворки оценки.
• Опыт разработки детерминированных оценивателей.
• Опыт интеграции AI/ML проверок в CI/CD.
• Хорошее понимание архитектур LLM и AI-агентов.
• Желателен опыт AWS AgentCore Evaluation и Guardrails с мониторингом.

Responsibilities

• Разрабатывать и внедрять фреймворки оценки для приложений на основе LLM и AI-агентов.
• Разрабатывать детерминированные оцениватели.
• Создавать пользовательские Python-оценщики для качества и поведенческих проверок.
• Определять критерии, метрики, пороги и правила приемки.
• Оценивать поведение агентов по ответам, вызовам инструментов и полным рабочим процессам.
• Работать с трассировками OpenTelemetry как источником данных для оценок.
• Интегрировать оценки в CI/CD и автоматические ворота развёртывания.
• Обеспечивать непрерывный мониторинг качества решений в продакшене.
• Сотрудничать с инженерами, архитекторами и инженерами платформы для внедрения качества.

Skills

ML Engineering

Python

LLM evaluation

Evaluation frameworks

Deterministic evaluators

CI/CD integration

Quality checks

Tools

OpenTelemetry

AWS Guardrails

LangGraph/Strands Agents

Job description

EPAM разрабатывает облачную платформу Enterprise Agent Development для проектов на основе ИИ, упрощающую создание и внедрение агентов. В роли вы будете проектировать и внедрять современные фреймворки оценки LLM и агентов, писать Python-оценщики и интегрировать проверки качества в CI/CD.

Требуется опыт работы с оценкой LLM/GenAI, знание архитектур AI-агентов и умение определять метрики и пороги приемки. Ваша работа поможет обеспечить надежность и качество в продакшене.