AI/LLM engineer in GenAI evaluation

HeadHunter; United States; Remote; USD 140,000 - 210,000; Full time

Benefits offered by this job

Гибкий график

Белая заработная плата

ДМС с первого месяца

Возможность обучения

Job summary

HeadHunter ищет AI/LLM инженера для построения и валидации GenAI-фичей, разработки высокопроизводительного сервиса для массового тестирования и внутренних бенчмарков по HR-домену. У вас будет возможность внедрять best practices и инструменты оценки качества GenAI решений, тесно сотрудничать с продуктовой командой.

Требуется глубокий опыт Python, разработки production-ready ML/GenAI сервисов и знание современных фреймворков.

Qualifications

• Уверенное владение Python и опыт разработки production-ready ML/GenAI-сервисов.
• Опыт построения систем оценки качества ML/GenAI-решений: offline-метрики, regression testing, human evaluation, A/B онлайн-валидация.
• Опыт проектирования валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость).
• Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.).
• Понимание особенностей оценки LLM- и agent-based систем для продакшна.
• Опыт работы с LLM API и реализации LLM-based сервисов (диалоговые агенты, RAG).
• Знание LLM фреймворков (langchain, langgraph) и подходов к разработке AI-агентов.
• Опыт создания веб-сервисов (FastAPI, asyncio) и интеграции с бэкенд-сервисами.
• Опыт работы с векторными БД (Milvus, Qdrant, FAISS, pgvector) для RAG-решений.

Responsibilities

• Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development.
• Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решений — от QA запросов к LLM до сложных агентов с отдельным окружением.
• Разрабатывать внутренние бенчмарки по HR-домену для оценки OSS LLM.
• Проектировать метрики качества, развивать валидационные пайплайны.
• Настраивать observability для поддержания качества GenAI в проде.
• Организовывать человеческую разметку и развивать LLM-as-Judge.
• Разрабатывать и поддерживать лучшие практики, инструкции и материалы для ускорения процесса разработки и тестирования GenAI.
• Активно взаимодействовать с продуктовой командой, внедрять инструменты и подходы к оценке качества GenAI решений.

Skills

Python

GenAI сервисы

Evaluation-driven-development

offline-метрики

A/B онлайн валидация

Observability

LLM/agent-based Systems

LLM API

Web-сервисы

Vector DB

Tools

DeepEval

LangFuse

MlFlow

LangSmith

Milvus

Qdrant

FAISS

pgvector

Langchain

Langgraph

FastAPI

Job description

Описание:

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого AI/LLM инженера, который поможет нам в выстроить в компании эффективную систему оценки качества GenAI фичей.

Задачи:

• Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development подхода
• Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решений - от QA запросов к LLM до сложных агентов с отдельным окружением
• Разрабатывать внутренние бенчмарки по hr домену для оценки OSS LLM
• Проектировать метрики качества, разрабатывать валидационные пайплайны
• Настраивать observability для поддержания качества работы GenAI решений в проде
• Организовывать человеческую разметку и разрабатывать LLM-as-Judge
• Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI
• Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAi решений

Требования:

• Уверенное владение Python, и опыт разработки production-ready ML/GenAI-сервисов
• Опыт построения и внедрения систем оценки качества ML / GenAI-решений: offline-метрики, regression testing, human evaluation, A/B или онлайн-валидация
• Опыт проектирования валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость, сравнение моделей)
• Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.)
• Понимание особенностей оценки LLM- и agent-based систем в сравнении с классической разработкой и классическим ML
• Опыт работы с LLM API и реализации LLM-based сервисов (диалоговые агенты, RAG, Agent workflows), понимание нюансов и трейдофов
• Готовность быть драйвером внедрения best practices внутри компании
• Знание LLM фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering)
• Опыт создания web-сервисов (FastAPI, asyncio), дизайна чистых и функциональных API и интеграции с бэкенд-сервисами
• Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG‑решений и не только
• Будет плюсом: Знание Java;
• Будет плюсом: Понимание современных архитектур и методов обучения языковых моделей;
• Будет плюсом: Опыт обучения и инференса open-source LLM-моделей

Условия:

• Возможность выбора места работы: удаленно или из офиса
• Гибкий график рабочего дня
• Оформление в соответствии с ТК РФ, «Белая» заработная плата, выплачиваемая точно в срок
• Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно)
• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях