Описание
Мы в hh создаем продукты и AI‑ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM‑модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем LLM/Prompt‑инженера, который поможет нам создавать, тестировать внедрять GenAI‑решения. Если вам интересно развивать продукты на базе LLM — через промпты, дизайн llm‑пайплайнов и системный подход к оценке качества, если вы готовы не только создавать прототипы, но и улучшать их в продакшене на основе обратной связи и метрик — мы будем рады видеть вас в нашей команде.
Задачи
- Разрабатывать, тестировать и внедрять совместно с командой разработки решения на базе LLM
- Настраивать поведение моделей — экспериментировать с промптами (CoT, Tree-of-thoughts, few-shot, structured outputs, tool calling, etc), контекстом, параметрами моделей и архитектурой llm‑пайплайнов (один промпт, цепочка промптов, агенты, RAG и пр.)
- Тестировать и оценивать качество работы llm‑решений на всех этапах — собирать актуализировать golden‑сеты, валидационные выборки, настраивать llm‑as‑a‑judge, развивать подходы автоматической оценки работы llm‑фичей, создавать метрики и бенчмарки
- Анализировать логи, трейсы и фидбек по реальной работе ассистентов в продакшене и улучшать их качество на основе найденных инсайтов
Требования
- Практический опыт создания решений на базе LLM (prompt engineering, RAG, function calling, structured outputs, reasoning, agents)
- Понимание теории ML, глубокого обучения, современных подходов к NLP
- Сильный Python, опыт работы с аналитическими инструментами и ML‑библиотеками
- Опыт с SQL, навыки работы с данными, умение собрать датасет и провести аналитику
- Живой интерес к сфере GenAI, опыт работы с популярными вендорными и open‑source моделями (Qwen, Llama, DeepSeek, GPT‑OSS)
- Опыт с фреймворками оркестрации llm (langgraph, langchain или аналоги)
- Понимание методов оценки качества LLM (бенчмарки, human eval, LLM-as-as-Judge) и метрик для различных NLP‑задач
- Продуктовое мышление – смотреть на задачи через призму “помочь конечному пользователю”, участвовать в брейнштормах и приносить новые идеи
- Будет плюсом: Практический опыт файнтюнинга различных LLM под продуктовые задачи (SFT, PEFT, RLHF, LoRA, PPO, DPO, GRPO); Опыт внедрения LLM решений в продакшн
Условия
- Возможность выбора места работы: удаленно или из офиса
- Гибкий график рабочего дня
- Оформление в соответствии с ТК РФ
- Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно)
- Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях