Технический продакт-менеджер LLM-платформ

Авито; United States; Remoto; USD 140.000 - 210.000; Tempo pieno

Vantaggi offerti da questo lavoro

ДМС

Страхование жизни

Психологическая поддержка

Корпоративный спорт

Скидки на сервисы Авито

Компенсация питания

Карьерный трек

Descrizione del lavoro

Авито ищет технического продакт-менеджера для развития двух платформенных продуктов: LLМ Gateway и LLМ Eval. Вы будете вести полный цикл: исследовать потребности пользователей, формировать стратегию, приоритизировать задачи и запускать решения совместно с командами инженеров.

Ключевые задачи включают формирование дорожной карты, определение метрик успеха и обеспечение вовлечения внутренних команд, а также развитие экономики использования моделей и выбор внешних провайдеров.

Competenze

• Опыт управления technical/platform products и запуск их в продакшн.
• Умение исследовать потребности пользователей, проверять гипотезы и расставлять приоритеты.
• Понимание API, интеграций и серверных архитектур.
• Знание принципов применения LLM и компромиссов между качеством и затратами.

Mansioni

• Определять стратегию и дорожную карту двух продуктов.
• Поддерживать бэклог и согласовывать зависимости с командами.
• Формировать метрики успеха: скорость подключения, использование, стоимость обращений.
• Организовывать пилоты, сбор обратной связи и документацию.

Conoscenze

Управление техплатформами

Исследование потребностей

Приоритизация задач

Продуктовая аналитика

Работа с метриками

Strumenti

API интеграции

LLM-платформы

Базы данных/ETL

Descrizione del lavoro

Описание

Мы ищем технического продакт-менеджера, который будет развивать два платформенных продукта для команд Авито:LLM Gateway — единую точку доступа к внутренним и внешним языковым моделям с удобным подключением, управлением лимитами и прозрачной стоимостью использования;LLM Eval — платформу оценки качества разных LLM-проектов, которая поможет командам сравнивать решения, проверять изменения и находить ухудшения качества до релиза.Вам предстоит вести полный продуктовый цикл: исследовать потребности внутренних пользователей, определять стратегию и приоритеты, запускать решения вместе с техническими командами и оценивать их пользу.

Задачи

исследовать потребности внутренних команд, находить общие проблемы и превращать их в возможности для развития платформ формировать стратегию, дорожную карту и бэклог двух продуктов, согласовывать приоритеты и зависимости с заинтересованными командами определить метрики успеха: скорость подключения и запуска первых сценариев, активное использование платформ, стоимость обращений к моделям и охват проектов регулярными проверками качества отвечать за внедрение продуктов: организовывать пилоты, собирать обратную связь, улучшать документацию и пользовательские сценарии развивать самостоятельное подключение команд к моделям: каталог доступных LLM, оформление доступов, управление квотами и лимитами, просмотр потребления выстроить прозрачную экономику использования внутренних и внешних моделей: оценку стоимости запросов, распределение затрат между командами, бюджетирование и прогнозирование расходов вместе с закупками, юристами, информационной безопасностью и инженерами организовать выбор и подключение внешних провайдеров с учётом качества, стоимости, надёжности и требований к данным совместно с DS и инженерными командами развивать подходы к выбору моделей и маршрутизации запросов, находить баланс между качеством ответа, скоростью и стоимостью определить ключевые сценарии и MVP платформы оценки качества для разных LLM-проектов внутри Авито вместе с DS и продуктовыми командами сформировать требования к тестовым наборам, метрикам и способам оценки: автоматическим проверкам, экспертной разметке и использованию LLM в роли оценщика создать удобный путь от подключения проекта и запуска оценки до сравнения моделей, промптов и версий решения, анализа ошибок и принятия решения о релизе обеспечить воспроизводимость результатов и встроить регулярные проверки качества в процесс разработки LLM-продуктов.

Требования

имеете опыт управления техническими или платформенными продуктами и можете рассказать о результатах их запуска и развития умеете исследовать потребности пользователей, проверять гипотезы и приоритизировать задачи по ожидаемому эффекту понимаете принципы работы API, интеграций и серверных систем, можете обсуждать технические ограничения и варианты решений с инженерами разбираетесь в принципах применения LLM и понимаете компромиссы между качеством, задержкой ответа, пропускной способностью и стоимостью умеете работать с продуктовыми метриками и экономикой: оценивать эффект изменений, стоимость использования и потребность в ресурсах самостоятельно работаете с неопределённостью и умеете согласовывать интересы нескольких команд Будет плюсом: развивали ML/LLM-платформы, инструменты для разработчиков или внутренние инфраструктурные продукты; участвовали в построении систем оценки качества ML/LLM-решений и знакомы с особенностями автоматической и экспертной оценки; работали с экономикой облачных сервисов или GPU-инфраструктуры, бюджетированием и внешними технологическими провайдерами; имеете опыт в разработке, аналитике или Data Science и используете его в продуктовой работе.

Условия

расширенная забота о здоровье: ДМС, страхование жизни, онкострахование сервис психологической поддержки, а также финансовые, юридические и ЗОЖ‑консультации для вас и ваших близких корпоративный спорт: групповые тренировки, велбиинг-приложение спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование компенсация питания возможность запускать продукты, которыми пользуются миллионы людей зрелая продуктовая культура с прозрачными и эффективными процессами перспективы для роста и понятный карьерный трек комьюнити экспертов мирового уровня, обучение, поддержка и обмен опытом.