Product Manager - AI Ad Tech Quality & Evaluation

Pencil; United States; Remote; USD 150,000 - 210,000; Full time

Benefits offered by this job

25 Days PTO plus public holidays

the company operates a Flexible Time O

Health insurance / private medical

Monthly stipend towards wellness, фитн

Enhanced parental leave for parents

Flexible working hours

Remote work is available from anywhere

Job summary

Pencil ищет специалиста по качеству и измерениям для управления Evals & Quality в нашем SaaS-продукте на базе Generative AI. Вы будете формулировать задачи, метрики и область применения, разрабатывать методологию судей и калибровку между автоматическими оценщиками и человеческими рейтерами.

Вы возглавите полный цикл продукта — от Discovery до пост-релизного аудита, создадите золотой набор данных и инфраструктуру оценки, сотрудничая с клиентами по RFP и поддерживая конфигурационные стандарты

Qualifications

• Опыт владения качеством, оценкой или ML-метриками с собственным роадмапом
• Опыт измерения в субъективной области, определение качества и масштабирование сигналов
• Прямой опыт с золотыми наборами данных, рубриками, калибровкой судей и межрейтинговой надёжностью
• Умение принимать продуктовые решения исходя из потребностей клиентов
• Опыт владения метрикой, влияющей на решения вне вашей команды
• Опыт презентации или защиты методологии перед клиентами
• Умение быстро принимать решения с неполной информацией
• Забота о пользователях и коллегах, создание эмпатичных рабочих процессов
• Ответственность за результаты и инициативность
• Снижение излишней сложности и создание повторно используемых шаблонов

Responsibilities

• Владение качеством, эвалюациями и метриками ML на уровне продукта и команды
• Определение и поддержка методологий оценки и калибровки между автоматическими и ручными оценками
• Проектирование и управление золотым набором данных, форматов и охвата контекста клиента
• Разработка и внедрение оценочных петель, которыми могут пользоваться другие команды
• Ведение adevals.ai как продукта и обеспечение высокого дизайна
• Подготовка доказательств для коммерческих работ и ответов на RFP
• Сотрудничество с архитекторами агентов по установлению стандартов качества через конфигурацию

Skills

Product ownership

Measurement products

Data quality

Rubric design

Judge calibration

Inter-rater reliability

Client communication

Evidence-based decisions

Job description

Pencil ищет специалиста по качеству и измерениям для управления Evals & Quality в нашем SaaS-продукте на базе Generative AI. Вы будете формулировать задачи, метрики и область применения, разрабатывать методологию судей и калибровку между автоматическими оценщиками и человеческими рейтерами.

Вы возглавите полный цикл продукта — от Discovery до пост-релизного аудита, создадите золотой набор данных и инфраструктуру оценки, сотрудничая с клиентами по RFP и поддерживая конфигурационные стандарты