Backend Engineer, AI Quality & Evaluation Lead

Samsung Food (Whisk); United States; Remote; USD 58,000 - 85,000; Part time

Job summary

Samsung Food набирает специалиста по разработке и валидации процессов оценки качества генеративных моделей. Работа включает создание и поддержание рубрик ошибок, разработку аннотирования и методик оценки, а также ежедневное участие в контроле качества и документации методик.

Задачи охватывают построение playbookов, регламентов ревизий и еженедельные аудиты полезности выводов. Проект длится примерно 13 недель, с удаленной работой и гибким графиком.

Qualifications

• Опыт проведения end-to-end оценки вывода ИИ, анализ ошибок и формирование рубрик.
• Умение документировать решения и обосновывать выбор классификаций.
• Навыки работы с ноутбуками и таблицами без необходимости программирования в продакшене.

Responsibilities

• Построение таксономии с ручной маркировкой ошибок и частотности.
• Разработка бинарной шкалы «прохождение/не прохождение» для каждой категории.
• Двойная кодировка пометок и ведение журнала согласований и изменений.
• Создание подсказок для судьи и валидация на эталонных данных.
• Проводить еженедельные отчеты по полезности, релевантности и тону вывода.

Skills

Эвалюация вывода моделей

Аннотация и методика градации

Работа в Jupyter/Notebook

Работа с таблицами (Excel)

Tools

Jupyter Notebook

Excel

Job description

Samsung Food набирает специалиста по разработке и валидации процессов оценки качества генеративных моделей. Работа включает создание и поддержание рубрик ошибок, разработку аннотирования и методик оценки, а также ежедневное участие в контроле качества и документации методик.

Задачи охватывают построение playbookов, регламентов ревизий и еженедельные аудиты полезности выводов. Проект длится примерно 13 недель, с удаленной работой и гибким графиком.