Тестировщик (manual) ML-моделей

АЙФЭЛЛ; United States; Remote; USD 20,000 - 24,000; Full time

Benefits offered by this job

премии за успешное выполнение проектов

обучение и карьерный рост

соцпакет — оплачиваемый отпуск и больн

Job summary

АЙФЭЛЛ приглашает в команду QA-инженера по тестированию моделей, обеспечивающего точность и полноту, анализ метрик и проведение A/B тестов. Внимательность к данным и формату, проверка входных данных и контекста, а также обеспечение релевантности рекомендаций являются ключевыми задачами.

Требуется опыт от 3 лет, знание SQL, REST, GraphQL, Postman, Swagger; удаленная работа, оклад до 160 000 рублей, бонусы за проекты и возможность обучения.

Qualifications

• Анализ метрик качества и понимание их значения в контексте задачи.
• Разработка и поддержка тест-кейсов, чек-листов и тест-планов.
• Умение декомпозировать сложную проблему на составляющие.
• Проведение корневого анализа причин (Root Cause Analysis).
• Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine).
• Уровень английского для чтения документации.

Responsibilities

• Проверка точности, полноты и recall модели на разных наборах данных.
• Анализ метрик качества и их толкование для конкретной задачи.
• Проведение A/B тестов версий моделей.
• Обнаружение переобучения и недообучения моделей.
• Тестирование на смещённых данных (Bias & Fairness).
• Проверка качества входных данных и их форматов.
• Валидация данных, используемых для обучения и валидации.
• Проверка релевантности рекомендаций и качества ответов.
• Поиск adversarial examples и тестирование на out-of-distribution.
• Функциональное тестирование.

Skills

SQL запросы

REST API

GraphQL

QA тестирование

Аналитическое мышление

Командная работа

Инициатива

Самостоятельное планирование

Английский технический уровень

Чтение чужого кода

Tools

Postman

Swagger

Kafka

ELK

DevTools

PostgreSQL

MySQL

SQL Server

Job description

Описание

Описания нет

Задачи

• Проверка точности, полноты и recall модели на различных наборах данных.
• Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи.
• Проведение A/B тестов разных версий моделей.
• Умение распознавать случаи переобучения (overfitting) и недообучения (underfitting).
• Тестирование на смещенных данных (Bias & Fairness): поиск сценариев, где модель работает несправедливо по отношению к определенным группам (например, по полу, возрасту, расе).
• Проверка качества входных данных: их полноты, консистентности, корректности форматов.
• Валидация данных, используемых для обучения и валидации модели.
• Проверка корректности и уместности ответов, работы с контекстом.
• Проверка релевантности выданных рекомендаций.
• Целенаправленный поиск и создание входных данных, которые могут сломать или обмануть модель (adversarial examples).
• Тестирование модели на данных, сильно отличающихся от обучающей выборки (out-of-distribution data).
• Функциональное тестирование

Требования

• Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи.
• Разработка и поддержка тест-кейсов, чек-листов, тест-планов.
• Активное использование техник тест-дизайна для покрытия функциональности.
• Качественное оформление баг-репортов с четкими шагами воспроизведения, логами, скриншотами.
• Умение декомпозировать сложную проблему на составляющие.
• Разбор корневых причин (Root Cause Analysis).
• Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine).
• Уверенное написание SQL запросов: SELECT, WHERE, JOIN (как минимум INNER и LEFT), GROUP BY, ORDER BY.
• Опыт работы с инструментами тестирования и БД (Postman, Swagger, Kafka, ELK, DevTools, PostgreSQL, MySQL, SQL Server).
• Знание форматов данных: JSON, XML.
• Понимание типов API: REST (обязательно).
• Базовое понимание одного из языков программирования (Java или JavaScript/Python).
• Умение прочитать и понять чужой код.
• Внимательность, аналитическое мышление, умение работать в команде.
• Самостоятельное планирование.
• Принятие решений.
• Инициатива.
• Английский язык: технический уровень для работы с документацией.
• Опыт работы от 3х лет.
• Будет плюсом: знакомство с GraphQL.

Условия

• График работы: полный рабочий день, 5/2
• Формат работы: удаленная работа
• Зарплата: до 160 000 рублей (в зависимости от уровня)
• Бонусы: премии за успешное выполнение проектов
• Обучение: возможность профессионального роста и обучения
• Карьерный рост: перспективы развития до Senior QA Engineer или автоматизатора
• Соцпакет: оплачиваемый отпуск и больничный
• Дополнительно: корпоративные мероприятия, тимбилдинги, печеньки