Remote Open-Source SWE Benchmark Evaluator

Anyone AI Inc.; United States; On-site; USD 83,000 - 124,000; Part time

Benefits offered by this job

Remote work

Project-based consulting

Flexible hours

Job summary

Компания Anyone AI Inc. ищет опытных Software Engineer для проекта по обзору и оценке задач на основе открытого кода.

Ваша работа будет заключаться в проверке технической выполнимости задач, воспроизводимости окружения и полноты тестов, а также в предоставлении рекомендаций по принятию, улучшению или исключению задач. Требуется опыт работы с реальными репозиториями, PR, тестированием и управлением зависимостями.

Qualifications

• 3+ года профессионального опыта в разработке ПО.
• Опыт работы с большими мультифайловыми кодовыми базами.
• Опыт ревью PR, отладки и поддержки продакшн-кода.
• Сильные знания тестирования и покрытия тестами.
• Опыт управления зависимостями, настройкой окружения и воспроизводимостью.

Responsibilities

• Reviewing coding tasks from real GitHub issues and PRs.
• Assessing clarity and solvability of problem statements and success criteria.
• Evaluating tests for correctness, coverage and robustness.
• Identifying flaky tests, missing dependencies, and environment issues.
• Providing recommendations on acceptance, improvement, or exclusion of tasks.

Skills

Software engineering

Large codebases

Git & GitHub

Unit testing

Dependency management

Reproducibility

Open-source

Python projects

Benchmarks

Docker & CI/CD

Tools

SWE-Bench

Job description

Компания Anyone AI Inc. ищет опытных Software Engineer для проекта по обзору и оценке задач на основе открытого кода.

Ваша работа будет заключаться в проверке технической выполнимости задач, воспроизводимости окружения и полноты тестов, а также в предоставлении рекомендаций по принятию, улучшению или исключению задач. Требуется опыт работы с реальными репозиториями, PR, тестированием и управлением зависимостями.