Инженер качества AI-агента (auto)

Опен Сервис; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Uklad AI ищет инженера backend‑разработчика, специализирующегося на TypeScript/Node.js и работе с SQL‑базами данных. Позиция удаленная, полная занятость, работа с реальным продуктом AI‑агентов и системой автоматической оценки качества.

Вы будете анализировать диалоги агентов, находить причины ошибок и вносить изменения в код, проверяя результаты тестами и метриками. Опыт работы с PostgreSQL/SQLite будет преимуществом.

Qualifications

• Опыт разработки backend на TS или Node.js.
• Умение читать и изменять код backend‑приложений.
• Опыт работы с логами, SQL и аналитикой данных.

Responsibilities

• Анализировать качество AI‑агентов и их логи.
• Улучшать логику выбора инструментов и последовательность действий.
• Писать тесты и проверять результаты на тестовых сценариях.
• Работать с метриками качества и выводами.

Skills

TypeScript/Node.js

SQL/Databases

LLM & Agents

Automated Testing

Metrics & Analysis

Tools

PostgreSQL

SQLite

Monitoring

Job description

Описание:

Uklad AI — AI‑платформа для комплексной автоматизации работы компаний. Мы создаём AI‑сотрудников, которые помогают бизнесу управлять задачами, проводить встречи, работать с CRM и кассой, собирать отчёты и автоматизировать повседневные процессы. По сути, это полноценные цифровые помощники, которые понимают контекст компании, помнят договорённости и умеют самостоятельно выполнять рабочие задачи с помощью множества инструментов. Наши агенты уже работают с реальными бизнес‑процессами: от ресторанов и сервисных компаний до бухгалтерских фирм и производственных предприятий.

Задачи:

Анализировать качество работы AI‑агентов: изучать диалоги и результаты работы агентов, находить ситуации, в которых они не смогли правильно выполнить задачу пользователя. Находить причины ошибок: разбираться, почему агент не вызвал нужный инструмент, неправильно выбрал последовательность действий или не смог получить необходимые данные. Улучшать логику работы агентов: самостоятельно вносить изменения в код, который отвечает за выбор инструментов, выполнение задач и взаимодействие с ними. Проверять результат изменений: писать тесты, запускать проверки на реальных и тестовых сценариях, сравнивать качество работы агента до и после внесённых изменений. Работать с метриками качества: анализировать статистику ошибок, отслеживать динамику и понимать, какие изменения действительно улучшают результат, а какие не дают эффекта. Развивать систему автоматической оценки: работать с AI‑судьёй, который оценивает, удалось ли агенту выполнить задачу пользователя, проверять точность его оценок и улучшать систему проверки. Работать напрямую с основателем: обсуждать основные проблемы продукта, определять приоритеты и регулярно показывать результаты своей работы.

Требования:

У тебя есть опыт разработки на TypeScript или Node.js. Важно уметь самостоятельно читать, понимать и изменять код backend‑приложений. Умеешь работать с SQL и базами данных: можешь самостоятельно анализировать логи, находить закономерности и собирать статистику по работе системы. Понимаешь, как устроены LLM и AI‑агенты: что такое Tool Calling, как модели выбирают инструменты и почему иногда не используют нужные возможности. Есть опыт написания автоматических тестов и проверки качества работы программных систем. Умеешь работать с метриками: не просто находить ошибки, а измерять, насколько конкретное изменение повлияло на результат. Умеешь самостоятельно разбираться в технических проблемах, искать их первопричину и предлагать системные решения. Нам нужен инженер, которому действительно интересно разбираться в устройстве AI‑агентов и делать их лучше. Ты не просто фиксируешь, что агент ошибся, а пытаешься понять, почему это произошло, находишь причину в коде, исправляешь её и проверяешь результат на цифрах. Нам близок подход, при котором каждое изменение можно проверить: было определённое количество ошибок, внесли исправление, повторили тесты и увидели, изменился ли результат. Важно, чтобы ты не боялся признавать, что гипотеза не сработала, и спокойно возвращал изменения, если они не дали ожидаемого эффекта. Нам подойдут специалисты с опытом backend‑разработки, QA Automation или разработки и тестирования AI‑агентов. Главное — техническая самостоятельность и желание работать с качеством AI‑продукта. Важно: эта позиция предполагает самостоятельную работу с кодом. Опыт только в написании промптов или ручном тестировании без навыков разработки не подойдёт. Будет плюсом: Опыт работы с AI‑агентами и LLM; Опыт построения систем автоматической оценки качества AI (LLM‑as‑a‑Judge, Evals); Опыт работы с PostgreSQL и SQLite; Опыт настройки мониторинга и анализа работы backend‑систем

Условия:

Уровень дохода обсуждаем индивидуально — ориентируемся на твой опыт и ожидания. Удалённый формат работы. Полная занятость, пятидневка, 9-18 или 10-19 по мск. Возможность работать над реальным AI‑продуктом, который уже решает задачи действующего бизнеса. Прямое взаимодействие с основателем и возможность влиять на техническое развитие продукта. Высокий уровень самостоятельности: ты будешь отвечать за качество работы AI‑агентов и видеть непосредственный результат своих решений. Возможность развиваться на стыке backend‑разработки, автоматизированного тестирования и современных AI‑технологий.