Applied AI Engineer

XPN; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

XPN ищет инженера по искусственному интеллекту для разработки и поддержки собственных мобильных продуктов и решений на основе ИИ. В задачи входит тестирование систем ИИ, улучшение промптов и промптовых тестов, работу с RAG и векторными базами данных, а также анализ журнала использования и формирование данных для обучения.

Ожидается самостоятельность, практическая ориентация на результат и умение быстро предлагать решения.

Qualifications

• Практический опыт разработки и поддержки ИИ-систем и LLM.
• Понимание принципов работы современных LLM и ограничений.
• Умение проектировать промпты и тестировать их.
• Опыт работы с RAG, векторными БД; умение очищать и размечать данные.
• Способность быстро создавать прототипы и оценивать целесообразность внедрения.

Responsibilities

• Тестировать и улучшать внутренние системы ИИ, анализировать качество ответов и ошибок.
• Разрабатывать наборы оценки, метрику и регрессионные тесты; использовать LLM-as-a-Judge.
• Проводить эксперименты с моделями, промптами и конфигурациями RAG; сравнивать качество, скорость и стоимость.
• Анализировать пользовательские сценарии и логи использования; формировать гипотезы по улучшению системы.
• Улучшать поиск, контекст и релевантность информации в базах знаний и системах RAG.
• Исследовать новые модели и инструменты; создавать прототипы и проверять их пользy.

Skills

Python

LLM basics

Prompts design

LLM APIs

RAG

Vector DB

Data labeling

Data cleaning

Prototyping

Agent systems

Experimentation

Automation

Tools

Onyx

OpenClaw

Langfuse

LangSmith

Phoenix

Cursor

Claude Code

Codex

Job description

Описание:

Компания разрабатывает и продвигает собственные мобильные продукты и решения на основе ИИ. Она развивает внутреннюю инфраструктуру и экосистему ИИ-агентов для автоматизации внутренних процессов, управления знаниями и рабочих процессов с поддержкой ИИ.

Задачи:

Тестировать и улучшать внутренние системы ИИ, анализировать качество ответов и ошибок, дорабатывать системные промпты и проверять изменения на реальных и синтетических примерах Развивать систему оценки качества решений ИИ, создавать наборы оценки и метрики, настраивать регрессионные тесты, LLM-as-a-Judge, детерминированные проверки и другие механизмы автоматического тестирования Проводить эксперименты с моделями, промптами, конфигурациями RAG и другими компонентами ИИ, сравнивать качество, скорость и стоимость подходов Анализировать пользовательские сценарии, диалоги и журналы использования, находить повторяющиеся ошибки и формировать гипотезы по улучшению системы Улучшать поиск, качество контекста и релевантность информации в корпоративных базах знаний и системах RAG Исследовать новые модели, инструменты и подходы, создавать прототипы и проверять их пользу для существующей системы Собирать, очищать, классифицировать и размечать данные, формировать наборы данных для SFT, обучения на предпочтениях и оценки Разбирать инциденты и проблемы систем ИИ на уровне моделей, промптов, поиска, данных и интеграций Развивать рабочие процессы агентов, вызов инструментов и автоматизацию внутренних процессов Совместно с ведущим инженером по ИИ развивать общую платформу ИИ, используемую в нескольких продуктах и компаниях

Требования:

Практический опыт разработки и поддержки систем ИИ и LLM Хорошее понимание принципов работы современных LLM и ограничений таких систем Уверенное владение Python Опыт работы с API LLM и различными моделями Практический опыт проектирования промптов и их системного тестирования Понимание оценки систем LLM и создания наборов оценки Опыт работы с RAG, векторными представлениями и векторными базами данных Умение анализировать, очищать и размечать данные, формировать наборы данных Умение самостоятельно изучать новые технологии, быстро создавать прототипы и оценивать целесообразность внедрения Способность разбираться в сложных системах ИИ, находить причины снижения качества и предлагать практические улучшения Самостоятельность, ответственность за результат и ориентация на практический результат Будет плюсом: опыт работы с Onyx и OpenClaw, построения автоматизированных конвейеров оценки, применения LLM-as-a-Judge, тонкой настройки и SFT моделей, использования Langfuse, LangSmith, Phoenix или других инструментов наблюдаемости систем LLM, работы с агентными системами и вызовом инструментов, создания производственных систем RAG, понимание инфраструктуры вывода моделей и особенностей работы моделей с открытым исходным кодом, опыт работы с Claude Code, Cursor, Codex или другими инструментами программирования с ИИ, опыт в стартапах или динамичных продуктовых командах

Условия:

Доход в USD, размер не указан Гибкий график с работой по московскому часовому поясу Возможность работать рядом с сильным техническим лидером и погрузиться в современные системы ИИ и агентные системы Быстрые коммуникации, минимум бюрократии и дружелюбная атмосфера Постоянный доступ к платным обучающим площадкам