LLM engineer for AI agents

OSMI IT; United States; Remote; USD 24,000 - 29,000; Full time

Job summary

OSMI IT ищет LLM Engineer для разработки и внедрения LLM-решений: RAG, агенты и агентные сценарии на платформе OSMI AI. Ваша задача — обеспечить воспроизводимые метрики качества и контролировать время ответа и стоимость инференса в контуре заказчика.

Требуется 3–6 лет в разработке, 2+ года с LLM-решениями, уверенное владение Python и SQL, а также опыт работы с Qwen, Llama, DeepSeek и Warp/OpenAI-API.

Qualifications

• 3–6 лет в разработке, 2+ года с LLM-решениями и в продакшене.
• Умение проектировать LLM-решения и критерии приемки.
• Опыт работы с RAG и агентами в реальных проектах.

Responsibilities

• Разбирать бизнес-процессы заказчиков и проектировать LLM-решения.
• Создавать RAG-пайплайны: чанкинг, эмбеддинги, гибридный поиск.
• Разрабатывать ИИ-агентов: agentflow, tool calling, контекст и память.
• Подключать инструменты через MCP Gateway и внешние API заказчиков.
• Собирать датасеты и eval-наборы, расширять синтетические данные.
• Измерять качество: метрики, A/B тесты, LLM-as-judge.

Skills

Python

SQL

Experiment automation

LLM concepts

RAG/agent workflows

Tools

Qwen

Llama

DeepSeek

GigaChat/YandexGPT

OpenAI-compatible APIs

Job description

Описание: OSMI IT ищет LLM Engineer для разработки и запуска LLM-решений: RAG, ИИ-агентов и агентных сценариев на платформе OSMI AI. В этой роли важно подтверждать качество воспроизводимыми измерениями и контролировать время ответа и стоимость инференса в контуре заказчика.

Задачи:

• Разбирать бизнес-процессы заказчиков, проектировать LLM-решения и согласовывать критерии приёмки.
• Создавать RAG-пайплайны: чанкинг, эмбеддинги, гибридный поиск BM25 и reranker, метаданные и права доступа.
• Разрабатывать ИИ-агентов: agentflow, tool calling, контекст и память.
• Подключать инструменты через MCP Gateway — 1С, Битрикс24, Directum RX и API заказчиков.
• Собирать эталонные датасеты и eval-наборы на реальных сценариях, расширять выборку синтетическими данными.
• Измерять качество: выстраивать метрики и проверки перед релизом, отслеживать регрессии промптов и моделей, проводить A/B-сравнения и валидировать LLM-as-judge.
• Подбирать и дообучать малые модели 7–14B для классификации, маршрутизации, извлечения сущностей, ASR и OCR.
• Оптимизировать инференс: квантизация, батчинг, vLLM, кеширование и маршрутизация запросов между малыми и большими моделями.
• Контролировать достоверность и безопасность: галлюцинации, ссылки на источники, prompt injection и маскирование персональных данных.
• Обеспечивать наблюдаемость действий агентов через Langfuse или аналоги, выводить решения в продакшен и сопровождать их.

Требования:

• 3–6 лет в разработке, из них от 2 лет — с LLM-решениями, RAG или агентами в продакшене.
• Уверенное владение Python и SQL.
• Умение организовать воспроизводимые эксперименты и автоматические прогоны.
• Опыт работы с LLM, включая Qwen, Llama, DeepSeek, GigaChat/YandexGPT, и облачными API.
• Понимание возможностей и ограничений моделей.
• LangGraph или аналоги, tool calling, MCP, OpenAI-совместимые API, управление контекстом и памятью.
• Практический опыт с RAG: чанкинг, эмбеддинги, гибридный поиск, reranker, векторные базы Qdrant, pgvector или Chroma.
• Опыт оценки качества: eval-наборы, recall@k, MRR, метрики генерации, LLM-as-judge и статистическая значимость различий.
• Понимание квантизации GGUF/AWQ/GPTQ, LoRA, дистилляции, vLLM/Ollama, бюджета VRAM и работы в закрытом контуре.
• Проекты, в которых заказчик принимал качество модели или агента по измеримым критериям.

Условия:

• Зарплата от 190 000 ₽ на руки в месяц.
• Удалённая работа, полная занятость.
• График 5/2, 8 часов в день.