AI/ML engineer for LLM agents

Компания скрыта; United States; Hybrid; USD 150,000 - 210,000; Full time

Benefits offered by this job

Наставник

Обучающие курсы

Помощь в развитии экспертизы

Job summary

Компания скрыта в Москве ищет инженера, который будет развивать архитектуру LLM‑агентов и поддерживать классические ML‑модели оценки имущества в банковской сфере. Ваша задача — строить продакшен‑решения, обеспечивая надёжность и управляемость моделей, а также взаимодействовать с бизнес‑заказчиками и деплоем.

Требуется глубокий опыт ML‑инженерии, MLOps и разработки сложных LLM‑решений, включая безопасность, объяснимость и наблюдаемость в проде.

Qualifications

• Опыт внедрения LLM‑систем с реальными пользователями и метриками.
• Опыт построения production‑grade retrieval (RAG).
• Опыт разработки мультиагентных систем и оркестрации моделей и инструментов.
• Умение проектировать архитектуру LLM‑решений с учетом latency, cost и надёжности.
• Практика разработки и оценки качества ML‑моделей в проде (LightGBM/XGBoost, scikit‑learn).

Responsibilities

• Разработка и выведение в прод LLM‑агентов и ассистентов для работы с залогами.
• Строение и развитие RAG‑систем поверх документов и структурированных данных.
• Проектирование архитектуры LLM‑решений с trade‑offs по качеству, latency, стоимости и надёжности.
• Обеспечение guardrails и безопасности LLM‑систем в банковском контуре.
• Участие в деплое, мониторинге и улучшении подходов в Agile/LeSS.

Skills

Python

LLM‑агенты

prod‑grade ML

context engineering

MLOps

Tools

LightGBM

XGBoost

scikit‑learn

spaCy

Transformers

Claude Code / Codex

Job description

Описание

это позиция на стыке двух миров. Мы ищем инженера, для которого LLM-агентные системы и классический ML — равноценные части работы. Вам предстоит не просто экспериментировать, а строить продакшен-решения, где надежность банка сочетается с гибкостью современных моделей. Команда Collateral Machine автоматизирует оценку залогов в банке. Наш флагман — Залоговый Copilot: агентная LLM-система, которая берет на себя рутину от анализа документов до подготовки решений, постепенно выводя человека из операционной цепочки (но сохраняя контроль качества). Ваша задача: развивать архитектуру агентов и одновременно поддерживать и улучшать классические ML-модели оценки имущества.

Задачи

проектировать и выводить в прод LLM-агентов и ассистентов для работы с залогами: multi-step и agentic workflow, оркестрация моделей, инструментов и внешних сервисов. строить и развивать RAG-системы поверх залоговых документов и структурированных данных банка. проектировать архитектуру LLM-решений с явным учётом trade-off'ов по качеству, latency, стоимости, надёжности и наблюдаемости. выстраивать систему оценки качества (eval) агентов: датасеты, метрики, отлов регрессий при смене промптов и моделей. обеспечивать надёжность и безопасность LLM-систем в банковском контуре: guardrails, защита от prompt injection и утечек данных, контроль галлюцинаций. участвовать во всём жизненном цикле решения — от обсуждения задачи с бизнесом и декомпозиции до деплоя и мониторинга в production. общаться с бизнес‑заказчиками напрямую, превращать их боли в технические задачи, а не в «красивый график». поддерживать и развивать ML‑составляющую оценки имущества там. следить за развитием области LLM и агентов и аргументированно решать, что стоит и что не стоит тащить в прод. работать в Agile/LeSS и участвовать в улучшении подходов команды.

Требования

опыт продуктового внедрения LLM‑систем: хотя бы одна система с реальными пользователями, доведённая до прода (а не пет‑проект или демо в ноутбуке), с метриками и интеграцией в процессы компании. опыт построения production‑grade retrieval (RAG и за его пределами): гибридный поиск и reranking, агентный/multi‑hop retrieval, понимание трейд‑оффов между retrieval и длинным контекстом; умение строить retrieval с аудируемым следом для регулируемых решений, а не просто «поиск похожих чанков». опыт разработки мультиагентных систем: проектирование multi‑step и agentic workflow, оркестрация моделей и инструментов, интеграция со структурированными и неструктурированными источниками. уверенный context engineering: управление контекстом и персистентной памятью между сессиями (накопление состояния от взаимодействия к взаимодействию), компактизация, логика прогрузки. умение самостоятельно проектировать архитектуру сложного LLM‑решения с обоснованием архитектурных решений (качество / latency / стоимость / надёжность / развиваемость). практика оценки качества LLM‑систем: построение eval‑датасетов, выбор метрик, отлов регрессий — критично для продукта, где LLM влияет на решения. понимание рисков LLM в проде: галлюцинации, prompt injection, утечки данных и как с этим бороться. сильный Python (3.10+), умение писать продакшен‑код, а не только эксперименты. опыт LLMOps/MLOps: версионирование, воспроизводимость, мониторинг качества в проде, автоматизация пайплайнов деплоя. уверенная работа с данными: сбор, очистка и первичное исследование датасетов. навык работы с кодинг‑агентами (Claude Code, Codex и подобными). практический опыт классического (в т.ч. табличного) ML на senior‑уровне: построение, обучение и улучшение моделей оценки имущества (LightGBM/XGBoost, scikit‑learn). уверенный feature engineering и анализ качества данных: контроль корректности признаков и глубокое понимание ограничений источников. полный цикл ML‑модели в проде: от гипотезы и экспериментов до деплоя, мониторинга и контроля дрейфа данных. умение балансировать классические ML‑подходы и LLM — выбирать правильный инструмент под задачу, а не тащить LLM туда, где достаточно бустинга (и наоборот). умение вести техническую дискуссию простым языком с разными стейкхолдерами. стратегическое мышление: видеть общую картую и тренды, балансировать детальный и абстрактный уровни. продуктовый взгляд: ориентация на пользу и долгосрочное развитие, а не на разовый результат. готовность брать задачу end‑to‑end и нести за неё ответственность. Будет плюсом: опыт работы с big‑data стеком: Spark, Airflow, Hadoop/Hive; опыт с NLP‑задачами на документах (spaCy, Transformers) — у нас много неструктурированных залоговых документов; опыт с банковскими/регулируемыми доменами и требованиями к explainability решений; практический опыт настройки observability для LLM (трейсинг вызовов, дашборды по качеству и расходам на токены); опыт с графами знаний / семантическим слоем для retrieval (актуально для связанных сущностей: залог, заёмщик, оценка, обременения)

Условия

локация: Москва (возможна удаленная работа). возможность работать над комплексными задачами, которые видны бизнесу и напрямую влияют на процессы банка. продуктовый подход: мы нацелены на внедрение и результат, а не только на research. работу в сильной команде с опытными коллегами. современный технологический стек и пространство для профессионального роста. DMS со стоматологией, массажем, телемедициной, ежегодными чек‑апами, которое работает как в Москве, так и в регионах. страхование от несчастных случаев и онкологических заболеваний, страхование выезжающих за границу. поддержка опытного наставника, обучающие курсы для комфортной адаптации, помощь в развитии экспертизы со стороны профессиональных сообществ банка. бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни, карьерные консультации. льготные условия на банковские продукты и услуги. скидки от партнеров банка в приложении PrimeZone в сферах здоровья, развлечений, творчества и интернет‑покупок.