Research LLM engineer in fintech

Компания скрыта (Банк); United States; Hybride; USD 150 000 - 210 000; Plein temps

Avantages offerts par ce poste

Возможность работать из офиса или удал

ДМС со стоматологией, массажем, телемё

Оплачиваемые отгулы — 3 дня в год

Страхование от несчастных случаев и КЗ

Бесплатные консультации психологов и ю

Résumé du poste

Компания скрыта (Банк) ищет инженера по внутренним моделям для разработки и поддержки LLM-решений. Роль охватывает выбор и дообучение моделей, доведение их до продакшн-инференса и оптимизацию price/performance на внутренних задачах.

Ожидается глубокое понимание LLM, опыт PyTorch и Python, работа с RL-фреймворками и инструментами инференса. Ключевые навыки: работа с движками инференса (vLLM, SGLang, TensorRT-LLM), участие в open-source проектах, готовность работать на стыке ML-систем,

Qualifications

• Понимание архитектуры современных LLM и этапов их обучения, включая post-training.
• Опыт работы с RL-фреймворками и оркестрацией окружений для агентов.
• Навыки инференса LLM и ускорения (KV‑кэширование, батчинг, параллелизм).

Responsabilités

• Выбор и дообучение моделей для достижения лучших метрик price/performance.
• Определение оптимальных подходов инференса и метрик успеха.
• Выполнение задач end-to-end: от выбора модели до продакшн-инференса.

Connaissances

Python

PyTorch

RL frameworks

LLM inference engines

Open-source contributions

Outils

vLLM

SGLang

TensorRT-LLM

Harbor

verifiers

Description du poste

Описание:

Внутри банка уже много задач на LLM и большой объем потребления. Нам нужны внутренние модели, которые дают лучший price/performance на конкретных задачах. У инженера есть возможность позаниматься совершенно разными задачами и определить оптимальные пути развития. Роль устроена end-to-end: один человек может заниматься как выбором и дообучением модели, так и доведением её до продакшн-инференса.

Задачи:

Дообучать модели не с целью создания универсальной большой модели, а для получения лучших метрик price/performance на ключевых задачах внутри организации. Определять оптимальный способ инференса наших моделей и выбирать метрики успешности. Выполнять задачи end-to-end: от выбора и дообучения модели до продакшн-инференса.

Требования:

• Понимание устройства современных LLM и основных этапов их обучения, включая post-training для агентов.
• Опыт работы с фреймворками для RL (verl, slime, prime-rl) и оркестрацией окружений для агентов (Harbor, verifiers).
• Понимание устройства инференса LLM и механизмов его ускорения (KV-кэширование, батчинг, параллелизм).
• Опыт работы с движками инференса (vLLM, SGLang, TensorRT-LLM или аналоги).
• Навыки программирования на Python и PyTorch.
• Готовность работать на стыке ML-систем, инфраструктуры и NLP в зависимости от стадии проекта.
• Будет плюсом: Опыт участия в проектах по обучению LLM использовать инструменты, рассуждать перед ответом или работать с длинным контекстом; Наличие open-source проектов или публикаций по инференсу или обучению LLM

Условия:

• Возможность работать из офиса или удаленно.
• ДМС со стоматологией, массажем, телемедициной, чек-апами с первого месяца работы.
• Три оплачиваемых отгула в год.
• Страхование от несчастных случаев и критических заболеваний, страхование выезжающих за границу.
• Бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни.
• Программы профессионального обучения: hard- и soft-навыки, лидерские компетенции.
• Льготные условия по банковским продуктам и услугам.
• Скидки от партнеров банка.