Fintech LLM Engineer — End-to-End Tuning & Inference

Компания скрыта (Банк); United States; Hybrid; USD 150,000 - 210,000; Full time

Benefits offered by this job

Возможность работать из офиса или удал

ДМС со стоматологией, массажем, телемё

Оплачиваемые отгулы — 3 дня в год

Страхование от несчастных случаев и КЗ

Бесплатные консультации психологов и ю

Job summary

Компания скрыта (Банк) ищет инженера по внутренним моделям для разработки и поддержки LLM-решений. Роль охватывает выбор и дообучение моделей, доведение их до продакшн-инференса и оптимизацию price/performance на внутренних задачах.

Ожидается глубокое понимание LLM, опыт PyTorch и Python, работа с RL-фреймворками и инструментами инференса. Ключевые навыки: работа с движками инференса (vLLM, SGLang, TensorRT-LLM), участие в open-source проектах, готовность работать на стыке ML-систем,

Qualifications

• Понимание архитектуры современных LLM и этапов их обучения, включая post-training.
• Опыт работы с RL-фреймворками и оркестрацией окружений для агентов.
• Навыки инференса LLM и ускорения (KV‑кэширование, батчинг, параллелизм).

Responsibilities

• Выбор и дообучение моделей для достижения лучших метрик price/performance.
• Определение оптимальных подходов инференса и метрик успеха.
• Выполнение задач end-to-end: от выбора модели до продакшн-инференса.

Skills

Python

PyTorch

RL frameworks

LLM inference engines

Open-source contributions

Tools

vLLM

SGLang

TensorRT-LLM

Harbor

verifiers

Job description

Компания скрыта (Банк) ищет инженера по внутренним моделям для разработки и поддержки LLM-решений. Роль охватывает выбор и дообучение моделей, доведение их до продакшн-инференса и оптимизацию price/performance на внутренних задачах.

Ожидается глубокое понимание LLM, опыт PyTorch и Python, работа с RL-фреймворками и инструментами инференса. Ключевые навыки: работа с движками инференса (vLLM, SGLang, TensorRT-LLM), участие в open-source проектах, готовность работать на стыке ML-систем,