Senior ML Inference Engineer — Scale Production AI

Cast AI; United States; Remote; USD 180,000 - 270,000; Full time

Benefits offered by this job

Equity 10%

Annual hackathon

Learning budget

Job summary

Cast AI ищет инженера по ML-инфраструктуре для масштабирования и оптимизации производственных ML-систем. Вы будете работать над инференсом в распределённых конфигурациях, экспериментировать с квантованием и ускорением на разных GPU, улучшать время отклика и пропускную способность в рамках гибридной облачной платформы.

Требуется опыт работы с инференс-инфраструктурой и сильные навыки Python, а также портфолио проектов с оптимизацией и профильными знаниями в vLLM/SGLang/TensorRT-LLM.

Qualifications

• 5+ лет опыта в построении production ML-систем.
• Портфолио с инференсом/инфраструктурой обучения, а не только ноутбуки.
• Сильные навыки Python для production services.
• Опыт с vLLM, SGLang или TensorRT-LLM и понимание производительности инференса на разных GPU.
• Понимание компромиссов в квантовании и качественные регрессии.
• Опыт в распределённых системах, шардинге и отказоустойчивости в многопроцессорных конфигурациях.
• Ориентация на измерения: инструментация перед оптимизацией.

Responsibilities

• Увеличение пропускной способности через батчинг, speculative decoding, chunked prefill и настройку ядра.
• Снижение задержки за счёт профилирования узких мест и оптимизации вычислений, памяти и сетей.
• Улучшение использования KV кэша через пагинацию внимания и кэширование.
• Квантизация весов/активаций и KV (INT8/INT4/FP8) с контролем качества.
• Снижение холодных стартов за счёт быстрой инициализации и более эффективной загрузки весов.
• Масштабирование инференса по узлам, выбор топологий и checkpointing.
• Определение технического направления: какие метрики, какие тесты и воспроизводимые эксперименты проводить.

Skills

Python

Production ML Systems

Distributed Systems

Inference Infrastructure

Quantization

Tools

vLLM

SGLang

TensorRT-LLM

Job description

Cast AI ищет инженера по ML-инфраструктуре для масштабирования и оптимизации производственных ML-систем. Вы будете работать над инференсом в распределённых конфигурациях, экспериментировать с квантованием и ускорением на разных GPU, улучшать время отклика и пропускную способность в рамках гибридной облачной платформы.

Требуется опыт работы с инференс-инфраструктурой и сильные навыки Python, а также портфолио проектов с оптимизацией и профильными знаниями в vLLM/SGLang/TensorRT-LLM.