ml engineer for LLM inference

Cast AI; United States; On-site; USD 180,000 - 270,000; Full time

Benefits offered by this job

Equity 10%

Annual hackathon

Learning budget

Job summary

Cast AI ищет инженера по ML-инфраструктуре для масштабирования и оптимизации производственных ML-систем. Вы будете работать над инференсом в распределённых конфигурациях, экспериментировать с квантованием и ускорением на разных GPU, улучшать время отклика и пропускную способность в рамках гибридной облачной платформы.

Требуется опыт работы с инференс-инфраструктурой и сильные навыки Python, а также портфолио проектов с оптимизацией и профильными знаниями в vLLM/SGLang/TensorRT-LLM.

Qualifications

• 5+ лет опыта в построении production ML-систем.
• Портфолио с инференсом/инфраструктурой обучения, а не только ноутбуки.
• Сильные навыки Python для production services.
• Опыт с vLLM, SGLang или TensorRT-LLM и понимание производительности инференса на разных GPU.
• Понимание компромиссов в квантовании и качественные регрессии.
• Опыт в распределённых системах, шардинге и отказоустойчивости в многопроцессорных конфигурациях.
• Ориентация на измерения: инструментация перед оптимизацией.

Responsibilities

• Увеличение пропускной способности через батчинг, speculative decoding, chunked prefill и настройку ядра.
• Снижение задержки за счёт профилирования узких мест и оптимизации вычислений, памяти и сетей.
• Улучшение использования KV кэша через пагинацию внимания и кэширование.
• Квантизация весов/активаций и KV (INT8/INT4/FP8) с контролем качества.
• Снижение холодных стартов за счёт быстрой инициализации и более эффективной загрузки весов.
• Масштабирование инференса по узлам, выбор топологий и checkpointing.
• Определение технического направления: какие метрики, какие тесты и воспроизводимые эксперименты проводить.

Skills

Python

Production ML Systems

Distributed Systems

Inference Infrastructure

Quantization

Tools

vLLM

SGLang

TensorRT-LLM

Job description

Описание:

Cast AI is an automation platform that operates cloud-native and AI infrastructure at scale. It uses autonomous decision-making in Kubernetes and cloud environments to continuously optimize production performance, reliability, and efficiency. Its Kimchi system automatically matches workloads to cost-efficient, high-performing LLM and serving configurations on customer infrastructure.

Задачи:

• Increase throughput through continuous batching, speculative decoding, chunked prefill, and kernel-level tuning across vLLM, SGLang, and TensorRT-LLM
• Reduce TTFT and TPOT latency by profiling bottlenecks and addressing compute, memory bandwidth, scheduling, or networking issues
• Improve KV cache utilization through paged attention, prefix caching, eviction policies, cache reuse, and quantized KV
• Quantize weights, activations, and KV using INT8, INT4, and FP8 while measuring quality on real workloads
• Reduce cold starts and memory footprint through faster initialization, smarter weight loading, and tighter memory accounting
• Scale inference across nodes using distributed topologies, network-aware placement, and checkpointing strategies
• Set the technical direction by deciding what to benchmark, adopt, and build, and align the team through writeups and reproducible experiments

Требования:

• 5+ Years building production ML systems
• A portfolio demonstrating depth in inference or training infrastructure, not just model training notebooks
• Strong Python skills for production services
• Hands-on experience with at least one of vLLM, SGLang, or TensorRT-LLM and an understanding of inference engine performance on different GPUs
• Fluency with quantization tradeoffs, including measuring quality regressions
• Experience with distributed systems, collective communication, sharding strategies, and failure modes in multi-GPU and multi-node setups
• A measurement-focused approach: instrument before optimizing and distinguish real improvements from benchmark artifacts
• Self-direction and comfort with a broad mandate

Условия:

• Competitive salary depending on experience level
• Equity options 10%
• Of work time for personal projects or self-improvement
• Learning budget for professional and personal development, including international conferences and courses
• Annual hackathon
• Team-building budget and company events
• Equipment budget
• Extra days off
• No visa sponsorship or work permit is provided
• A background check may be conducted at the final recruitment stage through Checkr