Senior ML Engineer - AI Inference & Optimization

Nebius Group; United States; Remote; USD 195,000 - 262,000; Full time

Benefits offered by this job

Полное медицинское страхование для вас

Матч по пенсионному плану 4%

Оплачиваемый уход за семьёй 20 недель

Компенсация за мобильную связь и инет

Гибкие условия и поддержка профессион-

Job summary

Nebius позиционирует себя как ведущий поставщик облачных AI-решений и приглашает старшего Machine Learning Engineer в команду Applied AI. Вы будете владеть оптимизацией моделей и конечных точек от артефактов до развёртывания в проде, концентрируясь на ускорении LLM/VLM, снижении задержек и повышении эффективности использования ресурсов.

В роли вы будете работать над масштабируемыми решениями в рамках глобальной инфраструктуры, сотрудничать с инженерами ядра и платформы, и готовить документацию

Qualifications

• Опыт разработки на Python и PyTorch.
• Установка и оптимизация LLM/VLM или через high-throughput инференс.
• Знание современных стэков инференса (напр., vLLM, SGLang, TensorRT-LLM, Triton, Ray Serve, KServe).
• Понимание узких мест инференса трансформеров: KV-cache, attention, память, батчинг.
• Опыт проектирования распределенной архитектуры инференса.

Responsibilities

• Вести проекты оптимизации для семейств моделей, конечных точек и背ends.
• Сравнивать инференс-движки и подбирать конфигурации под рабочий нагруз.
• Диагностировать регрессии качества/производительности на проде.
• Повышать задержку, пропускную способность и эффективность использования GPU.
• Разрабатывать и внедрять рабочие процессы компрессии моделей: квантование, дистилляцию и пр.

Skills

Python

PyTorch

LLM deployment

VLM inference

Проекторинг трансформеров

KV-cache оптимизация

Distributed inference

Системная архитектура

Job description

Nebius позиционирует себя как ведущий поставщик облачных AI-решений и приглашает старшего Machine Learning Engineer в команду Applied AI. Вы будете владеть оптимизацией моделей и конечных точек от артефактов до развёртывания в проде, концентрируясь на ускорении LLM/VLM, снижении задержек и повышении эффективности использования ресурсов.

В роли вы будете работать над масштабируемыми решениями в рамках глобальной инфраструктуры, сотрудничать с инженерами ядра и платформы, и готовить документацию