ML Engineer - AI Inference & Performance

Nebius Group; United States; Hybrid; USD 180,000 - 240,000; Full time

Benefits offered by this job

Competitive compensation

Career growth

Flexibility and ownership

Collaborative culture

International environment

Job summary

Nebius ищет инженера ML/AI для разработки и оптимизации инструментов инференса в облаке. Вы будете работать над End-to-End цепочкой: от моделей до сервисов, уделяя внимание задержке, пропускной способности и расходам.

В роли предполагается работа с современными стеками (vLLM, TensorRT-LLM, Triton) и тесное сотрудничество с исследователями, инженерами ядра и продакт-менеджерами. Ожидается активное участие в открытых проектах и возможностях роста.

Qualifications

• Глубокие знания Python и PyTorch.
• Опыт развёртывания или оптимизации систем высокопоточного вывода.
• Знание стеков vLLM / TensorRT-LLM / Triton / KServe.
• Понимание узких мест трансформер-вычислений.
• Умение анализировать латентность, пропускную способность и стоимость.

Responsibilities

• Владение pillar оптимизации уровня платформы (quantization, KV-cache и др.).
• Создание повторяемых оценочных, бенчмаркинговых и развёртывочных фреймворков.
• Давать техническое направление MLEs, Applied Scientists, GPU kernel инженерам.
• Оптимизация LLM/VLM эндпоинтов по задержке, пропускной способности и памяти.
• Развертывание/настройка инференс-движков (vLLM, SGLang, TensorRT-LLM, Triton Server).
• Производство рабочих процессов с квантованием, distillation и т.д.
• Писать дизайн-документы и отчёты о производительности и развёртываниях.

Skills

Python

PyTorch

Latency optimization

Quantitative reasoning

Tools

vLLM

TensorRT-LLM

Triton

KServe

Job description

Nebius ищет инженера ML/AI для разработки и оптимизации инструментов инференса в облаке. Вы будете работать над End-to-End цепочкой: от моделей до сервисов, уделяя внимание задержке, пропускной способности и расходам.

В роли предполагается работа с современными стеками (vLLM, TensorRT-LLM, Triton) и тесное сотрудничество с исследователями, инженерами ядра и продакт-менеджерами. Ожидается активное участие в открытых проектах и возможностях роста.