MLOps inference engineer for LLM serving

HeadHunter; United States; Hybrid; USD 180,000 - 250,000; Full time

Benefits offered by this job

Гибридный график работы

ДМС со стоматологией

Командировки между городами

Зал с тренажерами и душем, йога, наст.

Кофе и печенье на кухне

Электронная корпоративная библиотека

Job summary

HeadHunter ищет инженера по инфраструктуре инференса LLM, чтобы развивать платформу, оптимизировать latency и throughput, и внедрять передовые подходы к распределенному инференсу. Вакансия подразумевает работу с vLLM, TensorRT‑LM, FasterTransformer и Kubernetes в гибридном формате.

Ключевые требования включают глубокое владение архитектурой LLM‑инференса, опыт управления кластерами GPU, знание CUDA/cuDNN и CI/CD.

Qualifications

• Глубокая экспертиза в архитектуре инференса LLM и инфраструктуре сервисов.
• Опыт построения высокопроизводительных LLM‑сервисов с использованием vLLM, TensorRT‑LM и FasterTransformer.
• Умение оптимизировать latency, throughput и управлять GPU‑нагрузками в кластерах.

Responsibilities

• Разработка и оптимизация инфраструктуры инференса LLM‑моделей.
• Performance‑tuning llm моделей, поиск точек деградации или кейсов оптимизации на основе реальных логов.
• Помощь в capacity‑планировании командам‑заказчикам.

Skills

Python

Linux

CI/CD

Распределенные системы

Tools

vLLM

TensorRT‑LM

FasterTransformer

Triton Inference Server

Kubernetes

Ray

KServe

Kubeflow

NCCL

MPI

RDMA

Job description

Описание:

Мы строим платформу LLM‑инференса, обслуживающую как внутренние, так и продакшен-сервисы. Наша миссия — обеспечить стабильный, масштабируемый и экономичный сервинг больших языковых моделей. Мы ищем инженера, который поможет в развитии инфраструктуры, оптимизацию latency и throughput, а также внедрение передовых подходов к распределенному LLM‑инференсу.

Задачи:

• Разработка и оптимизация инфраструктуры инференса LLM‑моделей.
• Performance-tunning llm моделей, поиск точек деградации или кейсов оптимизации на основе реальных логов.
• Помощь в capacity‑планировании командам‑заказчикам.
• Обеспечивать масштабируемость и надежность LLM‑serving инфраструктуры, выбор инструментов для инференса (sglang, vLLM, TensorRT‑LLM).
• Разрабатывать и внедрять механизмы оптимизации стоимости и производительности GPU‑нагрузок

Требования:

• Глубокая экспертиза в архитектуре и инференсе больших языковых моделей.
• Опыт построения высокопроизводительных LLM‑сервисов с использованием vLLM, TensorRT‑LLM/FasterTransformer/Triton Inference Server/etc.
• Знание методов оптимизации и ускорения LLM‑инференса: quantization (FP16, INT8, FP8), FlashAttention, paged attention, speculative decoding.
• Понимание нюансов распределенных систем и GPU‑коммуникации (NCCL, MPI, RDMA, InfiniBand).
• Опыт в управлении кластером для LLM‑нагрузок (Kubernetes, Ray, KServe, Kubeflow) в облаке или на своем железе.
• Уверенное владение Python.
• Знание инструментов профилирования GPU (nvidia‑smi, Nsight, TensorRT Profiler).
• Опыт участия в архитектурном дизайне крупных AI‑платформ.
• Продвинутые навыки работы в Linux, CI/CD и системах оркестрации моделей.
• Будет плюсом: Опыт построения LLM‑сервисов с потоковой генерацией токенов (streaming inference); Знание особенностей служебных компонентов LLM‑пайплайна: токенизаторы, KV‑кэш, контекстное окно; Понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores) для глубокой оптимизации производительности; Участие в проектах по оптимизации инфраструктуры для LLM‑инференса на уровне платформы (multi‑tenant LLM serving, dynamic batching); Понимание принципов векторных баз данных (Milvus/Qdrant/FAISS/pgvector) для RAG‑решений и не только.

Условия:

• Возможность выбора формата работы: гибрид, удаленно или из офиса.
• Гибкий график.
• Корпоративный ДМС со стоматологией c первого месяца работы.
• Активная корпоративная жизнь: регулярно проводим неформальные оффлайн‑встречи, возможность командировок из других городов.
• Хороший тренажерный зал в офисе и душ при нем, а также занятия йогой, настольный теннис и кикер.
• Кофе в кофемашинах, чай, печенье, фрукты на кухне.
• Электронная корпоративная библиотека.
• Молодой, профессиональный и дружный коллектив.
• Возможность профессионального развития, обучения за счет компании, участия в конференциях.
• Достойный уровень заработной платы.
• Совместную постановку целей и индивидуальный план развития.