LLM Inference Platform Engineer - High-Performance Serving

HeadHunter; United States; Hybrid; USD 180,000 - 250,000; Full time

Benefits offered by this job

Гибридный график работы

ДМС со стоматологией

Командировки между городами

Зал с тренажерами и душем, йога, наст.

Кофе и печенье на кухне

Электронная корпоративная библиотека

Job summary

HeadHunter ищет инженера по инфраструктуре инференса LLM, чтобы развивать платформу, оптимизировать latency и throughput, и внедрять передовые подходы к распределенному инференсу. Вакансия подразумевает работу с vLLM, TensorRT‑LM, FasterTransformer и Kubernetes в гибридном формате.

Ключевые требования включают глубокое владение архитектурой LLM‑инференса, опыт управления кластерами GPU, знание CUDA/cuDNN и CI/CD.

Qualifications

• Глубокая экспертиза в архитектуре инференса LLM и инфраструктуре сервисов.
• Опыт построения высокопроизводительных LLM‑сервисов с использованием vLLM, TensorRT‑LM и FasterTransformer.
• Умение оптимизировать latency, throughput и управлять GPU‑нагрузками в кластерах.

Responsibilities

• Разработка и оптимизация инфраструктуры инференса LLM‑моделей.
• Performance‑tuning llm моделей, поиск точек деградации или кейсов оптимизации на основе реальных логов.
• Помощь в capacity‑планировании командам‑заказчикам.

Skills

Python

Linux

CI/CD

Распределенные системы

Tools

vLLM

TensorRT‑LM

FasterTransformer

Triton Inference Server

Kubernetes

Ray

KServe

Kubeflow

NCCL

MPI

RDMA

Job description

HeadHunter ищет инженера по инфраструктуре инференса LLM, чтобы развивать платформу, оптимизировать latency и throughput, и внедрять передовые подходы к распределенному инференсу. Вакансия подразумевает работу с vLLM, TensorRT‑LM, FasterTransformer и Kubernetes в гибридном формате.

Ключевые требования включают глубокое владение архитектурой LLM‑инференса, опыт управления кластерами GPU, знание CUDA/cuDNN и CI/CD.