LLM Inference Engineer — Distributed, High-Performance NLP

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Высокое вознаграждение

Возможность роста до Head of ML

Job summary

HireHi ищет инженера ML для оптимизации инференса больших языковых моделей и развития распределённой инфраструктуры с несколькими GPU. Требуется опыт работы с SGLang, vLLM или TensorRT-LLM и владение PyTorch/Transformers. Работа предполагает обучение, дообучение и развитие агентных архитектур в команде NLP/CV.

Ожидается знание распределённого обучения, QoS-инфа, KV кэш и квантование. Условия — высокий уровень вознаграждения и перспектива роста до Head of ML в США.

Qualifications

• Иметь производственный опыт оптимизации инференса LLM (SGLang, vLLM или TensorRT-LLM)
• Опыт распределённого инференса и обучения больших моделей: MoE, параллелизм по тензорам, экспертам или конвейерам, многоузловые GPU
• Разбираться в KV cache, ядрах attention, пакетной обработке, квантовании и профилировании GPU
• Опыт обучения, дообучения и последующего обучения моделей: RLHF, DPO или аналоги
• Уверенно работать с PyTorch и Transformers
• Английский B2+

Responsibilities

• Оптимизировать скорость, стоимость и стабильность инференса больших LLM
• Развивать распределённый инференс на многоузловой инфраструктуре с несколькими GPU
• Обучать и дообучать LLM, развивать агентные архитектуры
• Обеспечивать техническое лидерство NLP/CV-команды

Skills

inference optimization

Distributed inference

RLHF/DPO training

PyTorch

Transformers

Tools

PyTorch

Transformers

AWS

Job description

HireHi ищет инженера ML для оптимизации инференса больших языковых моделей и развития распределённой инфраструктуры с несколькими GPU. Требуется опыт работы с SGLang, vLLM или TensorRT-LLM и владение PyTorch/Transformers. Работа предполагает обучение, дообучение и развитие агентных архитектур в команде NLP/CV.

Ожидается знание распределённого обучения, QoS-инфа, KV кэш и квантование. Условия — высокий уровень вознаграждения и перспектива роста до Head of ML в США.