nlp engineer for llm inference

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Высокое вознаграждение

Возможность роста до Head of ML

Job summary

HireHi ищет инженера ML для оптимизации инференса больших языковых моделей и развития распределённой инфраструктуры с несколькими GPU. Требуется опыт работы с SGLang, vLLM или TensorRT-LLM и владение PyTorch/Transformers. Работа предполагает обучение, дообучение и развитие агентных архитектур в команде NLP/CV.

Ожидается знание распределённого обучения, QoS-инфа, KV кэш и квантование. Условия — высокий уровень вознаграждения и перспектива роста до Head of ML в США.

Qualifications

• Иметь производственный опыт оптимизации инференса LLM (SGLang, vLLM или TensorRT-LLM)
• Опыт распределённого инференса и обучения больших моделей: MoE, параллелизм по тензорам, экспертам или конвейерам, многоузловые GPU
• Разбираться в KV cache, ядрах attention, пакетной обработке, квантовании и профилировании GPU
• Опыт обучения, дообучения и последующего обучения моделей: RLHF, DPO или аналоги
• Уверенно работать с PyTorch и Transformers
• Английский B2+

Responsibilities

• Оптимизировать скорость, стоимость и стабильность инференса больших LLM
• Развивать распределённый инференс на многоузловой инфраструктуре с несколькими GPU
• Обучать и дообучать LLM, развивать агентные архитектуры
• Обеспечивать техническое лидерство NLP/CV-команды

Skills

inference optimization

Distributed inference

RLHF/DPO training

PyTorch

Transformers

Tools

PyTorch

Transformers

AWS

Job description

Описание:

Платформа предназначена для персонализированного общения с AI-персонажами. Компания дообучает модели с открытым исходным кодом и работает с LLM до 1T параметров.

Задачи:

• Оптимизировать скорость, стоимость и стабильность инференса больших LLM
• Развивать распределённый инференс на многоузловой инфраструктуре с несколькими GPU
• Обучать и дообучать LLM, развивать агентные архитектуры
• Обеспечивать техническое лидерство NLP/CV-команды

Требования:

• Иметь производственный опыт оптимизации инференса LLM с SGLang, vLLM или TensorRT-LLM
• Иметь опыт распределённого инференса и обучения больших моделей: MoE, параллелизм по тензорам, экспертам или конвейерам, многоузловые GPU
• Разбираться в KV cache, ядрах attention, пакетной обработке, квантовании и профилировании GPU
• Иметь опыт обучения, дообучения и последующего обучения моделей: RLHF, DPO или аналоги
• Уверенно работать с PyTorch и Transformers
• Английский B2+

Условия:

• Около 70% времени — практическая инженерная работа, без управления проектами и людьми
• Работа с инфраструктурой 32×H200 и AWS
• Высокое вознаграждение
• Перспектива роста до Head of ML