Lead ML Engineer, LLM Inference & Architecture – Remote

NDA; United States; Remote; USD 180,000 - 240,000; Full time

Benefits offered by this job

Fully remote

Home office stipend

Education support

Medical reimbursements

Equity program

Wellness days

Paid vacations

Job summary

HireHi — американский стартап, создающий персонализированных AI-компаньонов с эмоциональной гибкостью, памятью и самоизменением. Мы развиваем архитектуры на основе открытых моделей и обслуживаем миллионы диалогов.

Ваша роль: ускорять и масштабировать LLM в продакшене, оптимизировать инференс до 1T+ параметров и разворачивать распределённый инференс на многосерверных кластерах. Вы будете обучать и дообучать модели, улучшать чат-алгоритмы и руководить техническими работами команды.

Qualifications

• Глубокий опыт оптимизации LLM в продакшене с SGLang, vLLM или TensorRT-LLM.
• Опыт распределённого инференса или обучения крупных моделей с MoE и многосерверными кластерами.
• Понимание профилирования GPU, работы ядер attention и KV-кэша.
• Практический опыт дообучения моделей с RLHF, DPO или аналогами.
• Сильный опыт работы с PyTorch и Transformers.
• Профессиональное владение английским или русским языком.

Responsibilities

• Ускорять и масштабировать большие языковые модели в продакшене.
• Оптимизировать инференс моделей до 1T+ параметров с помощью SGLang, KV- и prefix-кэширования, speculative decoding и квантования.
• Разворачивать распределённый инференс на многосерверных кластерах и GPU.
• Обучать и дообучать модели-компаньоны с RLHF, DPO и прочими методами.
• Улучшать агентные каркасы и алгоритмы чата.
• Проводить техническое руководство: проверять эксперименты команды из семи инженеров NLP/CV, выбирать направления и оценивать гипотезы.

Skills

LLM оптимизация

distributed inference

GPU профилирование

RLHF/DPO

PyTorch

Transformers

Английский/Русский

CUDA/Triton

Tools

CUDA/Triton

TensorRT

Job description

HireHi — американский стартап, создающий персонализированных AI-компаньонов с эмоциональной гибкостью, памятью и самоизменением. Мы развиваем архитектуры на основе открытых моделей и обслуживаем миллионы диалогов.

Ваша роль: ускорять и масштабировать LLM в продакшене, оптимизировать инференс до 1T+ параметров и разворачивать распределённый инференс на многосерверных кластерах. Вы будете обучать и дообучать модели, улучшать чат-алгоритмы и руководить техническими работами команды.