ML Engineer по инференсу LLM — удалённо

HireHi; United States; Remote; USD 140,000 - 240,000; Full time

Job summary

HireHi ищет опытного инженера по инференсу больших языковых моделей для удалённой работы в США. Вы будете отвечать за production-инференс и распределённый инференс, оптимизацию serving, работу с SGLang и post-training методами.

Требуется глубокая база ML/CS и практический опыт лидирования проектов в NLP/CV направлениях. Кандидат будет работать с GPU-инфраструктурой, AWS и современными стек-решениями, развивать технологии к масштабу и улучшать производительность инференса, а также участвовать в

Qualifications

• Требуется крепкая база ML, CS и математики.
• Опыт работы с production-инференсом больших моделей.
• Знание архитектур и стеков для оптимизации инференса.

Responsibilities

• Разрабатывать production-инференс больших LLM.
• Разрабатывать распределённый инференс и оптимизировать serving.
• Работать с SGLang в production.
• Выполнять post-training LLM.
• Разрабатывать agent harness.
• Оптимизировать caching, batching, quantization и speculative decoding.
• Работать с GPU-инфраструктурой на базе 32×H200 и AWS, участвовать в её расширении.
• Осуществлять техническое лидерство NLP/CV-направления.

Skills

production-инференс LLM

распределённый инференс

ML/CS математика

Education

Базовые знания ML, CS и математики

Tools

vLLM

SGLang

TensorRT-LLM

CUDA/Triton

DeepSpeed

Megatron-LM

FSDP

MoE

Job description

HireHi ищет опытного инженера по инференсу больших языковых моделей для удалённой работы в США. Вы будете отвечать за production-инференс и распределённый инференс, оптимизацию serving, работу с SGLang и post-training методами.

Требуется глубокая база ML/CS и практический опыт лидирования проектов в NLP/CV направлениях. Кандидат будет работать с GPU-инфраструктурой, AWS и современными стек-решениями, развивать технологии к масштабу и улучшать производительность инференса, а также участвовать в