ml engineer для инференса LLM

HireHi; United States; Remote; USD 140,000 - 240,000; Full time

Job summary

HireHi ищет опытного инженера по инференсу больших языковых моделей для удалённой работы в США. Вы будете отвечать за production-инференс и распределённый инференс, оптимизацию serving, работу с SGLang и post-training методами.

Требуется глубокая база ML/CS и практический опыт лидирования проектов в NLP/CV направлениях. Кандидат будет работать с GPU-инфраструктурой, AWS и современными стек-решениями, развивать технологии к масштабу и улучшать производительность инференса, а также участвовать в

Qualifications

• Требуется крепкая база ML, CS и математики.
• Опыт работы с production-инференсом больших моделей.
• Знание архитектур и стеков для оптимизации инференса.

Responsibilities

• Разрабатывать production-инференс больших LLM.
• Разрабатывать распределённый инференс и оптимизировать serving.
• Работать с SGLang в production.
• Выполнять post-training LLM.
• Разрабатывать agent harness.
• Оптимизировать caching, batching, quantization и speculative decoding.
• Работать с GPU-инфраструктурой на базе 32×H200 и AWS, участвовать в её расширении.
• Осуществлять техническое лидерство NLP/CV-направления.

Skills

production-инференс LLM

распределённый инференс

ML/CS математика

Education

Базовые знания ML, CS и математики

Tools

vLLM

SGLang

TensorRT-LLM

CUDA/Triton

DeepSpeed

Megatron-LM

FSDP

MoE

Job description

Описание

Описания нет

Задачи

• Разрабатывать production-инференс больших LLM
• Разрабатывать распределённый инференс и оптимизировать serving
• Работать с SGLang в production
• Выполнять post-training LLM
• Разрабатывать agent harness
• Оптимизировать caching, batching, quantization и speculative decoding
• Работать с GPU-инфраструктурой на базе 32×H200 и AWS, участвовать в её расширении
• Осуществлять техническое лидерство NLP/CV-направления

Требования

• Иметь сильный опыт production-инференса LLM
• Иметь опыт распределённого инференса больших моделей
• Знать vLLM, SGLang, TensorRT-LLM или сопоставимый стек
• Понимать tensor/pipeline/expert parallelism, KV cache и оптимизацию GPU
• Иметь опыт post-training: SFT, DPO, RLHF и других методов
• Иметь сильную базу в ML, компьютерных науках и математике
• Не подойдут кандидаты, которые преимущественно занимались RAG, LangChain, интеграциями API или только развёртывали готовые LLM
• Будет плюсом: CUDA/Triton, DeepSpeed, Megatron-LM, FSDP, MoE, собственные статьи, PhD, исследования или заметный вклад в open source

Условия

Remote, B2B (вне РФ,РБ) Часовой пояс, совместимый с CET В продукте присутствует контент 18+