Senior LLM Inference Engineer (Remote)

Dating Group; United States; Remote; USD 180,000 - 280,000; Full time

Benefits offered by this job

Remote work

Vacation days

Wellness days

Referral bonus

Training support

Health benefits

Equipment provided

Co-working stipend

Merit rewards

Job summary

Social Discovery Group (SDG) ищет лидера для ускорения и масштабирования вывода LLM в продуктивной среде. Вы будете руководить NLP и CV командами, развивать пост-тренировку моделей и внедрять передовые методы инференса.

Требуется опыт оптимизации вывода LLM, распределённого обучения, лидерство и глубокие знания PyTorch. Предлагается удаленная работа в США, компенсационные бонусы и поддержка обучения.

Qualifications

• Глубокий практический опыт оптимизации вывода LLM в продакшене с SGLang, vLLM или TensorRT-LLM.
• Опыт распределённого вывода или обучения крупных моделей: MoE, параллелизм, multi-node.
• Понимание факторов ускорения вывода: KV-кеш, attention kernels, батчинг, квантование, профилинг.
• Опыт обучения и дообучения LLMs, включая пост-обучение (RLHF, DPO).
• Техническое лидерство: руководство инженерами, код и решения.
• Опыт с PyTorch, Transformers и связанных библиотек.
• Английский или русский на продвинутом уровне.
• Опыт работы в AI-стартапах или компаниях.
• Backend: Python, Go, C#; scalable deployment.
• CUDA/Triton разработки; CV опыт приветствуется.
• Опыт мультимодальных LLM.
• Публикации/вклады в open-source.
• Степень в CS/математике/физике (MSc/PhD).

Responsibilities

• Ускорение и масштабирование вывода LLM в продакшене.
• Развертывание распределённого вывода на множестве GPU/узлов.
• Бенчмарк новых серверов и внедрение в прод.
• Техническое руководство NLP и CV командами.
• Обучение и дообучение языковых моделей.
• Мониторинг новейших исследований и перенесение в ML‑дорожную карту.
• Сотрудничество с командами валидации и подготовки датасетов.

Skills

LLM inference optimization

Distributed inference

Inference speed optimization

LLM fine-tuning

Technical leadership

PyTorch / Transformers

English or Russian

AI startup experience

Backend engineering

CUDA / Triton

Computer vision

Multimodal LLMs

Open-source contributions

CS/Math/Physics degree

Education

MSc/PhD in CS, math, or physics

Tools

SGLang

vLLM

TensorRT-LLM

CUDA

Job description

Social Discovery Group (SDG) ищет лидера для ускорения и масштабирования вывода LLM в продуктивной среде. Вы будете руководить NLP и CV командами, развивать пост-тренировку моделей и внедрять передовые методы инференса.

Требуется опыт оптимизации вывода LLM, распределённого обучения, лидерство и глубокие знания PyTorch. Предлагается удаленная работа в США, компенсационные бонусы и поддержка обучения.