NLP инженер LLM-инференса

NDA; United States; Remote; USD 180,000 - 240,000; Full time

Benefits offered by this job

Remote work

Job summary

NDA ищет эксперта по ML для оптимизации инференса крупных языковых моделей в продакшене. Вы будете организовывать распределённый инференс на нескольких GPU и узлах, внедрять современные техники ускорения и проводить бенчмаркинг, чтобы вводить новое GPU-оборудование.

Ожидается глубокий опыт Optimization, знание KV cache, attention kernels, квантизации и пайплайнов. Также важно лидерство технических команд NLP/CV, обучение и дообучение LLM, работа с данными и участие в пост-обучении (RLHF/DPO).

Qualifications

• Глубокий опыт оптимизации инференса LLM в продакшене.
• Опыт распределённого инференса и обучения: MoE, tensor/expert/pipeline parallelism
• Понимание KV cache, attention kernels, квантизации и профилирования GPU
• Опыт обучения и дообучения LLM, post-training
• Техническое лидерство и работа с PyTorch/Transformers
• Опыт работы в AI-стартапах
• Продвинутый английский или русский
• Будет плюсом: CUDA/Triton, Computer vision, мультимодальные LLM, бэкенд-разработка на Python/Go/C#

Responsibilities

• Оптимизировать инференс LLM в продакшене: SGLang, vLLM, TensorRT-LLM, KV/prefix caching, батчинг, квантизация, speculative decoding
• Организовывать распределённый инференс моделей до 1T+ параметров на нескольких GPU и узлах
• Проводить бенчмаркинг и вводить новое GPU-оборудование в продакшен
• Обеспечивать техническое лидерство NLP- и CV-команд
• Обучать и дообучать LLM, проводить post-training (RLHF, DPO)
• Работать с командами валидации и подготовки наборов данных

Skills

Оптимизация инференса LLM

Распределённый инференс

Профилирование GPU

Обучение LLM

PyTorch/Transformers

Tools

CUDA kernels

Triton

Job description

Описание

Описания нет

Задачи

• Оптимизировать инференс LLM в продакшене: SGLang, vLLM, TensorRT-LLM, KV/prefix caching, батчинг, квантизация, speculative decoding
• Организовывать распределённый инференс моделей до 1T+ параметров на нескольких GPU и узлах
• Проводить бенчмаркинг и вводить новое GPU-оборудование в продакшен
• Обеспечивать техническое лидерство NLP- и CV-команд
• Обучать и дообучать LLM, проводить post-training (RLHF, DPO)
• Работать с командами валидации и подготовки наборов данных

Требования

• Глубокий опыт оптимизации инференса LLM в продакшене
• Опыт распределённого инференса и обучения: MoE, tensor/expert/pipeline parallelism
• Понимание KV cache, attention kernels, квантизации и профилирования GPU
• Опыт обучения и дообучения LLM, post-training
• Техническое лидерство и практическая работа с кодом PyTorch, transformers
• Опыт работы в AI-стартапах
• Продвинутый английский или русский
• Будет плюсом: ядра CUDA/Triton, Computer vision, мультимодальные LLM, бэкенд-разработка на Python, Go или C#

Условия

• Удалённая работа
• Возможность вырасти до Head of ML