C++ инженер инфраструктуры LLM на GPU: оптимизация инференса

Яндекс Поиск; United States; À distance; USD 180 000 - 260 000; Plein temps

Avantages offerts par ce poste

Расширенная медицинская страховка

Страхование за рубежом

Чекапы и стоматология

Résumé du poste

HireHi ищет специалистов для разработки инфраструктуры инференса LLM в условиях высоких требований к доступности и скорости сервиса. Команда работает над снижением задержек на GPU, оптимизацией инференса и параллелизацией обучения и вывода моделей в продакшене.

Кандидат должен владеть C++, Python, CUDA и понимать архитектуру Transformer, будет работать с инструментами вроде vLLM и TensorRT-LLM. Привлекательны вечерние и международные проекты, развитие в области инфраструктуры инференса.

Qualifications

• Уверенно владеть C++ и Python, опыт низкоуровневого программирования.
• Опыт с GPU NVIDIA и CUDA, понимание архитектуры GPU.
• Глубоко понимать архитектуру Transformer и механизмы: attention, FFN и нормализация.
• Знать подходы параллелизации Data Parallel, Tensor Parallel и Pipeline Parallel.
• Понимать задачи эксплуатации больших моделей в продакшне.
• Умение эффективно работать в команде и делиться знаниями.
• Плюсом: опыт с vLLM, TensorRT-LLM или sglang.

Responsabilités

• Повышать эффективность и снижать задержки при выполнении инференса на GPU.
• Создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, влияющих на стабильность и скорость инференса.
• Работать с методами оптимизации инференса, включая квантование и прореживание, и современными подходами к параллелизации

Connaissances

C++

Python

CUDA

Transformer

Data Parallel

Pipeline Parallel

Outils

TensorRT

vLLM

sglang

TRT-LLM

Description du poste

HireHi ищет специалистов для разработки инфраструктуры инференса LLM в условиях высоких требований к доступности и скорости сервиса. Команда работает над снижением задержек на GPU, оптимизацией инференса и параллелизацией обучения и вывода моделей в продакшене.

Кандидат должен владеть C++, Python, CUDA и понимать архитектуру Transformer, будет работать с инструментами вроде vLLM и TensorRT-LLM. Привлекательны вечерние и международные проекты, развитие в области инфраструктуры инференса.