Deep Learning & CUDA Engineer - LLM Inference

HireHi; United States; Hybrid; USD 18,000 - 25,000; Full time

Benefits offered by this job

Годовая премия

Корпоративный спортзал и зоны отдыха

Расширенный ДМС

Ипотека по дисконтной программе

Образовательные программы СберУниверсС

Job summary

GigaChat ищет специалиста по инференсу для ускорения и масштабирования наших продовых архитектур. Ваша задача — оптимизировать мультимодальные модели, развертывать их на кластерах GPU и добиваться минимальных задержек на проде, применяя тензорный и пайплайновый параллелизм, а также современные техники квантования и кеширования.

Требуется глубокий опыт в DL/LLM, уверенное владение CUDA и Python, а также работа с GigaChat, Kandinsky и аналогами.

Qualifications

• Опыт работы в области глубокого обучения, включая LLM.
• Глубокие знания CUDA и Python.
• Опыт использования GigaChat, Kandinsky и аналогов в продуктах.
• Навыки создания и использования AI-агентов.

Responsibilities

• Обеспечивать быструю работу архитектур GigaChat на проде.
• Ускорять модели через кастомные CUDA-ядра и квантование.
• Распределять большие модели по GPU и кластеру с параллелизмом.
• Профилировать задержки в ядре, памяти, сети и планировщике.
• Поддерживать устойчивость движка под нагрузкой.
• Изучать статьи и код vLLM, SGLang и TensorRT-LLM и улучшать решения.

Skills

CUDA

Python

LLM

AI-агенты

Tools

GigaChat

Kandinsky

TensorRT-LLM

Job description

GigaChat ищет специалиста по инференсу для ускорения и масштабирования наших продовых архитектур. Ваша задача — оптимизировать мультимодальные модели, развертывать их на кластерах GPU и добиваться минимальных задержек на проде, применяя тензорный и пайплайновый параллелизм, а также современные техники квантования и кеширования.

Требуется глубокий опыт в DL/LLM, уверенное владение CUDA и Python, а также работа с GigaChat, Kandinsky и аналогами.