Deep Learning/CUDA Engineer

HireHi; United States; Hybrid; USD 18,000 - 25,000; Full time

Benefits offered by this job

Годовая премия

Корпоративный спортзал и зоны отдыха

Расширенный ДМС

Ипотека по дисконтной программе

Образовательные программы СберУниверсС

Job summary

GigaChat ищет специалиста по инференсу для ускорения и масштабирования наших продовых архитектур. Ваша задача — оптимизировать мультимодальные модели, развертывать их на кластерах GPU и добиваться минимальных задержек на проде, применяя тензорный и пайплайновый параллелизм, а также современные техники квантования и кеширования.

Требуется глубокий опыт в DL/LLM, уверенное владение CUDA и Python, а также работа с GigaChat, Kandinsky и аналогами.

Qualifications

• Опыт работы в области глубокого обучения, включая LLM.
• Глубокие знания CUDA и Python.
• Опыт использования GigaChat, Kandinsky и аналогов в продуктах.
• Навыки создания и использования AI-агентов.

Responsibilities

• Обеспечивать быструю работу архитектур GigaChat на проде.
• Ускорять модели через кастомные CUDA-ядра и квантование.
• Распределять большие модели по GPU и кластеру с параллелизмом.
• Профилировать задержки в ядре, памяти, сети и планировщике.
• Поддерживать устойчивость движка под нагрузкой.
• Изучать статьи и код vLLM, SGLang и TensorRT-LLM и улучшать решения.

Skills

CUDA

Python

LLM

AI-агенты

Tools

GigaChat

Kandinsky

TensorRT-LLM

Job description

Описание

Команда инференса GigaChat разрабатывает движок, через который проходят ответы модели пользователям. Команда ускоряет работу собственных архитектур и мультимодальных моделей на проде.

Задачи

• Обеспечивать быструю работу новых архитектур GigaChat, включая мультимодальные, на проде
• Ускорять модели с помощью кастомных CUDA-ядер, квантизации, speculative decoding, оптимизаций KV-cache и continuous batching
• Распределять большие модели по GPU и кластеру с помощью тензорного и пайплайн-параллелизма, disaggregated prefill/decode и планирования запросов
• Профилировать работу моделей, находить и устранять задержки в ядре, раскладке памяти, сети и планировщике
• Поддерживать стабильную работу движка под нагрузкой
• Изучать статьи и код vLLM, SGLang и TensorRT-LLM и улучшать собственные решения с учётом архитектур GigaChat.

Требования

• Опыт работы в области глубокого обучения, в том числе с LLM
• Глубокое знание CUDA и Python
• Опыт использования GigaChat, Kandinsky и аналогов в продуктах
• Навыки создания и использования AI-агентов.

Условия

• Возможность выбрать офисный, гибридный или удалённый формат работы в РФ
• Годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Ипотека для сотрудников по дисконтной программе
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров
• Вознаграждение за рекомендации друзей в команду Сбера.