Разработчик инференса LLM

Авито; United States; Remote; USD 150,000 - 230,000; Full time

Benefits offered by this job

Здравоохранение и страхование

Корпоративный спорт

Скидки Авито для сервисов и покупки

Компенсация питания

Технологическая свобода

Обучение и менторство

Job summary

Авито ищет инженера по инференсу LLM в США, чтобы развивать направление оптимизации инференса на GPU и повышать эффективность использования оборудования в соответствии с нагрузкой и метриками производительности.

Вы будете проводить нагрузочное тестирование моделей, развивать методику оценки производительности и внедрять новые инференс-решения в продакшен, работая с командами инфраструктуры и платформы инференса.

Qualifications

• Оптимизация LLM-моделей с учётом профиля нагрузки.
• Работа с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими.
• Запуск и настройка инференса, выбор параметров.
• Знание устройства и методов оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация.
• Понимание принципов работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU.
• Профилирование GPU и мониторинг инструментами.
• Проведение нагрузочного тестирования и бенчмаркинг: latency, throughput и др.
• Сравнение результатов и выводы по улучшениям.
• Опыт работы с Docker, Kubernetes, Prometheus, Grafana.

Responsibilities

• Проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под сценарии использования.
• Развивать методику оценки производительности LLM на оборудовании: бенчмарки, инструменты и мониторинг.
• Регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов.
• Тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса.
• Масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс.
• Доводить изменения до продакшена по циклу: профилировать, оптимизировать, тестировать, внедрять.
• При подтверждённых метриках запускать LLM-модели с использованием платформы инференса.

Skills

LLM оптимизация

LLM инференс

Docker Kubernetes

GPU архитектура

Мониторинг GPU

Бенчмаркинг

Prefill/Decode

KV-кеш

Профилировка

Prometheus Grafana

Education

CUDA кернелы

SIMT архитектура GPU

Tools

vLLM

SGLang

TensorRT-LLM

TensorRT

Docker

Kubernetes

Prometheus

Grafana

Job description

Описание

О команде: Наша команда развивает направление оптимизации инференса LLM на GPU Авито. Мы повышаем эффективность использования оборудования и помогаем продуктовым командам запускать модели с учётом профиля нагрузки, качества и метрик производительности.

Задачи

проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках запускать LLM-модели с использованием платформы инференса

Требования

• оптимизировали LLM-модели с учётом профиля нагрузки
• работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими
• запускали и настраивали их, подбирали параметры
• знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация
• знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU
• профилировали GPU и работали с инструментами для мониторинга
• проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, throughput, и тд
• умеете корректно сравнивать результаты и делать выводы
• работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana
• готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам

Будет плюсом

• писали или оптимизировали CUDA-кернелы
• понимаете SIMT и архитектуру GPU NVIDIA
• внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс
• работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами
• знаете C++ или Go
• следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике

Условия

• расширенная забота о здоровье: ДМС, страхование жизни, онкострахование сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких
• корпоративный спорт: групповые тренировки, велбиинг-приложение
• спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование
• компенсация питания
• инженерная свобода для реализации масштабных задач
• продуктивный подход к инфраструктуре, который базируется на метриках
• сильное инженерное комьюнити, готовое поддержать и поделиться опытом
• эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом