ML-разработчик LLM-инференса

Контур; United States; Ibrido; USD 120.000 - 190.000; Tempo pieno

Vantaggi offerti da questo lavoro

Удаленная работа

Гибридная работа

Современная инфраструктура

Descrizione del lavoro

Контур — экосистема для бизнеса. Наши сервисы помогают компаниям России упрощать бухгалтерию, сдавать отчеты и обмениваться документами.

Мы ищем инженера по инфраструктуре LLM-инференса, чтобы обеспечить стабильную работу моделей в production и развивать масштабируемые сервисы. Вы будете работать над пакетной обработкой запросов, KV-cache, prefill и decode, исследовать ускорение на GPU, профилировать производительность и поддерживать мониторинг.

Competenze

• Практический опыт развертывания LLM-сервисов в production.
• Глубокое понимание архитектуры LLM-инференса и принципов работы систем вывода.
• Опыт работы с vLLM, PagedAttention, continuous batching и KV-cache.
• Навыки Python, PyTorch, Linux, Docker и Kubernetes; профилирование производительности.

Mansioni

• Развивать инфраструктуру LLM-инференса и обеспечивать стабильную работу в production.
• Оптимизировать вывод, работать с пакетной обработкой запросов и KV-cache.
• Исследовать GPU-ускорение, prefill и decode, снижать задержки и увеличивать пропускную способность.
• Разрабатывать мониторинг и инструменты наблюдаемости для LLM-сервисов.
• Взаимодействовать с продуктовыми и инфраструктурными командами для решения задач по надежности.

Conoscenze

LLM инференс

Python

PyTorch

Linux

Docker

Kubernetes

GPU-оптимизация

Profiling/Benchmarking

Strumenti

GPU-ускорение

NVIDIA Nsight

Descrizione del lavoro

Описание: Контур — экосистема для бизнеса. Наши сервисы помогают каждой третьей компании России делать рабочие процессы проще и эффективнее: вести бухгалтерию, сдавать отчетность в госорганы, обмениваться документами без бумаги, общаться друг с другом на удаленке и многое другое. С нами жизнь 3,1 миллионов предпринимателей и их сотрудников становится легче.

Задачи:

Развивать инфраструктуру LLM-инференса, обеспечивать стабильную и быструю работу моделей в production. Оптимизировать производительность вывода, работать с пакетной обработкой запросов, KV-cache, prefill и decode, а также с механизмами ускорения генерации. Исследовать и внедрять способы эффективного использования GPU, снижения задержек и увеличения пропускной способности сервисов. Профилировать и тестировать производительность моделей, находить узкие места и оценивать эффективность технических решений. Развивать мониторинг и инструменты наблюдаемости, обеспечивать надежную работу LLM-сервисов под нагрузкой. Взаимодействовать с продуктовыми и инфраструктурными командами, помогать находить решения для производительности и стабильности LLM API.

Требования:

Практический опыт развертывания и эксплуатации LLM-сервисов в production. Глубокое понимание архитектуры LLM-инференса и принципов работы современных систем вывода. Опыт работы с vLLM и понимание механизмов PagedAttention, continuous batching, prefix caching и KV-cache. Знание подходов к оптимизации инференса, включая квантизацию, speculative decoding, управление prefill и decode, а также вычислительными ресурсами. Понимание особенностей работы LLM на GPU, умение анализировать производительность, задержки и использование памяти. Уверенные навыки работы с Python, PyTorch, Linux, Docker и Kubernetes. Опыт профилирования и бенчмаркинга LLM-инференса, понимание метрик TTFT, TPOT и пропускной способности. Умение самостоятельно разбираться в сложных технических проблемах, находить причины снижения производительности и предлагать решения. Готовность участвовать в поддержке production-сервисов и работать с требованиями к их надежности.

Будет плюсом:

• Опыт работы с SGLang, TensorRT-LLM или Triton Inference Server
• Опыт разработки CUDA- и Triton-ядер, а также использования NVIDIA Nsight
• Опыт распределенного инференса, включая tensor, pipeline и expert parallelism
• Опыт работы с Mixture of Experts и MoE, а также с моделями с длинным контекстом
• Участие в open source проектах vLLM, LMCache, SGLang или аналогичных

Условия:

• Уровень дохода, который зависит от ваших технических знаний и навыков. Регулярно пересматриваем зарплаты с учетом профессионального роста. Финансовые бонусы тоже есть.
• Заботу о вашем комфорте. Можете работать удаленно, гибридно или в офисе, в любом случае предоставим технику и все необходимое.
• Если вам по душе работать из офиса — обеспечим удобным местом, зонами отдыха, кухней с полезными перекусами.
• Сильное инженерное комьюнити.
• Регулярно проводим внутренние технические конференции, обмениваемся опытом между командами.
• Вы всегда найдете, с кем посоветоваться.
• Возможность сменить продукт, команду или предметную область внутри компании.
• Поддерживаем развитие в любом направлении.
• Общение на «ты» и максимум горизонтальных связей в коллективе, чтобы быстрее договариваться и решать рабочие задачи.
• Возможность делиться экспертизой. Помогаем выступать на конференциях, участвовать в подкастах или видео, писать статьи.
• Поддержку профессионального развития. Организуем внутреннее и внешнее обучение.