бэкенд-разработчик для LLM Gateway

Авито; United States; Remote; USD 140,000 - 200,000; Full time

Benefits offered by this job

ДМС

Страхование жизни

Психологическая поддержка

Корпоративный спорт

Скидки Авито

Job summary

Авито ищет инженера по ML и инфраструктуре для развития LLM Gateway — единой точки доступа к языковым моделям внутри Авито. Вы будете управлять доступами, бюджетами и мониторингом, обеспечивая безопасное и эффективное использование моделей.

Требуются опытный разработчик с знаниями Python или Go, MLOps/LLMOps и пониманием принципов LLM. Уdarные задачи включают мониторинг SLA, настройку алёртов и взаимодействие с DS-инженерами.

Qualifications

• Опыт программирования на Python или Go.
• Опыт в MLOps или LLMOps: развертывание и автоматизация ML-LLM инфраструктуры.
• Понимание принципов работы LLM: prefill/decode, KV-cache, TTFT.

Responsibilities

• Развивать LLM Gateway для Авито и упрощать создание продуктов с LLM.
• Автоматизация выдачи и настройку доступов к моделям.
• Расчет стоимости LLM-вызова и настройка бюджетных лимитов для клиентов и приоритетов.

Skills

Python

Go

MLOps

LLMOps

Tools

Kubernetes

GPU

ClickHouse

Trino

Job description

Описание

Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене.

Задачи

развивать платформу LLM Gateway для всего Авито, чтобы создавать продукты с LLM было быстро и удобно автоматизировать выдачу и настройку доступов к моделям рассчитывать стоимость LLM‑вызова настраивать бюджетные лимиты для клиентов и приоритеты развивать динамическую балансировку трафика между LLM‑моделями определять SLA платформы и методику его расчёта настраивать мониторинг и алёрты поддерживать выполнение SLA автоматизировать развёртывание моделей открывать доступ к моделям для пользователей в инфраструктуре Авито взаимодействовать с DS‑инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии

Требования

лидировали крупные стримы с высокой степенью неопределённости собирали требования планировали работу декомпозировали задачи отвечали за реализацию и мониторинг результатов поддерживали критическую высоконагруженную инфраструктуру настраивали мониторинг и алёрты участвовали в дежурствах 24/7 программируете на Python или Go от 5 лет имеете опыт в MLOps или LLMOps: поднимали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями понимаете базовые принципы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT

Будет плюсом:

• работали с LLM API и LLM Gateway или аналогичными решениями, например LiteLLM
• создавали внутренние платформенные решения
• работали с системами мониторинга LLM, например Langfuse или Opik
• создавали и поддерживали административные интерфейсы для внутренних пользователей
• работали с Kubernetes и GPU
• работали с DWH, например ClickHouse или Trino

Условия

расширенная забота о здоровье: ДМС, страхование жизни, онкострахование сервис психологической поддержки, а также финансовые, юридические и ЗОЖ‑консультации для вас и ваших близких корпоративный спорт: групповые тренировки, велбиинг‑приложение спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование компенсация питания