руководитель разработки юнита LLM Tech

Авито; United States; Remote; USD 180,000 - 240,000; Full time

Benefits offered by this job

Прозрачная премиальная система

Бюджет на обучение, книги, курсы и кур

ДМС со стоматологией и офисные удобств

Job summary

Авито ищет опытного руководителя направления GPU-инфраструктуры и оптимизации инференса для LLM. Ваша задача — развивать инфраструктуру, интегрировать внешние провайдеры и повысить производительность моделей.

Вы будете работать с DS UL, управлять несколькими командами через лидов и цели, обеспечивая SLA, стоимость токена и качество сервиса LLM Gateway.

Qualifications

• Экспертиза в GPU и инфраструктуре для LLM.
• Опыт работы с DS в области LLM и оптимизацией инференса.
• Понимание инференса, качества моделей и инфраструктуры.
• Умение управлять несколькими командами и работать через лидов и цели.
• Навыки объяснения сложных тем простым языком.

Responsibilities

• Отвечать за GPU-инфраструктуру для LLM — оборудование и утилизацию.
• Определять стратегию развития инференса LLM.
• Оптимизировать инференс и развивать LLM Gateway и RAG-платформы.
• Работать с стейкхолдерами уровня кластер-лидов и CEO.
• Контролировать ключевые метрики: стоимость токена, SLA и качество сервиса.

Skills

GPU экспертиза

Оптимизация инференса

Управление командами

Менеджмент по целям

DS и LLM знания

Job description

Описание

Команда обучает базовые LLM и внедряет их в бизнес-сценарии Авито. Она адаптирует модели с открытым исходным кодом под русский язык и доменную специфику, исследует методы обучения и развивает пайплайн для претрейна, дообучения и ускорения инференса, а также LLM Gateway.

Задачи

• Отвечать за GPU‑инфраструктуру для LLM — от оборудования до утилизации
• Определять и реализовывать стратегию развития инференса LLM
• Оптимизировать инференс LLM
• Определять стратегию использования внешних LLM‑провайдеров и развивать LLM Gateway
• Развивать платформы оценки качества, RAG и LLM Gateway
• Быть надёжным партнёром для DS UL
• Работать с ключевыми метриками: стоимость токена относительно размера модели, утилизация, SLA, удовлетворённость пользователей LLM Gateway и экономические показатели LLM

Требования

• Экспертиза в GPU
• Опыт работы с DS в области LLM и оптимизации инференса
• Понимание работы LLM, связанной инфраструктуры и оценки качества моделей
• Опыт оптимизации инференса LLM
• Опыт управления несколькими командами, системный подход к менеджменту и работа через лидов и цели
• Опыт ведения проектов для стейкхолдеров уровня кластер‑лидов и CEO
• Умение объяснять сложные технические темы понятным языком
• Понимание задач DS и умение договариваться с командами
• Умение оценивать ситуацию и решать проблемы до того, как они повлияют на результат

Условия

• Размер зарплаты обсудят на собеседовании
• Прозрачная система премий
• Бюджет на обучение, книги, курсы и конференции
• ДМС со стоматологией с первого дня, приём терапевта и массажиста в офисе
• Мощное оборудование и дополнительные мониторы
• Проект с многомиллионной аудиторией