MLOps-инженер для инференса LLM

Miractal; United States; Remote; USD 120,000 - 160,000; Full time

Benefits offered by this job

Удалённый формат работы

Мощный рабочий ноутбук

100% компенсация больничных

Скидка на изучение английского языка

Job summary

Miractal ищет специалиста по развёртыванию и поддержке серверов инференса в удалённом формате. В задачи войдут развёртывание на GPU-узле, настройка режимов под нагрузку и обеспечение безопасности доступа в корпоративной сети.

Требуется опыт работы с vLLM/SGLang и мониторингом производительности, а также умение организовать обновление моделей в закрытом контуре. График 5/2, мощный ноутбук и компенсация больничных.

Qualifications

• Практика вывода моделей в промышленную эксплуатацию (не на ноутбуке)
• Уверенное владение Linux, Docker, GPU NVIDIA (драйверы, CUDA)
• Опыт мониторинга и отладки производительности инференса
• Опыт работы с инфраструктурой как код и артефактами
• Знания по квантизации, батчингу и кэшированию контекста
• Опыт работы в закрытом контуре без внешних сервисов
• Понимание экономики вычислительных ресурсов

Responsibilities

• Развернуть и настроить сервер инференса на GPU-узле
• Подобрать режим работы под нагрузку: квантование, размер батча, контекст
• Снять реальные показатели пропускной способности и задержки
• Настроить единый шлюз LiteLLM и ограничение доступа
• Обеспечить мониторинг (Prometheus, Grafana) и оповещения
• Организовать процедуру обновления моделей в закрытом контуре
• Провести дежурство по сервису и разбор инцидентов
• Подобрать и проверить открытые модели под задачи компании
• Настроить окружение для разработчиков и тестирования

Skills

Python-автоматизация

Мониторинг производительности

Linux

GPU NVIDIA

Tools

vLLM

SGLang

TensorRT-LLM

Job description

Описание

Описания нет

Задачи

• Развернуть и настроить сервер инференса (vLLM, при необходимости SGLang) на GPU-узле
• Подобрать режим работы под нагрузку: квантизация, размер батча, длина контекста, распределение моделей по картам, реплики под конкурентность
• Снять реальные показатели: пропускная способность, задержка, поведение под пиковой нагрузкой, давление кэша контекста
• Поднять единый шлюз (LiteLLM): вход через корпоративную аутентификацию, разграничение прав по командам, квоты, журналирование, защитные фильтры (вырезание секретов и персональных данных)
• Обеспечить единственную точку входа: сервер инференса не виден клиентам напрямую, доступ только из корпоративной сети
• Мониторинг и оповещения: загрузка карт, память, очереди, задержки, ошибки (Prometheus, Grafana)
• Процедура обновления моделей в закрытом контуре: подготовка в отдельной зоне, проверка подписей и контрольных сумм, перенос, внутренний реестр, выкатка с возможностью отката
• Дежурство по сервису, разбор инцидентов, ёмкостное планирование
• Отбор и проверка открытых моделей под наши задачи: чат и агент, автодополнение, работа с кодом. Сравнение кандидатов на нашем стенде, а не по публичным таблицам
• Проверка лицензий на право коммерческого использования внутри компании
• Замер полезности: доля принятых подсказок, время на правки, обратная связь команд
• Настройка клиентов в средах разработки (Continue, Cline, Tabby, терминальные инструменты) и браузерного интерфейса для ролей, работающих без среды разработки: тестирование, аналитика, управление проектами
• Подбор моделей и настроек под сценарии разных ролей, инструкции, помощь командам на старте
• Обучающие материалы и кооткие занятия при выходе на все команды
• Слой извлечения над репозиториями кода, затем над внутренней документацией и трекером задач
• Конвейер загрузки: разбор документов, разбиение, локальная модель эмбеддингов, векторное хранилище, инкрементальное обновление
• Соблюдение прав доступа при выдаче: человек не должен получить через ассистента документ, который ему не положено видеть
• Вырезание секретов и персональных данных при загрузке

Требования

• Опыт вывода моделей в промышленную эксплуатацию: не «запускал на ноутбуке», а работающий сервис с пользователями и дежурством
• Практика с современными серверами инференса (vLLM, SGLang, TensorRT-LLM или аналоги), понимание непрерывного батчинга, работы с кэшем контекста, квантизации
• Уверенный Linux, Docker, работа с GPU NVIDIA (драйверы, CUDA, распределение ресурсов, диагностика)
• Инфраструктура как код и автоматизация выкаток, работа с внутренними реестрами артефактов
• Мониторинг и разбор проблем производительности: умение находить узкое место и подтверждать выводы измерениями
• Python на уровне уверенной автоматизации и работы с библиотеками инференса
• Готовность работать в закрытом контуре: без внешних сервисов, с процедурами переноса и проверкой целостности
• Понимание экономики железа: расчёт ёмкости, обоснование закупки, выбор между наращиванием реплик и более крупным узлом
• Опыт эксплуатации в регулируемой среде (финансы, платежи): аудит, разграничение доступа, требования к журналированию
• Знакомство с инструментами разработчика на стороне клиента и умение объяснить их коллегам
• Будет плюсом: Опыт построения слоя извлечения знаний с учётом прав доступа будет преимуществом

Условия

• Конкурентная заработная плата — обсудим по итогам интервью
• Удаленный формат работы
• График 5/2: с 09:00 до 18:00 или с 10:00 до 19:00
• Предоставляем мощный рабочий ноутбук
• 100% компенсация больничных
• Скидка на изучение английского языка в Skyeng