MLOps

Битрикс24; United States; Hybrid; USD 140,000 - 200,000; Full time

Job summary

Битрикс24 ищет инженера по инфраструктуре AI Platform для проектирования, развёртывания и оптимизации платформы инференса больших языковых моделей. Вы будете работать с vLLM/Triton, GPU-кластерами и observability-стеком, чтобы обеспечить скорость, стабильность и экономичность работы моделей.

Основные задачи включают разработку и эксплуатацию инфраструкуры, настройку мониторинга и алертинга, а также сотрудничество с командами DevOps и Data Science для улучшения архитектуры сервисов.

Qualifications

• Опыт эксплуатации ML/LLM-сервисов в продакшене.
• Практический опыт контейнеризации и оркестрации (Docker).
• Умение писать сервисы на Python и автоматизацию.
• Понимание архитектуры современных LLM и параметров влияющих на latency.
• Настройка мониторинга и логирования в production (Prometheus, Grafana, ELK, Sentry).
• Навыки оптимизации производительности сервисов.
• Плюсом: опыт с vLLM и SGLang; GPU-инфраструктура (CUDA).
• Знание безопасной разработки веб-сервисов.

Responsibilities

• Развитие и эксплуатация инфраструктуры инференса LLM, включая BitrixGPT.
• Настройка GPU-кластеров и capacity planning.
• Профилирование и отладка сервисов инференса для снижения latency и повышения throughput.
• Настройка observability и алертинга; разработка дашбордов для мониторинга доступности и стоимости инференса.
• Участие в разработке и улучшении платформенных процессов; ревью архитектуры сервисов.

Skills

Python разработка

Производительность/оптимизация

Мониторинг и observability

Командная работа

Tools

Docker

Prometheus

Grafana

ELK-стек

Sentry

CUDA

vLLM

Triton Inference Server

Job description

Описание

AI Platform Team отвечает за всю инфраструктуру AI: от исследований моделей до их продакшн-запуска. Наша задача — дать продуктам надёжный и эффективный доступ к LLM. Строить отказоустойчивые системы, которые держат нагрузку. Мы ищем инженера, который будет проектировать, разворачивать и оптимизировать платформу для инференса больших языковых моделей. Работать с vLLM/Triton, GPU-кластерами, observability-стеком, чтобы модели работали быстро, стабильно и экономично.

Задачи

• Развитие и эксплуатация инфраструктуры для инференса LLM, включая BitrixGPT, локальные и облачные модели внедрение стеков для эффективного обслуживания LLM, таких как vLLM, Nvidia Triton Inference Server и их аналогов оптимизация схем распределения нагрузки, батчинга и стриминга токенов
• Настройка, эксплуатация и оптимизация GPU-кластеров для инференса управление ресурсами, планирование загрузки (capacity planning), снижение стоимости владения
• Профилирование и отладка сервисов инференса поиск и устранение узких мест, влияющих на задержки (latency) и пропускную способность (throughput)
• Настройка наблюдаемости (observability) AI-стека сбор метрик, логирование, трассировка и алертинг (Prometheus, Grafana и других инструментов разработка дашбордов для мониторинга доступности, задержек, ошибок и стоимости инференса
• Участие в разработке и улучшении платформенных процессов совместная работа с командами разработки и data science ревью архитектуры и сервисов, обмен экспертизой на внутренних митапах

Требования

• Продовый опыт эксплуатации ML-/LLM-сервисов.
• Практический опыт работы с контейнеризацией и оркестрацией (Docker).
• Владение Python для разработки сервисов, утилит, оркестрации и автоматизации.
• Понимание устройства современных LLM: архитектура трансформеров, токенизация, контекстное окно, влияние параметров (batch size, KV-cache) на latency и throughput.
• Опыт настройки мониторинга и логирования в production (Prometheus, Grafana, ELK-стек, Sentry или аналоги).
• Навыки анализа и оптимизации производительности сервисов: профилирование, поиск и устранение узких мест.
• Готовность отстаивать своё мнение и предлагать улучшения для достижения наилучшего результата.
• Будет плюсом: Практический опыт работы с vLLM и/или SGLang;
• Опыт работы с GPU-инфраструктурой: CUDA, мониторинг и тюнинг GPU-нагрузки;
• Знание принципов безопасной разработки и эксплуатации веб-сервисов

Условия

• Полная занятость с возможностью удаленной работы или работы в комфортном офисе в Москве/Калининграде
• Уникальная возможность влиять на пользовательский опыт миллионов компаний по всему миру
• Работа в компании, где принятие решений основано на данных и аналитике
• Конкурентоспособная заработная плата, оформление по ТКРФ
• Программы профессионального развития и обучения
• ДМС со стоматологией после трех месяцев работы
• Сервис психологической поддержки ЯСНО и онлайн-платформа для спорта
• Корпоративная культура, направленная на заботу о сотрудниках и их благополучии.