инженер AI-платформы

Kept (Кэпт); United States; Hybrid; USD 120.000 - 180.000; Vollzeit

Zusammenfassung

Kept (Кэпт) ищет специалиста по AI/ML Platform, MLOps или DevOps для разработки и поддержки внутренней on-prem AI-платформы с GPU-инференсом, LLM-шлюзами и RAG в защищённом контура. Ваша работа включает развёртывание сервисов, RBAC, secrets management и инфраструктуру как код.

Требуется опыт работы с Docker, Kubernetes, Python и инструментами CI/CD; ожидается знание принципов безопасности и мониторинга производительности. Гибкий график, работа из офиса или удаленно.

Qualifikationen

• Требуется высшее техническое образование.
• Опыт работы в роли AI/ML Platform, MLOps или DevOps инженера от 3 лет.
• Уверенное понимание принципов работы LLM, RAG и векторных баз данных.
• Опыт развёртывания и эксплуатации сервисов: Docker и Kubernetes.
• Опыт развёртывания и эксплуатации моделей ML/LLM на серверных инференс-сервисах (vLLM и аналоги).
• Администрирование Linux и навыки работы с GPU (NVIDIA CUDA, VRAM).
• Уровень Python и скриптовых языков для автоматизации.
• Опыт построения CI/CD и управления конфигурациями (Ansible, Terraform, Helm).
• Понимание RBAC и secrets management; безопасность платформы.
• Производственная эксплуатация: мониторинг, evals, latency и throughput.

Aufgaben

• Установка, конфигурирование и развитие AI-платформ: веб-интерфейсы, LLM-шлюзы, оркестрация AI-workflow и среды разработки (CDE).
• Развёртывание и сопровождение сервисов: Docker, Kubernetes.
• Развёртывание и запуск моделей на сервисах инференса с учётом GPU; оптимизация и квантование.
• Обеспечение sandbox и безопасной изоляции моделей и агентов; конфигурационная безопасность.
• Автоматизация развёртывания и обновления, управление конфигурациями (IaC, CI/CD, GitOps).
• Мониторинг и диагностика: latency, throughput и стоимость инференса; наблюдаемость (evals).
• Развитие и продвижение использования AI-технологий, взаимодействие с командами разработки.

Kenntnisse

Python

Docker

Kubernetes

CI/CD

GitOps

RBAC

Linux

Terraform

Ansible

Helm

vLLM

Ausbildung

Высшее техническое образование

Tools

Terraform

Ansible

Helm

vLLM

Jobbeschreibung

Описание:

Мы развиваем внутреннюю on-prem AI-платформу, которой пользуется вся компания: собственный inference на GPU, LLM-шлюз, RAG и AI-агенты в защищённом контуре. Приоритет — собственная инфраструктура там, где это критично. Помимо собственных моделей, платформа обеспечивает безопасное использование внешних моделей; при этом работа с моделями и AI-агентами выполняется в изолированной песочнице (sandbox), ограничивающей доступ к файлам, сети и данным.

Задачи:

• Установка, конфигурирование и развитие AI-платформ: веб-интерфейсы для моделей, LLM-шлюзы, оркестрация AI-workflow и агентов, облачные среды разработки (CDE), RAG-платформы
• Развёртывание и сопровождение сервисов: контейнеризация (Docker) и оркестрация (Kubernetes)
• Развёртывание и запуск новых моделей на сервисах инференса (vLLM и аналогичные) с учётом возможностей GPU, включая оптимизацию и quantization
• Безопасные конфигурации (hardening, secure by design) и безопасность платформы: RBAC, secrets management, network policies, изоляция моделей, защита от prompt injection
• Обеспечение изолированного и безопасного выполнения моделей и AI-агентов (sandbox)
• Автоматизация развёртывания и обновления, управление конфигурациями (IaC, CI/CD, GitOps)
• Мониторинг, диагностика и оптимизация производительности; контроль latency, throughput и стоимости инференса
• Оценка качества моделей (evals) и наблюдаемость (observability)
• Развитие и продвижение использования AI-технологий в компании
• Контроль лицензий open-weight моделей и требований compliance
• Взаимодействие с командами разработки и инфраструктуры, подготовка документации
• Обучение и консультирование сотрудников по работе с AI-инструментами

Требования:

• Высшее образование (техническое)
• Опыт работы в роли AI/ML Platform, MLOps или DevOps инженера от 3 лет
• Уверенное понимание принципов работы LLM, RAG и векторных баз данных
• Опыт развёртывания и эксплуатации сервисов: контейнеризация (Docker) и оркестрация (Kubernetes)
• Опыт развёртывания и эксплуатации моделей машинного обучения/LLM на серверных сервисах инференса (vLLM, SGLang, TGI)
• Опыт администрирования Linux
• Навыки работы с GPU (NVIDIA CUDA, VRAM, оптимизация инференса)
• Уверенное владение Python и скриптовыми языками для автоматизации
• Опыт построения CI/CD и управления конфигурациями (Ansible, Terraform, Helm)
• Понимание принципов информационной безопасности и разграничения доступа (RBAC, secrets management)
• Опыт production-эксплуатации: мониторинг, evals, контроль latency, throughput и стоимости
• Аналитические навыки и навыки поиска и устранения неисправностей
• Английский язык на уровне Intermediate и выше
• Будет плюсом: Опыт работы с Open WebUI, LiteLLM, Langflow, RAGFlow, OpenHands и аналогичными; Опыт администрирования Windows Server; Опыт с локальными рантаймами инференса (Ollama, llama.cpp); Понимание MCP и agentic AI; Опыт мониторинга (Prometheus, Grafana) и логирования; Знание принципов fine-tuning и оценки качества моделей; Хорошие коммуникативные и презентационные навыки

Условия:

• Прозрачный карьерный рост: индивидуальный карьерный трек, программы коучинга и менторинга
• Возможность внести свой вклад в изменения бизнеса и расширить профессиональную экспертизу
• Команда профессионалов, которые поддерживают друг друга и работают на результат
• Гибкие начало и конец рабочего дня, возможность работать из офиса или из дома
• Корпоративное обучение: более 50 тренингов, доступ к изучению иностранных языков и электронной библиотеке
• Забота о сотрудниках: ДМС со стоматологией с первого месяца работы и скидка на ДМС для родственников, 5 оплачиваемых дней в году по болезни без оформления больничного, корпоративный спорт и мероприятия, скидки партнеров, программа психологического здоровья, комфортный и стильный офис
• Конкурентная заработная плата, бонусы по итогам финансового года и годовой оценки сотрудника, премии за интенсивную работу и выдающиеся результаты
• Официальное трудоустройство