devops инженер для инфраструктуры ML/AI

NDA; United States; Remote; USD 22,000 - 37,000; Full time

Job summary

NDA ищет инженера DevOps для развёртывания и эксплуатации инфраструктуры на базе Kubernetes с поддержкой GPU для ML/AI проектов. Ваша работа будет включать настройку CI/CD, управление GPU-ресурсами и сетевой инфраструктурой, мониторинг и оптимизацию производительности.

Требуются знания Kubernetes, Docker, Helm, Prometheus, Grafana и GitLab CI/CD; опыт работы с NVIDIA GPU и CUDA является преимуществом. Удалённая работа по РФ.

Qualifications

• Опыт работы с Linux (Ubuntu Server) и контейнеризацией Docker.

Responsibilities

• Развёртывать и управлять кластерами Kubernetes на bare metal.
• Настраивать и оптимизировать контейнеризацию Docker.
• Конфигурировать конвейеры GitLab CI/CD.
• Управлять ресурсами NVIDIA GPU и инфраструктурой CUDA.
• Развёртывать и поддерживать решения для вывода моделей ML, включая vLLM, Ollama и Triton Inference Server.
• Мониторить инфраструктуру с Prometheus и Grafana.
• Настраивать сетевые сервисы, TLS и DNS.
• Управлять развёртываниями с помощью Helm.
• Управлять GitLab Container Registry.

Skills

Linux

Kubernetes

Docker

GitLab CI/CD

Prometheus

Grafana

TLS

DNS

Tools

Ubuntu Server

NVIDIA GPU

CUDA

NVIDIA Container Toolkit

Kubernetes NVIDIA Device Plugin

Helm

GitLab Container Registry

Job description

Описание

Проект связан с развёртыванием и эксплуатацией инфраструктуры на базе Kubernetes с поддержкой GPU для рабочих нагрузок ML/AI.

Задачи

Развёртывать и управлять кластерами Kubernetes на bare metal Настраивать и оптимизировать контейнеризацию Docker Конфигурировать конвейеры GitLab CI/CD Управлять ресурсами NVIDIA GPU и инфраструктурой CUDA Развёртывать и поддерживать решения для вывода моделей ML, включая vLLM, Ollama и Triton Inference Server Мониторить инфраструктуру с Prometheus и Grafana Настраивать сетевые сервисы, TLS и DNS Управлять развёртываниями с помощью Helm Управлять GitLab Container Registry

Требования

Знание Linux (Ubuntu Server), Docker, Kubernetes, Helm, GitLab CI/CD и GitLab Container Registry Знание NVIDIA GPU, CUDA, NVIDIA Container Toolkit и Kubernetes NVIDIA Device Plugin Знание Prometheus, Grafana, сетевых технологий, TLS и DNS Будет плюсом: опыт эксплуатации GPU-серверов для AI/ML, развёртывания vLLM, Ollama, Triton Inference Server или аналогичных решений, понимание CUDA, VRAM, tensor parallelism и ограничений GPU, опыт работы с Kubernetes на bare metal, настройки NVIDIA DCGM Exporter, работы с Langfuse, подготовки инфраструктуры по требованиям GDPR, организации воспроизводимых развёртываний и переноса приложений между облачной и локальной инфраструктурой

Условия

Удалённая работа по РФ Гражданство РФ