GPU Compute Infrastructure Architect

Kraken; United States; Remote; USD 150,000 - 230,000; Full time

Job summary

Kraken ищет инженера инфраструктуры для команды AI Compute и Infrastructure. Вы будете управлять GPU-кучами и ускорителями, отвечать за драйверы, рантаймы и конфигурацию нод, а также за планирование ресурсов и мониторинг.

Ваша работа будет направлена на проектирование локального выполнения моделей, снижение зависимости от внешних провайдеров и оптимизацию расходов на вычисления, обеспечивая высокую доступность сервисов и быструю отдачу для исследователей и инженеров.

Qualifications

• 5+ лет опыта в инфраструктурной инженерии, GPU-вычислениях или крупных производственных платформах
• Опыт эксплуатации GPU-кластеров в продуктивной среде, включая планирование и мониторинг использования
• Сильные навыки системного программирования и отладки в Linux, сетях, контейнерах и Kubernetes
• Опыт работы с ML-серверами (vLLM, Triton, TensorRT и т.д.)
• Знание Python для автоматизации инфраструктуры и рабочих процессов
• Понимание компромиссов по производительности, памяти, задержке и стоимости

Responsibilities

• Управление и эксплуатация GPU-куч и ускорителей для обучения и вывода моделей
• Проектирование инфраструктуры для локального выполнения моделей
• Разработка планирования, оркестрации и квотирования в рамках гибридной среды
• Оптимизация конвейеров вывода для задержки, пропускной способности и затрат
• Сотрудничество с ML-инженерами для устранения узких мест
• Обеспечение наблюдаемости: метрики, логи, дашборды и инцидент-работы
• Повышение надежности, реагирование на инциденты и пост-фактум анализ
• Оценка и интеграция нового оборудования и сервисов
• Разработка инструментов управления использованием GPU и затратами

Skills

GPU compute

Linux

Kubernetes

Python

Performance optimization

Observability

Cost optimization

Distributed systems

ML serving frameworks

Tools

Kubernetes

vLLM

Triton Inference Server

TensorRT

TorchServe

KServe

Ray Serve

Cuda / driver debugging

Job description

Kraken ищет инженера инфраструктуры для команды AI Compute и Infrastructure. Вы будете управлять GPU-кучами и ускорителями, отвечать за драйверы, рантаймы и конфигурацию нод, а также за планирование ресурсов и мониторинг.

Ваша работа будет направлена на проектирование локального выполнения моделей, снижение зависимости от внешних провайдеров и оптимизацию расходов на вычисления, обеспечивая высокую доступность сервисов и быструю отдачу для исследователей и инженеров.