Staff ML Engineer: Real-Time Inference & Systems (Remote)

Cavendish Professionals; United States; Remote; USD 180,000 - 240,000; Full time

Job summary

Компания Cavendish Professionals ищет исключительного Staff/Principal ML Engineer для ведения полной технической собственности над инференсом и оптимизацией; проектирует и разворачивает решения на GPU-инфраструктуре.

Работа 100% удаленно, международная коммуникация; требуется опыт работы с Ray, Kubernetes, Docker, vLLM и TensorRT-LLM; владение C++, Python, Rust; оканчивается на международном уровне.

Qualifications

• Опыт разработки и оптимизации ML-систем на продакшн-платформе.
• Опыт работы с Kubernetes, Docker и Ray.
• Глубокие знания CUDA и GPU-архитектур.

Responsibilities

• Полная техническая ответственность за lifecycle сервинга и инференса.
• Контейнеризация моделей для продакшн.
• Оптимизация latency и высокой пропускной способности.
• Работа с распределенными инференс-платформами на GPU кластерах.
• Наставничество и межфункциональное сотрудничество.

Skills

C++

Python

Rust

GPU optimization

Distributed systems

CUDA

Kubernetes

Ray

vLLM

TensorRT-LLM

Tools

Docker

NVIDIA CUDA

TensorRT

Job description

Компания Cavendish Professionals ищет исключительного Staff/Principal ML Engineer для ведения полной технической собственности над инференсом и оптимизацией; проектирует и разворачивает решения на GPU-инфраструктуре.

Работа 100% удаленно, международная коммуникация; требуется опыт работы с Ray, Kubernetes, Docker, vLLM и TensorRT-LLM; владение C++, Python, Rust; оканчивается на международном уровне.