SRE: Scalable Inference Platform for GPU AI Deployments

Nebius Group

United States

Remote

USD 120,000 - 180,000

Full time

2 days ago

Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Competitive compensation

Career growth

Flexibility and ownership

Collaborative culture

Impactful AI projects

International environment

Job summary

Nebius Group ищет инженера инфраструктуры для обеспечения надёжности и производительности нашего инференс-стека в условиях больших нагрузок. Ваша роль — проектировать и поддерживать системы мониторинга, делать так, чтобы сервисы восстанавливливались автоматически и масштабировались под GPU-требования.

Требуется экспертиза в Kubernetes, Prometheus, Grafana и Terraform, опыт с IaC, а также умение писать на Python или Bash и работать над SLA задачи.

Qualifications

Опыт работы с продакшн-системами на распределённых бэкэндах и управление ими.
Навыки проектирования систем мониторинга, трассировки и алертов.
Опыт работы с IaC и инфраструктурой как код.

Responsibilities

Обеспечение надёжности, производительности и наблюдаемости всей инферент-стека.
Проектирование и refinement телеметрических пайплайнов — метрики, логи, трассировки.
Настройка авто масштабирования Kubernetes для эффективного использования GPU.
Написание Terraform-модулей для устойчивости кластера.
Укрепление маршрутизации запросов и обработки сбоев, чтобы пользователи не замечали проблем.
Использование автоматизации и runbooks для быстрого обнаружения и устранения инцидентов.
Содействие культуре после инцидентов для предотвращения повторений.
Обеспечение масштабирования платформы при достижении целей по надёжности и затратам.