Senior MLOps Architect for GPU Inference Platform

Shadow; Paris; Hybride; EUR 90 000 - 130 000; Plein temps

Résumé du poste

Shadow recherche un Senior MLOps Engineer pour construire et opérer les plateformes d’inférence GPU. Vous garantissez fiabilité et performance des systèmes de mise en production, avec un focus sur l’échelle et l’observabilité dans un contexte multi‑tenant.

Le rôle est hands-on et impactant: conception, implémentation et amélioration continue des bases MLOps, tout en mentorant les contributeurs et en influençant les choix d’architecture avec le Head of PaaS.

Qualifications

• Expertise confirmée du serving et frameworks d’inférence AI (vLLM, TensorRT-LLM, Triton, TGI).
• Expérience MLOps/SRE : CI/CD de modèles, registre de modèles, déploiement et production à grande échelle.
• Maîtrise des environnements GPU (CUDA, scheduling, multi-tenancy, MIG/vGPU).
• Maîtrise Kubernetes et conteneurs; connaissance de QEMU/KVM et virtualisation.
• Connaissance de l’Infrastructure as Code et GitOps (Terraform, Ansible, ArgoCD).
• Observation et logging (Prometheus, Grafana, tracing, logging) et définition de SLO/SLA.
• Maîtrise Python; connaissances en Go, Rust ou C++ appréciées.
• Capacité à coder, déboguer, profiler et livrer hands-on.
• Connaissance du marché de l’inférence managée et produits concurrents.
• Ownership fort et capacité à assurer la fiabilité de bout en bout.
• Esprit produit: prioriser, trancher et faire le pont entre engineering et business.
• Capacité à articuler une réflexion technique et débattre lors de décisions collectives.
• Capacité à définir des standards techniques et influencer les choix d’architecture.
• Mentorait et accompagne la montée en maturité de l’équipe.
• Autonome, proactif et orienté solutions.
• À l’aise dans un contexte bootstrap: passer du code à la stratégie dans la même journée.
• Bonne communication orale et écrite.
• Bonne collaboration avec les autres équipes en position de facilitateur.

Responsabilités

• Concevoir, implémenter et opérer les pipelines de déploiement et serving des modèles.
• Construire et exploiter le moteur de spot inference valorisant la capacité GPU non-utilisée en heures creuses.
• Mettre en place l’observabilité, le monitoring et l’alerting (latence, débit, saturation GPU, SLO/SLA).
• Optimiser l’efficience GPU : autoscaling, packing, scheduling et multi-tenancy.
• Automatiser le provisioning et la configuration de l’infrastructure (IaC, GitOps).
• Assurer le maintien en condition opérationnel (MCO), la gestion des incidents et l’amélioration continue de la fiabilité (SRE).
• Définir les standards MLOps, mentorerez les contributeurs et diffuserez les bonnes pratiques.
• Collaborer étroitement avec les équipes Foundations, Engine, Produit et Business pour livrer la roadmap.

Connaissances

MLOps

SRE

CI/CD

Model registry

GPU/CUDA

Kubernetes

Terraform

GitOps

Python

Go

Rust

C++

Docker

Prometheus

Grafana

ArgoCD

Ansible

QEMU

KVM

Outils

Prometheus

Grafana

ArgoCD

Terraform

Ansible

QEMU

KVM

Docker

Description du poste

Shadow recherche un Senior MLOps Engineer pour construire et opérer les plateformes d’inférence GPU. Vous garantissez fiabilité et performance des systèmes de mise en production, avec un focus sur l’échelle et l’observabilité dans un contexte multi‑tenant.

Le rôle est hands-on et impactant: conception, implémentation et amélioration continue des bases MLOps, tout en mentorant les contributeurs et en influençant les choix d’architecture avec le Head of PaaS.