Senior MLOps Engineer — GPU Inference & Scale

Shadow; Paris; Sur place; EUR 100 000 - 140 000; Plein temps

Résumé du poste

Shadow recherche un Senior MLOps Engineer pour concevoir et opérer l'infrastructure qui alimente notre ligne de produits AI managés. Vous assurerez le déploiement, le scaling et l'observabilité des modèles d'inférence sur GPU dans un contexte multi‑tenant.

Vous apportez une expertise MLOps/SRE et serez un acteur clé du bootstrap, avec autonomie et esprit produit pour influencer l'architecture et mentorer l'équipe.

Qualifications

• Expertise confirmée du serving et des frameworks d'inférence AI (vLLM, TensorRT-LLM, Triton, TGI, SGLang ou équivalents).
• Solide expérience MLOps/SRE : CI/CD de modèles, registry, déploiement et production à grande échelle.
• Maîtrise des environnements GPU (CUDA, scheduling, multi-tenancy, MIG/vGPU).
• Aisance avec Kubernetes et les conteneurs ; connaissance de QEMU/KVM et virtualization.
• Connaissance de l’Infrastructure as Code et GitOps (Terraform, Ansible, ArgoCD ou équivalents).
• Capacité à mettre en œuvre l’observabilité (Prometheus, Grafana, tracing, logging) et à définir des SLO/SLA.
• Maîtrise de Python ; connaissances en Go, Rust ou C++ considérées comme un fort atout.
• Capacité à coder, debugger, profiler et livrer du hands-on.
• Connaissance du marché de l’inférence managée et des produits concurrents.
• Ownership fort : prise en charge de systèmes critiques et fiabilité bout en bout.
• Esprit produit : prioriser, trancher et faire le pont entre ingénierie et business.
• Capacité à articuler une réflexion technique et à débattre lors de décisions collectives.
• Savoir définir des standards techniques et influencer les choix d’architecture.
• Mentorat et feedback pour faire monter l’équipe en maturité.
• Autonomie, proactivité et orientation solutions.
• Confort dans un contexte de bootstrap : passer du code à la stratégie rapidement.
• Bonne communication orale et écrite.
• Bonne collaboration avec les équipes Foundations, Engine, Produit et Business.

Responsabilités

• Concevoir, implémenter et opérer les pipelines de déploiement et de serving des modèles d'inférence (CI/CD, model registry, rollout).
• Construire et exploiter le moteur de spot inference valorisant la capacité GPU non-utilisée en heures creuses.
• Mettre en place l'observabilité, le monitoring et l'alerting (latence, débit, saturation GPU, SLO/SLA).
• Optimiser l'efficience GPU : autoscaling, packing, scheduling et multi-tenancy.
• Automatiser le provisioning et la configuration de l'infrastructure (IaC, GitOps).
• Assurer le maintien en condition opérationnelle (MCO), la gestion des incidents et l'amélioration continue de la fiabilité (SRE).
• Définir les standards MLOps, mentorner les contributeurs et diffuser les meilleures pratiques.
• Collaborer avec Foundations, Engine, Produit et Business pour livrer la roadmap.

Description du poste

Shadow recherche un Senior MLOps Engineer pour concevoir et opérer l'infrastructure qui alimente notre ligne de produits AI managés. Vous assurerez le déploiement, le scaling et l'observabilité des modèles d'inférence sur GPU dans un contexte multi‑tenant.

Vous apportez une expertise MLOps/SRE et serez un acteur clé du bootstrap, avec autonomie et esprit produit pour influencer l'architecture et mentorer l'équipe.