Principal LLM Inference Engineer Architecting Sovereign AI

Atos; Valbonne; Sur place; EUR 120 000 - 190 000; Plein temps

Résumé du poste

Bull recherche un Staff / Principal LLM Inference Engineer pour piloter la pile d'inférence BullSequana AI et son intégration avec la plateforme matérielle BullSequana. Vous contribuerez à un serving LLM natif Kubernetes, déployé sur des infrastructures souveraines et hybrides, en collaboration avec Data, IA, et équipes hardware.

Le rôle allie influence architecturale et exécution hands-on, avec un impact direct sur le coût par token et la latence, tout en garantissant la fiabilité et la

Qualifications

• Expérience 7+ ans en ingénierie ML/AI et serving d'inférences LLM en production.
• Maîtrise des plateformes de serving natives Kubernetes et d'inférence distribuée (llm-d / Dynamo).
• Connaissance des architectures open-weight (Mistral, Llama, Qwen, Kimi, DeepSeek, GPT-OSS, Gemma).
• Compétences en anglais écrite et orale.

Responsabilités

• Serving et Runtime des modèles : concevoir et optimiser la plateforme de serving basée sur vLLM; configurer le parallélisme et installer llm-d.
• Cycle de vie et pipelines multimodaux : gérer versioning, déploiement progressif, rollback et services d'embedding/reranking.
• Fiabilité, observabilité et benchmarking : instrumenter avec Prometheus et Grafana; canary/blue-green et benchmarks pour réduire coût par token et latence.
• Support Avant-Vente et dimensionnement : fournir données de performance pour appels d'offres et planification.

Connaissances

7+ ans exp ML

Ingénierie ML/AI

Serving de modèles ML

Inférence distribuée

Kubernetes serving

llm-d / Dynamo

Python

Go

FastAPI

Profiling / optimisation

Prometheus / Grafana

KServe

NVIDIA/Docker/Kubernetes

Quantification FP8 / AWQ

Safetensors / MoE / Sparse Attention

Outils

Kubernetes

Docker

Helm

KServe

Prometheus

Grafana

Description du poste

Bull recherche un Staff / Principal LLM Inference Engineer pour piloter la pile d'inférence BullSequana AI et son intégration avec la plateforme matérielle BullSequana. Vous contribuerez à un serving LLM natif Kubernetes, déployé sur des infrastructures souveraines et hybrides, en collaboration avec Data, IA, et équipes hardware.

Le rôle allie influence architecturale et exécution hands-on, avec un impact direct sur le coût par token et la latence, tout en garantissant la fiabilité et la