Senior LLM Inference Engineer – Distributed AI Serving

Atos SE; Bezons; Sur place; EUR 120 000 - 190 000; Plein temps

Résumé du poste

Bull recherche un Staff/Principal LLM Inference Engineer pour piloter la pile d'inférence BullSequana AI et son intégration hardware. Vous dirigerez des architectures d'inférence natives Kubernetes, avec du déploiement multi-nœuds et des pipelines multimodaux sur des infrastructures souveraines sur site, cloud ou hybride.

Le rôle combine leadership technique et travail hands-on, en collaboration avec Data, IA, Foundation et le hardware, visant à réduire le coût par token et la latence tout en

Qualifications

• Expérience solide (7+ ans) en ingénierie et serving ML/AI en production.
• Maîtrise des plateformes de serving natives Kubernetes et d'inférence distribuée.
• Connaissance approfondie des architectures de modèles open-weight et leur impact.
• Capacité à communiquer en anglais à l'écrit et à l'oral.

Responsabilités

• Concevoir et optimiser une plateforme de serving basée sur vLLM et llm-d.
• Gérer le cycle de vie des modèles et les pipelines multimodaux (audio, STT, TTS, OCR).
• Instrumenter le serving avec Prometheus et Grafana et mener des benchmarks.
• Apporter le dimensionnement et le soutien avant-vente.

Connaissances

Python avancé

Go

Kubernetes

vLLM

llm-d

SGLang

TensorRT-LLM

NVIDIA Dynamo

Docker

Prometheus

Grafana

Outils

Kubernetes

Docker

Helm

KServe

llm-d

SGLang

TensorRT-LLM

NVIDIA Dynamo

Description du poste

Bull recherche un Staff/Principal LLM Inference Engineer pour piloter la pile d'inférence BullSequana AI et son intégration hardware. Vous dirigerez des architectures d'inférence natives Kubernetes, avec du déploiement multi-nœuds et des pipelines multimodaux sur des infrastructures souveraines sur site, cloud ou hybride.

Le rôle combine leadership technique et travail hands-on, en collaboration avec Data, IA, Foundation et le hardware, visant à réduire le coût par token et la latence tout en