Senior LLM Inference Architect - Sovereign AI Platform

Bull; Valbonne; Sur place; EUR 120 000 - 150 000; Plein temps

Résumé du poste

Bull recherche un(e) Staff / Principal LLM Inference Engineer pour piloter l'inférence LLM sur BullSequana AI. Vous travaillerez sur une pile Kubernetes-native, l'inférence distribuée et l'intégration avec le matériel BullSequana, en collaboration avec les équipes Data, Services IA et Foundation.

Le rôle exige une expertise pointue en serving de modèles ML/AI à grande échelle, avec une orientation vers la réduction des coûts par token et la latence, tout en assurant des déploiements sécurisés en

Qualifications

• 7+ ans d'expérience en ingénierie ML/AI servant des modèles en production.
• Maîtrise des plateformes de serving natives Kubernetes et d'inférence distribuée.
• Bonne compréhension des architectures open-weight et des méthodes d'optimisation.
• Maîtrise de l'anglais technique à l'oral et à l'écrit.

Responsabilités

• Concevoir et optimiser la plateforme de serving LLM sur vLLM et llm-d.
• Gérer les pipelines multimodaux et les embeddings pour l'inférence distribuée.
• Assurer fiabilité, observabilité (Prometheus/Grafana) et benchmarking.
• Soutenir les activités d'avant-vente et dimensionnement.

Connaissances

Expérience ML/AI

Kubernetes

Anglais technique

Outils

llm-d

vLLM

TensorRT-LLM

NVIDIA Dynamo

KServe

Description du poste

Bull recherche un(e) Staff / Principal LLM Inference Engineer pour piloter l'inférence LLM sur BullSequana AI. Vous travaillerez sur une pile Kubernetes-native, l'inférence distribuée et l'intégration avec le matériel BullSequana, en collaboration avec les équipes Data, Services IA et Foundation.

Le rôle exige une expertise pointue en serving de modèles ML/AI à grande échelle, avec une orientation vers la réduction des coûts par token et la latence, tout en assurant des déploiements sécurisés en