Staff LLM Inference Engineer — Sovereign AI Platform

Bull; Bezons; Sur place; EUR 110 000 - 170 000; Plein temps

Résumé du poste

Bull recherche un Staff / Principal LLM Inference Engineer au sein de l'équipe BSQAI pour piloter la pile d'inférence de BullSequana AI (BSQAI) et son intégration avec la plateforme matérielle BullSequana. La pile fournit un serving de LLM natif Kubernetes (modèles multi-nœuds open-weight, embedding et reranking), déployé sur des infrastructures souveraines sur site, cloud souverain ou hybride.

Ce rôle apporte une influence architecturale transversale et une direction technique hands-on, en

Qualifications

• 7+ années d'expérience en ingénierie ML/AI et serving de modèles en production.
• Expérience pratique sur Kubernetes natif et inférence distribuée (llm-d ou pile équivalente).

Responsabilités

• Concevoir et optimiser la plateforme de serving basée sur vLLM et llm-d.
• Gérer les pipelines multimodaux et les services d'embedding et de reranking.
• Instrumenter le système avec Prometheus et Grafana et réaliser des déploiements canary.
• Fournir des données de dimensionnement et de performance pour l'avant-vente.

Connaissances

Python avancé

Go

Kubernetes

Docker

vLLM

llm-d

Quantification (FP8/GPTQ)

Optimisation performance

Prometheus

Grafana

Outils

KServe

Milvus

TensorRT-LLM

NVIDIA Dynamo

Description du poste

Bull recherche un Staff / Principal LLM Inference Engineer au sein de l'équipe BSQAI pour piloter la pile d'inférence de BullSequana AI (BSQAI) et son intégration avec la plateforme matérielle BullSequana. La pile fournit un serving de LLM natif Kubernetes (modèles multi-nœuds open-weight, embedding et reranking), déployé sur des infrastructures souveraines sur site, cloud souverain ou hybride.

Ce rôle apporte une influence architecturale transversale et une direction technique hands-on, en