Principal LLM Inference Engineer - F/H

Bull

Valbonne, Bezons, La Défense

On-site

EUR 120,000 - 160,000

Full time

23 hours ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Bull recrute un Staff / Principal LLM Inference Engineer pour piloter la pile d'inférence de BullSequana AI et son intégration à la plateforme matérielle BullSequana. Vous dirigerez des travaux d'engineering hands-on, en collaboration avec les équipes Data et IA, pour réduire le coût par token et la latence en environnement souverain.

Le rôle est positionné en région PACA (Sophia Antipolis/La Défense) et s'inscrit dans une démarche d'innovation européenne et durable, avec accès à une

Qualifications

  • 7+ ans d'expérience en ingénierie ML/AI et serving de modèles en production.
  • Expérience pratique du serving de modèles natifs Kubernetes et d'inférence distribuée.
  • Connaissance des architectures open-weight (Mistral, Llama, Qwen, Kimi, DeepSeek, GPT-OSS, Gemma).
  • Maîtrise de l'anglais à l'oral et à l'écrit.
  • Maîtrise des techniques d'optimisation et quantification (FP8, NVFP4, AWQ, GPTQ).

Responsibilities

  • Concevoir et optimiser la plateforme de serving basée sur vLLM et configurer le parallélisme.
  • Gérer le cycle de vie des modèles et déployer des pipelines multimodaux.
  • Instrumenter la couche de serving avec Prometheus et Grafana et conduire des benchmarks.
  • Fournir des données de dimensionnement pour les offres commerciales et la planification.
  • Collaborer avec les équipes Data et IA pour l'intégration hardware et software.

Skills

Anglais professionnel
Python avancé
Go
Communication technique
Gestion de projets ML/AI

Tools

Kubernetes
Docker
Helm
KServe
GPU operators
vLLM
llm-d
SGLang
TensorRT-LLM
NVIDIA Dynamo

Job description

Bull c’est une histoire. Un siècle d’innovation Européenne et un environnement de travail où des experts conçoivent des solutions numériques puissantes, durables et souveraines, permettant aux États et aux industries de garder la pleine maîtrise de leurs données et de leur IA.

Bull c’est aussi des milliers d’ingénieurs, de chercheurs, de passionnés de tech, façonnant l’avenir du calcul de haute performance, de l’IA et des technologies quantiques.

Chaque jour, nos équipes repoussent les limites du possible - des architectures HPC de nouvelle génération aux supercalculateurs exascale - soutenues par une R&D de rang mondial, plus de 1 600 brevets et des capacités de bout en bout uniques, couvrant la conception matérielle, l’ingénierie logicielle, la data science et la recherche quantique.

Centrés sur l’humain et portés par l’innovation, où la collaboration s’étend à l’Europe, aux Amériques et à l’Inde, nous partageons cette même vision d’une innovation responsable et durable, avec un impact concret pour nos clients.

Bull recherche un(e) Staff / Principal LLM Inference Engineer au sein de l'équipe produit BSQAI pour piloter la pile d'inférence de BullSequana AI (BSQAI) et son intégration avec la plateforme matérielle BullSequana. La pile fournit un serving de LLM natif Kubernetes (modèles multi-nœuds open-weight, embedding, reranking et multimodaux), standardisé sur llm-d pour l'inférence distribuée et désagrégée, déployé sur des infrastructures d'IA souveraines sur site, sur le cloud souverain ou en hybride.

Ce poste à portée "staff-to-principal" combine une influence architecturale transversale et une direction technique concrète délivrée par de l'ingénierie hands‑on, en étroite collaboration avec les équipes Data, Services IA, Agents, Foundation, ainsi que le matériel, l'avant‑vente et le delivery. L'impact attendu est direct : réduction mesurable du coût par token et de la latence de queue, et industrialisation de déploiements fiables et sécurisés (environnements connectés et isolés/air‑gapped).

Responsabilités principales
Serving et Runtime des modèles :

Concevoir et optimiser la plateforme de serving basée sur vLLM, configurer le parallélisme selon l'architecture du modèle et l'interconnexion de l'infrastructure cible, et installer/maintenir llm-d pour l'inférence distribuée et désagrégée (préremplissage/décodage désagrégés, routage conscient du cache KV).

Cycle de vie et pipelines multimodaux :

Maîtriser le cycle de vie des modèles en plateforme (versioning, déploiement progressif, rollback) y compris en environnements isolés, et servir des pipelines multimodaux (audio temps réel, STT, TTS, OCR) ainsi que des services d'embedding et de reranking (bases vectorielles comme Milvus).

Fiabilité, Observabilité et Benchmarking :

Instrumenter la couche de serving avec Prometheus et Grafana (métriques GPU et par token, logs structurés, traçabilité), mettre en place des déploiements canary/blue‑green avec portes d'évaluation automatisées, et mener des campagnes de benchmarking structurées pour suivre et réduire le coût par token et la latence de queue.

Support Avant‑Vente et Dimensionnement :

Fournir des données de dimensionnement et de performance défendables pour appuyer les activités d'avant‑vente, les appels d'offres et la planification de capacité.

Compétences et qualifications
Expérience :

Solide parcours (généralement 7+ ans d'expérience en ingénierie avec un temps significatif dédié au serving de modèles ML/AI) dans la construction et l'exploitation d'inférences LLM en production.

Compétences techniques clés :

Expérience pratique démontrée des plateformes de serving de modèles natives Kubernetes et de l'inférence distribuée (idéalement llm-d ou une pile équivalente comme Dynamo).

Architecture des modèles :

Compréhension fine des architectures de modèles open‑weight courantes (Mistral, Llama, Qwen, Kimi, DeepSeek, GPT‑OSS, Gemma) et de leur impact sur les performances de serving (MoE, MTP, Sparse Attention, MLA).

Soft skills :

Capacité avérée à communiquer des idées complexes en anglais, à l'écrit comme à l'oral, face à des interlocuteurs techniques et commerciaux.

Compétences techniques et outils principaux :
Langages et développement :

Python avancé (profiling, async, FastAPI) et Go.

Moteurs et piles d'inférence :

vLLM, llm-d, SGLang, TensorRT‑LLM, NVIDIA Dynamo, et gestion des architectures distribuées/désagrégées (préremplissage/décodage séparés, routage KV‑cache).

Plateforme et conteneurisation :

Kubernetes, Docker, Helm, KServe, opérateurs GPU.

Matériel et infrastructures :

Clusters GPU NVIDIA et AMD, NVLink, interconnexions haute vitesse (InfiniBand / RoCE), systèmes type NVL72.

Optimisation de modèles :

Techniques de quantification (FP8, NVFP4, AWQ, GPTQ), formats (Safetensors) et maîtrise des architectures de modèles (MoE, MTP, Sparse Attention, MLA).

Observabilité et Benchmarking :

Prometheus, Grafana, outils de tracing distribué, et suites de benchmarks (MLPerf Inference, GenAI‑Perf, vLLM benchmarks).

Occuper un rôle central dans la construction de l'infrastructure d'IA souveraine européenne, déployée pour des clients des secteurs public et privé à travers l'Europe.

Bénéficier d'un accès hands‑on à une infrastructure GPU de grande échelle et de pointe (plateformes NVIDIA et AMD, BullSequana) pour le benchmarking et l'optimisation à échelle réelle.

Disposer d'une influence de niveau architecte sur la conception, la spécification et la commercialisation de la plateforme BullSequana AI, tout en conservant l'autonomie nécessaire pour coder et délivrer concrètement.

Pourquoi ne pas postuler ?

Vous ne devriez pas postuler si vous recherchez un poste de développement applicatif généraliste ou de recherche pure, car ce rôle exige une maîtrise technique pointue et quotidienne des contraintes bas‑niveau de l'inférence, de la topologie matérielle (GPU, interconnexions) et du fine‑tuning de la performance à grande échelle.

Processus de recrutement

Entretiens avec le Talent Acquisition Business Partner (TABP)

Entretien avec un de nos opérationnels

Entrerien avec notre Head of BL

Entretien final avec notre HRBP

Localisation :

Postes rattachés aux implantations Bull / BSQAI - priorité Sophia Antipolis - La Défense.

Rémunération :

En ligne avec les standards du profil Staff / Principal.

Date de démarrage :

Dès que possible.

Rejoignez notre communauté !

Ici, vos idées, votre curiosité et votre excellence technique contribuent directement à façonner la prochaine ère du calcul avancé - en créant de la valeur pour les entreprises, en accélérant le progrès scientifique et en générant un impact positif pour la société.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Principal LLM Inference Engineer - F/H
Principal LLM Inference Engineer - F/H

Bull SAS • Valbonne

On-site
EUR 120,000 - 150,000
Consultant IA senior - F/H
Consultant IA senior - F/H

Bull • Bezons, Paris, Valbonne

Remote
EUR 65,000 - 80,000
Principal Security Architect - H/F
Principal Security Architect - H/F

Bull • Valbonne, Paris

On-site
EUR 80,000 - 95,000
Senior LLM Inference Architect
Senior LLM Inference Architect

Bull SAS • Valbonne

On-site
EUR 120,000 - 150,000
Manager de Projet Industrialisation et Laboratoire HPC & IA - F/H
Manager de Projet Industrialisation et Laboratoire HPC & IA - F/H

Bull • Angers

On-site
EUR 55,000 - 65,000
Data Engineer - F/H
Data Engineer - F/H

Bull • Les Clayes-sous-Bois, Angers, Échirolles

Hybrid
EUR 70,000 - 115,000
Flexibilité hybride
Localisation Paris/Angers/Echirolles
AI Sales Specialist - FH
AI Sales Specialist - FH

Bull • Bezons, La Défense

On-site
EUR 90,000 - 110,000
Staff LLM Inference Architect
Staff LLM Inference Architect

Bull • Valbonne, Bezons, La Défense

On-site
EUR 120,000 - 160,000
Project Management Officer - H/F
Project Management Officer - H/F

Bull • Les Clayes-sous-Bois

On-site
EUR 70,000 - 100,000
HPC System & Storage Engineer - F/H
HPC System & Storage Engineer - F/H

Bull SAS • Toulouse

Hybrid
EUR 65,000 - 100,000