Senior LLM Inference Architect

Bull SAS

Valbonne

On-site

EUR 120,000 - 150,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Bull SAS recherche un Staff/Principal LLM Inference Engineer pour piloter la pile d'inférence BullSequana AI (BSQAI) et son intégration avec la plateforme matérielle BullSequana. Le rôle exige une maîtrise avancée du serving de modèles ML/AI sur Kubernetes et une expérience significative en production.

Vous travaillerez en collaboration avec les équipes Data, IA et hardware, en local à Sophia Antipolis ou La Défense, et serez acteur de l'architecture et du codage hands-on.

Qualifications

  • Plus de 7 ans d'expérience en ingénierie ML/AI, avec serving en production.
  • Conception et maintenance de pipelines d'inférence LLM en production.
  • Maîtrise des plateformes natives Kubernetes et d'inférence distribuée.

Responsibilities

  • Concevoir et optimiser la plateforme de serving basée sur vLLM et llm-d, adaptant le parallélisme à l'architecture modèle et infra cible.
  • Gérer le cycle de vie des modèles (versioning, déploiement progressif, rollback) et les pipelines multimodaux.
  • Assurer l'observabilité (Prometheus, Grafana), et réaliser des benchmarks pour réduire coût par token et latence.
  • Fournir des données de dimensionnement et performance pour les appels d'offres et la planification de capacité.

Skills

Anglais technique
Architecture ML
Collaboration transversale
Communication écrite

Education

Diplôme d'ingénieur ou équivalent

Tools

Kubernetes
Docker
Helm
KServe
Prometheus
Grafana

Job description

Bull SAS recherche un Staff/Principal LLM Inference Engineer pour piloter la pile d'inférence BullSequana AI (BSQAI) et son intégration avec la plateforme matérielle BullSequana. Le rôle exige une maîtrise avancée du serving de modèles ML/AI sur Kubernetes et une expérience significative en production.

Vous travaillerez en collaboration avec les équipes Data, IA et hardware, en local à Sophia Antipolis ou La Défense, et serez acteur de l'architecture et du codage hands-on.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Principal LLM Inference Engineer - F/H
Principal LLM Inference Engineer - F/H

Bull SAS • Valbonne

On-site
EUR 120,000 - 150,000
Senior AI Consultant: GenAI, Strategy & C‑Level Impact
Senior AI Consultant: GenAI, Strategy & C‑Level Impact

Bull • Bezons

On-site
EUR 65,000 - 80,000
Senior LLM Ops Engineer – Front Office AI Platform
Senior LLM Ops Engineer – Front Office AI Platform

Brief IA • Paris

Hybrid
EUR 110,000 - 160,000
Consultant IA senior - F/H
Consultant IA senior - F/H

Bull • Bezons

On-site
EUR 65,000 - 80,000
Senior AI Engineer: LLM Ops & Scalable AI Platform
Senior AI Engineer: LLM Ops & Scalable AI Platform

TL Consulting • Paris

On-site
EUR 70,000 - 110,000
Ingénieur Systèmes HPC/IA - Rack-Scale Infra
Ingénieur Systèmes HPC/IA - Rack-Scale Infra

Bull SAS • Échirolles

On-site
EUR 70,000 - 110,000
Architecte Serveur Senior H/F
Architecte Serveur Senior H/F

Bull • Les Clayes-sous-Bois

Remote
EUR 90,000 - 130,000
Remote-ready Senior AI Engineer Consultant – LLM Production
Remote-ready Senior AI Engineer Consultant – LLM Production

Jakala • Paris

On-site
EUR 90,000 - 130,000
Télétravail partiel
Mutuelle d’entreprise
Forfait Mobilité Durable
+2
Ingénieur Développeur IA Senior
Ingénieur Développeur IA Senior

Les Filles et Les Garçons de la Tech • Venelles

On-site
EUR 70,000 - 110,000
Tech Lead Python Backend for LLM AI Services
Tech Lead Python Backend for LLM AI Services

Brief IA • Île-de-France

On-site
EUR 111,000 - 166,000