Ingénieur LLMOps / AgentOps (H/F)

Smartpoint; Paris; On-site; EUR 65,000 - 95,000; Full time

Job summary

Smartpoint, ESN Data & IA à Paris, recherche un profil DevOps/MLOps expérimenté pour piloter le run des IA en production et assurer leur coûts et fiabilité. Vous travaillerez sur LLMs, observabilité et sécurité, avec des plateformes LLMOps et des pipelines de déploiement.

Profil Bac+5 informatique, 4 ans d'expérience, et maîtrise des outils CI/CD, cloud Azure/AWS/GCP et observabilité. Poste en présentiel à Paris, cadre collaboratif et projets internationaux.

Qualifications

• 4 ans d'expérience minimum en DevOps, MLOps ou SRE.
• Première expérience sur des applications LLM en production.
• Bon niveau d'anglais requis pour contexte international.

Responsibilities

• Construire les plateformes LLMOps et les environnements de run.
• Mettre en place la chaîne de déploiement des applications LLM.
• Déployer et exposer les modèles via API et passerelles.
• Observer, instrumenter et alerter les chaînes IA.
• Mettre en place tableaux de bord et contrôles sécurité.
• Mesurer coût, tokens et GPU par cas d'usage.

Skills

Kubernetes

Docker

Terraform

CI/CD

GitLab CI

GitHub Actions

Azure DevOps

Azure

AWS

GCP

Langfuse

LangSmith

Arize Phoenix

OpenTelemetry

MLflow

LiteLLM

Azure API Management

vLLM

TGI

Ollama

Python

API REST

Prometheus

Grafana

Datadog

Education

Bac+5 en informatique ou école d'ingénieurs

Tools

Langage Python

Scripting

Job description

Smartpoint en bref, qui sommes-nous et en quoi sommes-nous différents ?

Smartpoint est une ESN pure player Data & IA créée en 2006 à Paris. Nous concevons, modernisons, déployons et opérons des plateformes Data/IA de bout en bout, avec une approche DataOps & IAOps 360° : du cadrage à l'industrialisation, le run et l'amélioration continue. Notre valeur ajoutée : Des architectures data production-ready, des pipelines automatisés et observables et une obsession de la valeur opérationnelle pour les métiers. Nos équipes interviennent sur l'ensemble des grands chantiers Data & IA : Architecture et modernisation des plateformes, data engineering & XOps (DataOps, MLOps/LLMOps), IA / IA générative (LLM, RAG, agents), BI & analytics (modernisation BI, reporting, dashboards) ainsi que la gouvernance des données & qualité (catalogue, lineage, data quality, data contracts). Quelques repères : +300 experts, SmartLab (R&D inshore à Paris, agrément CIR), certifications ISO 27001/27701, engagement RSE et bilan carbone.

Vos responsabilités et le périmètre du poste

Au Sein De Notre Équipe DataOps & IAOps, Vous Êtes Responsable Du Run Des Applications D'IA Générative Et Des Agents De Nos Clients. Votre Mission ? Que Les IA En Production Restent Fiables, Observables, Sécurisées Et Maîtrisées En Coût.

Vos Principales Responsabilités

• Construire les plateformes LLMOps
• Mettre en place la chaîne de déploiement des applications LLM : gestion des versions de prompts, de modèles et de configurations
• Déployer et exposer les modèles (API managées, passerelle LLM, modèles open source sur GPU)
• Observer et superviser
• Instrumenter les applications et les agents : traces, latence, taux d'erreur, qualité des réponses
• Mettre en place les tableaux de bord et les alertes pour les équipes de run
• Évaluer en continu
• Automatiser l'évaluation à chaque changement de prompt ou de modèle (tests de non-régression)
• Suivre la dérive de qualité en production et organiser les retours utilisateurs
• Maîtriser les coûts (FinOps IA)
• Mesurer la consommation de tokens et de GPU par cas d'usage
• Proposer les optimisations : cache, routage entre modèles, choix du modèle selon la tâche
• Sécuriser et documenter
• Mettre en place les contrôles : gestion des secrets, filtrage, journalisation, droits d'accès
• Produire la documentation technique utile à la conformité AI Act

Votre profil

De formation supérieure (Bac+5 en informatique ou école d'ingénieurs), vous avez 4 ans d'expérience minimum en DevOps, MLOps ou SRE, et une première expérience sur des applications LLM en production.

Compétences techniques requises

Plateforme & Outils

• Kubernetes, Docker, Terraform
• CI/CD : GitLab CI, GitHub Actions ou Azure DevOps
• Au moins un cloud : Azure, AWS ou GCP

LLMOps & observabilité

• Observabilité des LLM : Langfuse, LangSmith, Arize Phoenix, OpenTelemetry ou équivalent
• MLflow ou équivalent pour le suivi des modèles
• Passerelles LLM : LiteLLM, Azure API Management ou équivalent
• Serving de modèles : vLLM, TGI, Ollama (apprécié)

Développement

• Python, scripting, API REST
• Monitoring : Prometheus, Grafana, Datadog ou équivalent

Un bon niveau d'anglais est requis pour évoluer dans un contexte international.

Vos qualités pour réussir

• Sens du service et culture du run
• Rigueur dans la documentation et la gestion des incidents
• Capacité à travailler avec des équipes data, IA et sécurité