Ingénieur(e) LLMOps / MLOps / Observabilité

CLEEVEN; Auvergne-Rhône-Alpes; Sur place; EUR 70 000 - 120 000; Plein temps

Résumé du poste

CLEEVEN recherche un ingénieur LLMOps / MLOps / Observabilité pour prendre en main l'infrastructure d'observabilité et le contrôle des coûts des applications IA en production.

Vous déployerez des outils de tracing, de métriques et d’alerting, assurerez la fiabilité et la qualité des cas d'usage LLM et participerez à l’optimisation des coûts sur AWS.

Qualifications

• Expertise en observabilité et LLMOps et expérience concrète sur tracing, métriques et alerting dans des grandes structures.
• Maîtrise des outils LLMOps et déploiement d’outils d’observabilité dans des environnements CLOUD.

Responsabilités

• Infrastructures d'observabilité : déployer et gérer le tracing distribué, le suivi des coûts et de la qualité des LLM.
• Pipelines d'évaluation : concevoir des outils pour exécuter et versionner des tests en continu (offline & online evals).
• Versioning & Data : structurer le versioning des prompts, des modèles et des datasets de test.
• Alerting & Qualité : déployer la détection automatique des dégradations et le registre de modèles.

Connaissances

Observabilité

LLMOps

MLOps

Cloud

Outils

Langfuse

Langsmith

Braintrust

AWS

Description du poste

Ingénieur(e) LLMOps / MLOps / Observabilité

Nous recherchons l'ingénieur(e) clé qui prendra en main l'infrastructure d'observabilité, d'évaluation et de contrôle des coûts de nos applications IA.

Garantir la fiabilité, la qualité et la maîtrise des coûts de tous les cas d'usage LLM en production sur l'ensemble de l'organisation.

Ce que vous ferez au quotidien :

• Infrastructures d'observabilité : Déployer et gérer le tracing distribué, le suivi de la latence, des coûts et de la qualité des LLM (évaluation du stack actuel avec Langfuse vs alternatives comme Langsmith).
• Pipelines d'évaluation : Concevoir les outils permettant d'exécuter et de versionner des suites de tests en continu (offline & online evals).
• Versioning & Data : Structurer le versioning des prompts, des modèles et la gestion des datasets de test.
• Alerting & Qualité : Mettre en place la détection automatique des dégradations de qualité en production et la gestion du registre de modèles.

Le profil idéal :

• Expertise Observabilité & LLMOps : Expérience concrète sur du tracing distribué, métriques, alerting (idéalement appliqués aux LLM) et le déploiement d'outils d'observabilité dans de grandes entreprises.
• Cloud & Tools : À l'aise avec les déploiements sur AWS et la manipulation d'outils du paysage LLMOps (Langfuse, Langsmith, Braintrust...).