LLMOps & Observability Engineer (F/H) – CDI – Annecy

Datsup; Annecy; On-site; EUR 65,000 - 90,000; Full time

Job summary

Datsup recherche un(e) spécialiste observabilité et IA pour industrialiser les plateformes génératives et assurer la supervision des LLMs. Vous contribuerez à l’évaluation continue, la qualité des modèles et le versioning des prompts.

Expertise en implémentation de pipelines d’évaluation et en gestion des jeux de données de test, avec une forte appétence pour les solutions AWS et le développement en TypeScript/Node.js.

Qualifications

• Expérience en observabilité et monitoring de systèmes distribués ou plateformes IA.
• Expérience sur évaluation continue, qualité des modèles et supervision d’applications IA basées sur les LLM.
• Maîtrise TypeScript / Node.js et AWS.

Responsibilities

• Concevoir et faire évoluer une plateforme IA fiable et scalable.
• Implémenter des pipelines d’évaluation et assurer le suivi des performances des modèles.
• Etre force de proposition pour les meilleures pratiques LLMOps et l’industrialisation.
• Travailler en collaboration avec les équipes IA, plateforme, produit et développement.

Skills

Observabilité

Monitoring

Evaluation pipelines

Prompt Versioning

Modèle quality

Collaboration d’équipe

Tools

Langfuse

LangSmith

Braintrust

Job description

Vous êtes passionné par l'industrialisation de l'IA générative et les problématiques d'observabilité des LLM ? Vous aimez construire des plateformes robustes, mesurer la qualité des modèles et mettre en place les bonnes pratiques LLMOps ? Ce poste est fait pour vous

Votre profil :

Vous disposez d'une solide expérience dans l'observabilité et le monitoring de systèmes distribués ou de plateformes d'IA,

Vous avez déjà travaillé sur des problématiques d'évaluation continue, de qualité des modèles ou de supervision d'applications basées sur les LLM,

Les outils tels que Langfuse, LangSmith, Braintrust (ou équivalents) vous sont familiers, et vous êtes capable d'évaluer les solutions les plus adaptées aux besoins d'une plateforme IA,

Vous êtes à l'aise avec la mise en place de pipelines d'évaluation, le versioning des prompts, la gestion des jeux de données de test et le suivi des performances des modèles,

Vous maîtrisez le développement en TypeScript / Node.js et évoluez naturellement dans des environnements AWS,

Vous appréciez construire des plateformes réutilisables permettant aux équipes de développer et déployer leurs cas d'usage IA en toute autonomie,

Vous êtes sensible aux enjeux de qualité, de performance, de coût, de sécurité et de scalabilité des solutions d'IA générative,

Vous aimez travailler en collaboration avec des équipes IA, plateforme, produit et développement afin de mettre en place les meilleures pratiques d'industrialisation.

On vous décrit comme une personne autonome, rigoureuse et curieuse, capable de concevoir une plateforme fiable tout en gardant une vision globale des enjeux techniques et métiers.

Les mots-clés :

• LLMOps
• Observability
• Langfuse
• LangSmith
• Braintrust
• TypeScript
• Node.js
• AWS
• Prompt Versioning
• Evaluation Pipelines
• Monitoring
• Tracing
• AI Platform
• Generative AI
• Claude
• Anthropic
• Bedrock
• Metrics
• Alerting
• Platform Engineering

Vous vous reconnaissez dans cette description ? N'hésitez plus, nous serions ravis d'échanger avec vous