LLMOps Platform Engineer & Observability Expert

Datsup; Annecy; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Datsup recherche un(e) spécialiste observabilité et IA pour industrialiser les plateformes génératives et assurer la supervision des LLMs. Vous contribuerez à l’évaluation continue, la qualité des modèles et le versioning des prompts.

Expertise en implémentation de pipelines d’évaluation et en gestion des jeux de données de test, avec une forte appétence pour les solutions AWS et le développement en TypeScript/Node.js.

Qualifications

• Expérience en observabilité et monitoring de systèmes distribués ou plateformes IA.
• Expérience sur évaluation continue, qualité des modèles et supervision d’applications IA basées sur les LLM.
• Maîtrise TypeScript / Node.js et AWS.

Responsabilités

• Concevoir et faire évoluer une plateforme IA fiable et scalable.
• Implémenter des pipelines d’évaluation et assurer le suivi des performances des modèles.
• Etre force de proposition pour les meilleures pratiques LLMOps et l’industrialisation.
• Travailler en collaboration avec les équipes IA, plateforme, produit et développement.

Connaissances

Observabilité

Monitoring

Evaluation pipelines

Prompt Versioning

Modèle quality

Collaboration d’équipe

Outils

Langfuse

LangSmith

Braintrust

Description du poste

Datsup recherche un(e) spécialiste observabilité et IA pour industrialiser les plateformes génératives et assurer la supervision des LLMs. Vous contribuerez à l’évaluation continue, la qualité des modèles et le versioning des prompts.

Expertise en implémentation de pipelines d’évaluation et en gestion des jeux de données de test, avec une forte appétence pour les solutions AWS et le développement en TypeScript/Node.js.