LLMOps & Observability Engineer

Darwin Partners; Annecy; Hybride; EUR 70 000 - 110 000; Plein temps

Avantages offerts par ce poste

Télétravail 2 jours/semaine

Résumé du poste

Darwin Partners participe à la construction de plateformes IA de nouvelle génération à Annecy, en Charente? Non — en Auvergne-Rhône-Alpes. Le poste vise à industrialiser et fiabiliser l IA générative via LLMOps, avec une forte emphasis sur l observabilité et les tests de performance.

Notre client recherche un profil expérimenté en développement de plateformes Cloud et DevOps, capable d évaluer les outils du marché et d intégrer Langfuse/LangSmith/Braintrust, tout en maîtrisant TypeScript et AWS.

Qualifications

• Au moins 4 ans d'expérience sur le développement de plateformes, le Cloud ou le DevOps.
• Maîtrise de l'observabilité de systèmes distribués (tracing, métriques, monitoring, alerting).
• Connaissance des pipelines d'évaluation IA/LLM (tests de prompts, tests d'intégration).
• Bonne connaissance de l'écosystème LLM Ops et capacité d'intégrer ces solutions.
• Maîtrise de TypeScript et expérience AWS pour concevoir des plateformes Cloud.

Responsabilités

• Concevoir et maintenir l'infrastructure d'observabilité des modèles LLM.
• Évaluer les solutions du marché et recommander les outils adaptés.
• Développer des pipelines d'évaluation et versionner les tests.
• Concevoir et gérer les jeux de données d'évaluation et le contrôle d'accès.
• Définir la stratégie de versionnement des prompts et des modèles IA.
• Mettre en place des mécanismes d'alerte pour surveiller les performances en production.
• Participer au design d'un Model Registry et de la gouvernance IA.

Connaissances

TypeScript

AWS

Observabilité

LLMOps

Observabilité (tracing)

Langfuse/LangSmith/Braintrust

Outils

Langfuse

LangSmith

Braintrust

Description du poste

Darwin Partners, un véritable partenaire de carrière

Chez Darwin Partners, nous ne nous contentons pas de recruter : nous accompagnons chaque consultant dans son évolution professionnelle en lui proposant des missions qui correspondent à ses aspirations.

Avec une culture dynamique et axée sur l’impact, nous connectons les meilleurs talents IT à des projets ambitieux, tout en cultivant des relations humaines et authentiques.

Nos clients ? Des entreprises innovantes dans différents secteurs d’activité (banque, assurance, finance, industrie, e-commerce, marchés publics, trading, médical...) et des projets à forte valeur ajoutée sur différents métiers (étude & développement, fonctionnel, agilité, infrastructure, réseaux, data, cloud, intelligence artificielle...).

Notre engagement ? Un suivi régulier, une écoute active et une véritable proximité avec nos talents.

Notre promesse ? Des projets enrichissants, une flexibilité réelle et une rémunération à la hauteur de votre talent.

Votre mission, si vous l'acceptez

Dans le cadre de la structuration d'une plateforme IA de nouvelle génération, vous contribuerez à la mise en place des fondations LLMOps permettant d'industrialiser, d'observer et de fiabiliser les systèmes d'intelligence artificielle générative.

• Concevoir et maintenir l'infrastructure d'observabilité des modèles LLM (traces distribuées, latence, coûts, métriques de qualité...).
• Évaluer les solutions du marché (Langfuse, LangSmith, Braintrust...) et recommander les outils les plus adaptés aux besoins de la plateforme.
• Développer des pipelines d'évaluation permettant aux équipes de créer, exécuter et versionner leurs suites de tests de manière continue.
• Concevoir et gérer les jeux de données d'évaluation : génération, versionnement, contrôle d'accès et gouvernance.
• Définir une stratégie de versionnement des prompts, modèles et configurations IA.
• Mettre en place des mécanismes d'alerte afin de détecter rapidement toute dérive des performances ou de la qualité en production.
• Participer à la conception d'un Model Registry et des standards de gouvernance nécessaires à la montée en charge des cas d'usage IA.

Le profil que nous recherchons

Vous disposez d'au moins 4 ans d'expérience sur des sujets liés au développement de plateformes, au Cloud ou au DevOps, avec une forte sensibilité pour les problématiques d'observabilité et de qualité logicielle.

Vous possédez notamment :

• Une solide expérience sur l'observabilité de systèmes distribués (tracing, métriques, monitoring, alerting).
• Une expérience autour des pipelines d'évaluation de systèmes IA ou LLM (tests de prompts, tests d'intégration, suivi qualité en production).
• Une bonne connaissance de l'écosystème LLMOps (Langfuse, LangSmith, Braintrust...) et la capacité à comparer et intégrer ces solutions.
• Une excellente maîtrise de TypeScript.
• Une solide expérience sur AWS pour concevoir et exploiter des plateformes Cloud.

Une expérience sur l'observabilité de modèles LLM ou de systèmes d'IA générative constitue un véritable atout.

Environnement technique

Observabilité : Distributed Tracing, Metrics, Alerting

Informations pratiques

• Télétravail : 2 jours par semaine
• Contrat : CDI ou Freelance
• Démarrage : Dès que possible

Vous souhaitez participer à la construction des plateformes IA de demain et relever des défis techniques autour des LLMOps, de l'observabilité et de l'industrialisation de l'IA générative ?