Senior LLMOps & Observability Engineer

Darwin Partners; Annecy; Hybride; EUR 70 000 - 110 000; Plein temps

Avantages offerts par ce poste

Télétravail 2 jours/semaine

Résumé du poste

Darwin Partners participe à la construction de plateformes IA de nouvelle génération à Annecy, en Charente? Non — en Auvergne-Rhône-Alpes. Le poste vise à industrialiser et fiabiliser l IA générative via LLMOps, avec une forte emphasis sur l observabilité et les tests de performance.

Notre client recherche un profil expérimenté en développement de plateformes Cloud et DevOps, capable d évaluer les outils du marché et d intégrer Langfuse/LangSmith/Braintrust, tout en maîtrisant TypeScript et AWS.

Qualifications

• Au moins 4 ans d'expérience sur le développement de plateformes, le Cloud ou le DevOps.
• Maîtrise de l'observabilité de systèmes distribués (tracing, métriques, monitoring, alerting).
• Connaissance des pipelines d'évaluation IA/LLM (tests de prompts, tests d'intégration).
• Bonne connaissance de l'écosystème LLM Ops et capacité d'intégrer ces solutions.
• Maîtrise de TypeScript et expérience AWS pour concevoir des plateformes Cloud.

Responsabilités

• Concevoir et maintenir l'infrastructure d'observabilité des modèles LLM.
• Évaluer les solutions du marché et recommander les outils adaptés.
• Développer des pipelines d'évaluation et versionner les tests.
• Concevoir et gérer les jeux de données d'évaluation et le contrôle d'accès.
• Définir la stratégie de versionnement des prompts et des modèles IA.
• Mettre en place des mécanismes d'alerte pour surveiller les performances en production.
• Participer au design d'un Model Registry et de la gouvernance IA.

Connaissances

TypeScript

AWS

Observabilité

LLMOps

Observabilité (tracing)

Langfuse/LangSmith/Braintrust

Outils

Langfuse

LangSmith

Braintrust

Description du poste

Darwin Partners participe à la construction de plateformes IA de nouvelle génération à Annecy, en Charente? Non — en Auvergne-Rhône-Alpes. Le poste vise à industrialiser et fiabiliser l IA générative via LLMOps, avec une forte emphasis sur l observabilité et les tests de performance.

Notre client recherche un profil expérimenté en développement de plateformes Cloud et DevOps, capable d évaluer les outils du marché et d intégrer Langfuse/LangSmith/Braintrust, tout en maîtrisant TypeScript et AWS.