Ingénieur IA & MLOps — Prompts, Monitoring & Coûts

CAPFI; Paris; On-site; EUR 75,000 - 120,000; Full time

Benefits offered by this job

Formations certifiantes

Tribus CAPFI

Initiatives solidaires (NQT, Emmaüs -

Job summary

CAPFI, ESN parisienne, recherche un expert LLMOps pour accompagner la plateforme IA Hub centrée sur la gestion des prompts, le monitoring et l'optimisation des coûts. Vous travaillerez dans un contexte défense, avec un socle Symfony/Angular et CI/CD.

Vous participerez au versioning des prompts, aux quality gates IA et à la mise en place d'un système de monitoring complet. Rejoignez une équipe passionnée et contribuez à des projets à forte valeur ajoutée.

Qualifications

• Évaluation continue, monitoring et gestion des déploiements.
• Capacité à intégrer l’IA dans un CI/CD.
• Mise en place de Quality Gates IA (golden sets, tests automatiques, seuils d’acceptation).
• Gestion des prompts : versioning, templates, rollback et A/B testing.
• Optimisation des coûts : caching, routing de modèles, quotas et mesures de consommation par profil.
• Monitoring : latence, erreurs, coûts, dérive ; avec alerting et runbooks d’exploitation.
• Culture Produit : qualité mesurable et réduction des sorties non fiables.
• Application des règles de citation.

Responsibilities

• Dispositif de gestion des prompts : Mettre en place et documenter un système industrialisé pour la gestion des prompts (versioning, rollback, templates).
• Maîtrise des coûts : Établir des mécanismes de contrôle des coûts (caching, routing, quotas) pilotés par des indicateurs clairs.
• Monitoring et exploitation : Déployer un monitoring complet (qualité, latence, erreurs, coûts, dérive) et fournir les runbooks opérationnels associés.
• Quality Gates IA : Définir et mettre en œuvre des quality gates spécifiques à l'IA, incluant des golden sets, des tests automatiques, des seuils d’acceptation et un suivi dans le temps.

Skills

LLMOps

Gestion prompts

Monitoring

Optimisation coûts

CI/CD

Sécurité applicative

Gestion des secrets

Qualité logicielle

Tools

Docker

Symfony 7

API Platform

PostgreSQL

Angular

Doctrine

Messenger

Job description

CAPFI, ESN parisienne, recherche un expert LLMOps pour accompagner la plateforme IA Hub centrée sur la gestion des prompts, le monitoring et l'optimisation des coûts. Vous travaillerez dans un contexte défense, avec un socle Symfony/Angular et CI/CD.

Vous participerez au versioning des prompts, aux quality gates IA et à la mise en place d'un système de monitoring complet. Rejoignez une équipe passionnée et contribuez à des projets à forte valeur ajoutée.