Développeur IA - Contenus & LLMOps

CAPFI; Paris; Vor Ort; EUR 75.000 - 120.000; Vollzeit

Benefits dieser Stelle

Formations certifiantes

Tribus CAPFI

Initiatives solidaires (NQT, Emmaüs -

Zusammenfassung

CAPFI, ESN parisienne, recherche un expert LLMOps pour accompagner la plateforme IA Hub centrée sur la gestion des prompts, le monitoring et l'optimisation des coûts. Vous travaillerez dans un contexte défense, avec un socle Symfony/Angular et CI/CD.

Vous participerez au versioning des prompts, aux quality gates IA et à la mise en place d'un système de monitoring complet. Rejoignez une équipe passionnée et contribuez à des projets à forte valeur ajoutée.

Qualifikationen

• Évaluation continue, monitoring et gestion des déploiements.
• Capacité à intégrer l’IA dans un CI/CD.
• Mise en place de Quality Gates IA (golden sets, tests automatiques, seuils d’acceptation).
• Gestion des prompts : versioning, templates, rollback et A/B testing.
• Optimisation des coûts : caching, routing de modèles, quotas et mesures de consommation par profil.
• Monitoring : latence, erreurs, coûts, dérive ; avec alerting et runbooks d’exploitation.
• Culture Produit : qualité mesurable et réduction des sorties non fiables.
• Application des règles de citation.

Aufgaben

• Dispositif de gestion des prompts : Mettre en place et documenter un système industrialisé pour la gestion des prompts (versioning, rollback, templates).
• Maîtrise des coûts : Établir des mécanismes de contrôle des coûts (caching, routing, quotas) pilotés par des indicateurs clairs.
• Monitoring et exploitation : Déployer un monitoring complet (qualité, latence, erreurs, coûts, dérive) et fournir les runbooks opérationnels associés.
• Quality Gates IA : Définir et mettre en œuvre des quality gates spécifiques à l'IA, incluant des golden sets, des tests automatiques, des seuils d’acceptation et un suivi dans le temps.

Kenntnisse

LLMOps

Gestion prompts

Monitoring

Optimisation coûts

CI/CD

Sécurité applicative

Gestion des secrets

Qualité logicielle

Tools

Docker

Symfony 7

API Platform

PostgreSQL

Angular

Doctrine

Messenger

Jobbeschreibung

CAPFI est une ESN 2.0 basée à Paris (8ème) rassemblant moins de 200 passionnés intervenant pour 70 clients grands comptes (CAC 40, SBF 250) dans les secteurs suivants :

• Industrie, Médias, Cosmétique, Énergie
• Banque & Assurance
• Banque d'investissement & Asset Management

Nos expertises couvrent :

• L'infrastructure IT & la cybersécurité
• Les projets digitaux et data/IA
• La gestion de projet & maîtrise d'ouvrage

Notre ambition

Incarner une ESN qui repose sur 2 piliers : le développement humain et l'expertise où l'innovation passe par la passion et la rigueur technique. Nous sommes reconnus pour notre capacité à répondre à des projets critiques, complexes et à forte valeur ajoutée.

Contexte

Un de nos clients dont l'activité principale réside dans la défense d'intérêts, met en œuvre un Système d’Information unifié, incluant un socle CRM/ERP, un CMS léger et un Hub IA. L'ambition est de bâtir une plateforme souveraine, sécurisée et industrialisée, pour soutenir durablement l'exploitation, les corrections et l'évolution continue du produit. Le rôle se concentre sur l’opérabilité du Hub IA, la maîtrise des coûts et la qualité mesurable, à travers la gestion des prompts, le déploiement, le monitoring et l'exploitation en continu.

Missions

• Dispositif de gestion des prompts : Mettre en place et documenter un système industrialisé pour la gestion des prompts (versioning, rollback, templates).
• Maîtrise des coûts : Établir des mécanismes de contrôle des coûts (caching, routing, quotas) pilotés par des indicateurs clairs.
• Monitoring et exploitation : Déployer un monitoring complet (qualité, latence, erreurs, coûts, dérive) et fournir les runbooks opérationnels associés.
• Quality Gates IA : Définir et mettre en œuvre des quality gates spécifiques à l'IA, incluant des golden sets, des tests automatiques, des seuils d’acceptation et un suivi dans le temps.

Compétences techniques et Expérience :

• Compétences LLMOps :
  • Évaluation continue, monitoring et gestion des déploiements.
  • Capacité à intégrer l’IA dans un CI/CD.
  • Mise en place de Quality Gates IA (golden sets, tests automatiques, seuils d’acceptation).
  • Gestion des prompts : versioning, templates, rollback et A/B testing.
  • Optimisation des coûts : caching, routing de modèles, quotas et mesures de consommation par profil.
  • Monitoring : latence, erreurs, coûts, dérive ; avec alerting et runbooks d’exploitation.
• Culture Produit :
  • Qualité mesurable et réduction des sorties non fiables.
  • Application des règles de citation.

2. Socle Technique Cible

Les propositions devront se conformer au socle suivant ou justifier clairement les écarts :

• Stack Backend : Symfony 7, API Platform, PostgreSQL, Doctrine, Messenger.
• Front-end : Angular (prioritaire).
• DevOps/Infra : CI/CD et Docker constituent le socle commun.

3. Exigences Transverses (Qualité et Sécurité)

• Qualité :
  • Contribution active à la qualité du produit et respect de la Definition of Done commune (non-régression, quality gates, documentation utile).
  • Pratiques d’équipe : PR de taille maîtrisée, revues systématiques, conventions partagées, et usage de feature flags.
• Sécurité :
  • Sécurité applicative pragmatique.
  • Gestion rigoureuse des secrets.
  • Validations côté serveur et côté client.
  • Journaux et traces d’audit.
  • Chiffrement si nécessaire.

4. Expérience Générale

• Capacité à produire, expliciter les choix, documenter et transmettre dans un contexte multi-acteurs et multi-fournisseurs.
• Securité : journaux/audit, politiques, gestion des données sensibles.
• Pérennisation : capacité à intégrer le runbooks, le transfert de compétences et la réversibilité dès la phase build.

CAPFI est une entreprise vivante qui place le collectif et le partage entre pairs au cœur de sa culture. Nous vous proposons un environnement de travail flexible dans l’organisation et agile dans le choix de vos missions. CAPFI c’est aussi :

• Vous offrir la possibilité de suivre des formations certifiantes ;
• Vous permettre de rejoindre les Tribus et de faire vivre l’énergie collective et l'expertise de CAPFI ;
• Vous permettre de consacrer un peu de votre temps pour aider les autres, via NQT, Emmaüs Connect et Le Congé Solidaire, des initiatives dont CAPFI est partenaire.

Chez CAPFI, nous mettons aussi un point d’honneur à ce que tous nos talents évoluent dans un environnement de travail sain, serein et respectueux des exigences sociétales et environnementales. C’est pourquoi :

• Nous sommes labellisés B Corp ;
• Nous sommes signataires de la charte sur l’équilibre vie professionnelle – vie personnelle et de la charte éthique CAPFI.

Notre processus de recrutement :

1. Nous apprenons à nous connaître lors d’un premier entretien téléphonique puis une visio
2. Si vous avez le feeling et que nous aussi, vous réalisez un test technique via la plateforme CodinGame
3. Débrief des résultats de votre test avec un consultant CAPFI
4. Kick off : nous vous proposons une offre de collaboration et nous en discutons ensemble
5. Vous embarquez pour une session d’onboarding : bienvenue dans la famille CAPFI !