AI Product Specialist

lesfurets; Paris; Híbrido; EUR 90.000 - 120.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Télétravail possible

Développement professionnel

Épargne retraite

Équilibre vie pro/perso

RSE & projets associatifs

Descripción de la vacante

LesFurets recherche un AI Product Specialist pour assurer la qualité et la performance des agents IA en production, en étroite collaboration avec l’équipe IA et le senior software engineer. Vous piloterez l’itération des prompts et l’optimisation du RAG, tout en développant les tests et les critères d’évaluation.

Ce rôle nécessite une expérience avérée sur des produits basés sur des LLM, une connaissance des règles de conformité et une capacité à étendre l’usage des agents IA à de nouveaux

Formación

• Expérience sur des produits basés sur des LLM et itération sur les prompts.
• Évaluation et tests de qualité des réponses d’un assistant IA.
• Connaissance des enjeux RGPD et cadres réglementaires IA.

Responsabilidades

• Concevoir, tester et améliorer les prompts et le contexte des agents IA.
• Analyser les conversations et les traces pour diagnostiquer les problèmes.
• Concevoir des jeux de tests et des critères d’évaluation de la qualité.

Conocimientos

Prompting & optimisation

Analyse conversations

Lecture traces (LangSmith)

LLM understanding

Data interpretation

Conformité & RGPD

Rigueur intellectuelle

Culture produit

Communication

Collaboration

Curiosité

Descripción del empleo

En tant que AI Product Specialist, vous êtes responsable de la qualité et de la performance de nos agents IA en production. Votre mission : faire en sorte que ce que nos agents répondent à nos clients soit juste, utile et fiable, et étendre ces agents à de nouvelles lignes d’assurance, dans un contexte exigeant : données sensibles et marché réglementé.

Vous évoluez au sein de l’équipe Produit, en binôme étroit avec le senior software engineer de l’équipe IA, qui construit le socle technique et l’architecture de nos agents. Il construit et intègre, vous améliorez et garantissez la qualité de ce qui est livré.

Vous faites aussi de l’IA une compétence partagée dans l’équipe.

Améliorer la qualité et la performance de nos agents IA

• Itération sur les prompts : concevoir, tester et améliorer les prompts, le contexte fourni et les garde-fous de nos agents, avec une démarche d’expérimentation rigoureuse et mesurée.
• Optimisation du RAG : analyser et améliorer la pertinence des informations récupérées et du contexte fourni aux agents, afin de garantir des réponses fiables, précises et fondées sur les bonnes sources.
• Analyse des conversations : exploiter les traces de nos agents (via LangSmith) pour comprendre ce qui fonctionne, ce qui échoue et pourquoi, du point de vue du client.
• Jeux de tests et critères de qualité : construire et faire évoluer les jeux de tests et les évaluateurs automatisés (notamment LLM-as-a-Judge) pour mesurer objectivement la qualité des réponses, identifier les axes d’amélioration et détecter les régressions.
• Suivi de la qualité : définir et suivre les indicateurs de qualité de nos agents (exactitude, pertinence, satisfaction etc), et animer des revues régulières.
• Gestion de l’incertitude : définir avec les équipes concernées les cas où l’agent doit s’abstenir ou passer la main à un humain, et les cas critiques à ne jamais manquer.

Étendre nos agents à de nouveaux périmètres

• Nouvelles lignes d’assurance : préparer l’extension de nos agents à de nouveaux produits. Exemple concret : passer de l’agent qui répond aux questions de nos clients en assurance auto à l’assurance santé, puis à d’autres lignes (moto, emprunteur, MRH).
• Connaissance métier : travailler avec les experts métier pour fournir les contenus, les cas d’usage et les cas limites propres à chaque périmètre.
• Critères de mise en production : définir les critères de qualité à atteindre avant chaque ouverture, et s’assurer qu’ils sont respectés.
• Ouverture progressive : accompagner les phases pilotes (mode shadow, ouverture progressive) et analyser les résultats pour décider de la suite.

Diffuser la compétence IA dans l’équipe

• Transmission : former l’équipe Produit à lire les conversations, comprendre les évaluations et itérer sur les prompts, pour que cette compétence ne repose pas sur une seule personne.
• Documentation : documenter les bonnes pratiques, les jeux de tests et les décisions, pour qu’elles soient réutilisables.

Travailler au cœur d’une équipe

• Binôme avec la Tech : travailler au quotidien avec le senior software engineer de l’équipe IA.
• Partenaire du Produit et des métiers : collaborer avec les PM et les équipes commerciales et marketing.
• Conformité : respecter notre gouvernance IA et la réglementation applicable (RGPD, AI Act, devoir de conseil).

Expérience :

Expérience concrète sur des produits basés sur des LLM avec une pratique avérée de l’itération sur les prompts et de l’évaluation de la qualité des réponses. Une expérience dans un contexte régulé ou sensible (assurance, finance, santé) est un plus.

• Prompting et optimisation : maîtrise des techniques d’amélioration d’un agent (rédaction et structuration de prompts, contexte, garde-fous), avec une démarche de test comparatif.
• Évaluation de la qualité : expérience concrète de conception de jeux de tests et de critères d’évaluation d’un assistant IA.
• Lecture des traces : capacité à analyser des conversations et des traces (LangSmith) pour diagnostiquer les problèmes et les prioriser.
• Compréhension des LLM : bonne compréhension de leur fonctionnement et de leurs limites (hallucinations, RAG, variabilité des réponses).
• Analyse de données : capacité à tirer des conclusions fiables de données d’usage et à relier la qualité d’une réponse à un résultat business.
• Conformité : sensibilité aux enjeux de données personnelles et de réglementation IA
• Rigueur et honnêteté intellectuelle : capacité à dire qu’un agent n’est pas prêt, preuves à l’appui, même sous pression de calendrier.
• Culture produit et orientation business : comprendre ce qu’est une bonne réponse pour un client et pour le business, et pas seulement pour un modèle.
• Communication : rendre des résultats techniques lisibles pour des équipes non techniques et pour des décideurs.
• Pédagogie : goût pour la transmission, capacité à rendre l’IA accessible à des équipes non expertes.
• Collaboration : étroite collaboration avec la Tech et les métiers (équipes commerciales et marketing)
• Curiosité : appétence pour un domaine qui évolue très vite.

Rejoindre une entreprise où la bienveillance et la cohésion prime et dans laquelle tu pourras évoluer dans un environnement sain et productif en développant tes capacités et répondre à des challenges au quotidien.

Mais puisque le travail ne fait pas tout et que nous aimons penser qu’il est possible de lier performance et plaisir, tu auras aussi l’occasion de participer à nos tournois, nos évènements RSE, nos after-work, nos petits-déjeuners, nos team-buildings et bien d’autres évènements internes qui animent et enrichissent nos journées.

De plus vous aurez aussi accès aux avantages suivants :

• Le Développement professionnel avec un onboarding complet et un budget formation & conférence alloué.
• Une épargne retraite pour anticiper sereinement ses vieux jours.
• Le télétravail, quin’est pas une option chez lesfurets, c’est un savoir vivre jusqu’à 3 jours de télétravail par semaine autorisés, autrement dit, 8 jours minimum de présence au bureau par mois à répartir selon les préférences de chacun + la possibilité de télétravailler à l’étranger.
• Équilibre vie pro/perso avec notamment 2 jours de Care Days en plus de ses congés payés et RTT
• RSE avec 2 jours offerts par an pour s’investir sur les projets RSE/associatifs de son choix

Nota Bene : Dans le respect du cadre légal aucune discrimination n’est faite à l’embauche sur aucun motif que ce soit. Lesfurets interdit formellement toute discrimination à l’encontre d’un employé ou d’un candidat en raison de sa race, de sa couleur, de sa religion, de son sexe, de son orientation sexuelle, de son identité ou de son expression sexuelle, de son origine nationale, de son âge, de son handicap ou de toute autre caractéristique protégée par la lois.