Product Owner Evaluation GenAI H/F

NEXTON; Paris; On-site; EUR 60,000 - 90,000; Full time

Benefits offered by this job

Communautés dynamiques

Meet Ups

Formations

Événements sportifs

Forfait mobilité durable

Téléphone dernier cri

Job summary

NEXTON recrute un Product Owner technique pour piloter une offre d'évaluation continue et d'homologation des applications d'IA générative au sein d'un grand compte bancaire. Vous participerez à la définition de la vision produit, roadmap et critères d'acceptation, en coordination avec les équipes IT et Data Science.

Vous contribuerez à la sélection des composants, structurerez l'offre et piloterez les parties prenantes métiers, sécurité et conformité, afin d'assurer un Quality Gate

Qualifications

• Environ 3 à 6 ans d'expérience en Product Owner technique, axé sur l'évaluation et l'homologation des systèmes IA.
• Maîtrise des cadres GenAI (Golden Datasets, métriques, LLM-as-a-Judge, tests automatisés) et de leur intégration dans des chaînes CI/CD.
• Maîtrise des outils de cadrage produit, de la gestion de backlog, de la construction de roadmaps et de la modélisation d'offres de service avec modèle de pricing.
• Expérience dans la manipulation et l'assemblage de solutions composites (briques open source, composants externes et solutions internes).

Responsibilities

• Cadrer et piloter les mécanismes d’évaluation automatisée des solutions GenAI (Golden Datasets, métriques techniques et métier, tests de non-régression, approches LLM-as-a-Judge).
• Définir la vision du produit d'évaluation, sa roadmap, son backlog, ses cas d’usage et ses critères d’acceptation en coordination étroite avec les équipes IT.
• Contribuer à la sélection des composants d’évaluation en confrontant les besoins utilisateurs aux contraintes techniques, de sécurité, d’exploitation et de coût.
• Concevoir les restitutions et indicateurs clés : vues détaillées pour l’ingénierie/Data Science et tableaux de bord synthétiques pour les métiers, les risques et les instances de validation.
• Structurer l’offre de service de la plateforme d'évaluation (services proposés, modalités d'accès, niveaux de service, responsabilités et modèle de pricing).
• Coordonner l'ensemble des parties prenantes métiers, Data Science, IT, architecture, sécurité et conformité autour du produit.
• Positionner la plateforme comme un Quality Gate industrialisable, traçable et incontournable avant toute mise en production de produits IA.

Skills

Product Owner technique

GenAI évaluation

CI/CD intégration

Gestion de backlog

Modélisation d'offres & pricing

Tools

CI/CD outils

Outils Data Science

Composants Open Source

Job description

Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une Factory et la dynamique d'une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d'évolution et d'innovation digitale.

Fondée en 2011, NEXTON réunit aujourd'hui une équipe de plus de 450 experts spécialisés dans le digital, le design, l'agilité, le produit et le développement. Ensemble, ils créent un écosystème riche en connaissances et en compétences diversifiées.

Qui sommes-nous?

Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une Factory et la dynamique d'une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d'évolution et d'innovation digitale.

Fondée en 2011, NEXTON réunit aujourd'hui une équipe de plus de 450 experts spécialisés dans le digital, le design, l'agilité, le produit et le développement. Ensemble, ils créent un écosystème riche en connaissances et en compétences diversifiées.

Description du poste

NEXTON recrute un Product Owner Evaluation GenAI H/F, en CDI, à Paris !

Ton futur environnement de travail :

Nous recrutons pour l'un de nos grands comptes du secteur bancaire afin de participer à la construction de sa Stack Agentique Groupe. Dans ce cadre stimulant, tu rejoindras une équipe spécialisée pour porter la mise en place d'une offre d'évaluation continue et d'homologation des applications d'IA générative. Tu joueras un rôle clé en apportant une réelle valeur ajoutée sur les dimensions fonctionnelles, méthodologiques et économiques du produit.

Tes missions :

• Tu cadreras et piloteras les mécanismes d’évaluation automatisée des solutions GenAI (Golden Datasets, métriques techniques et métier, tests de non-régression, approches LLM-as-a-Judge).
• Tu définiras la vision du produit d'évaluation, sa roadmap, son backlog, ses cas d’usage et ses critères d’acceptation en coordination étroite avec les équipes IT.
• Tu contribueras à la sélection des composants d’évaluation en confrontant les besoins utilisateurs aux contraintes techniques, de sécurité, d’exploitation et de coût.
• Tu concevras les restitutions et indicateurs clés : vues détaillées pour l’ingénierie/Data Science et tableaux de bord synthétiques pour les métiers, les risques et les instances de validation.
• Tu structureras l’offre de service de la plateforme d'évaluation (services proposés, modalités d'accès, niveaux de service, responsabilités et modèle de pricing).
• Tu coordonneras l'ensemble des parties prenantes métiers, Data Science, IT, architecture, sécurité et conformité autour du produit.
• Tu positionneras la plateforme comme un Quality Gate industrialisable, traçable et incontournable avant toute mise en production de produits IA.

Qualifications

• Environ 3 à 6 ans d'expérience en tant que Product Owner technique, avec un rôle déterminant sur l'évaluation, l'homologation et la qualité de systèmes IA / GenAI.
• Solide maîtrise des méthodologies et frameworks d'évaluation GenAI (Golden Datasets, métriques de performance, LLM-as-a-Judge, tests automatisés) et de leur intégration dans des chaînes CI/CD.
• Maîtrise des outils de cadrage produit, de la gestion de backlog, de la construction de roadmaps et de la modélisation d'offres de service avec modèle de pricing.
• Expérience dans la manipulation et l'assemblage de solutions composites (briques open source, composants externes et solutions internes).
• Rigueur, excellente capacité de synthèse et aisance relationnelle pour animer un écosystème multi-expertises (Data Science, IT, Métiers, Sécurité, Conformité).

Informations supplémentaires

Pourquoi choisir NEXTON ?

Nous te proposons des avantages et des opportunités pour enrichir ton expérience professionnelle et personnelle tout au long de l'année :

Des communautés dynamiques pour t'accompagner dans ton parcours.

Des Meet Up pour développer tes compétences.

Des formations pour te réinventer et progresser.

Des événements sportifs et festifs pour t'épanouir.

Un forfait mobilité durable pour faciliter ton quotidien et encourager la mobilité douce.

Un téléphone de dernière génération pour rester connecté.