Product Owner Evaluation GenAI H/F

NEXTON; Paris; On-site; EUR 90,000 - 130,000; Full time

Benefits offered by this job

Communautés dynamiques

Meet Up et formations

Événements sportifs et festifs

Forfait mobilité durable

Téléphone dernière génération

Job summary

NEXTON recrute un Product Owner Evaluation GenAI (H/F) en CDI à Paris. Vous serez responsable de la définition de la vision produit, de la roadmaps et du pilotage des mécanismes d’évaluation des solutions GenAI pour un grand compte bancaire, en s’appuyant sur une équipe multi-expertise.

Vous contribuerez à structurer l’offre, au pricing et à la mise en place de métriques de performance et de non-régression, avec une forte dimension économique et sécurité.

Qualifications

• 3 à 6 ans d'expérience en Product Ownership technique et en évaluation IA.
• Expérience sur l'homologation et la qualité des solutions GenAI.
• Maîtrise des cadres d'évaluation GenAI et des pratiques CI/CD.

Responsibilities

• Définir la vision produit et la roadmap d'évaluation GenAI.
• Piloter le backlog, organiser les cas d'usage et les critères d'acceptation.
• Coordonner avec Data Science, IT, sécurité et métiers autour du produit.
• Concevoir les restitutions et dashboards pour les risques et l'IT.

Skills

Product Owner

GenAI évaluation

Backlog management

Roadmap planning

CI/CD

Stakeholder management

Data Science collaboration

Tools

Golden Datasets

LLM-as-a-Judge

CI/CD pipelines

Job description

Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une Factory et la dynamique d'une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d'évolution et d'innovation digitale.

Fondée en 2011, NEXTON réunit aujourd'hui une équipe de plus de 450 experts spécialisés dans le digital, le design, l'agilité, le produit et le développement. Ensemble, ils créent un écosystème riche en connaissances et en compétences diversifiées.

Description du poste

NEXTON recrute un Product Owner Evaluation GenAI H/F, en CDI, à Paris !

Ton futur environnement de travail :

Nous recrutons pour l'un de nos grands comptes du secteur bancaire afin de participer à la construction de sa Stack Agentique Groupe. Dans ce cadre stimulant, tu rejoindras une équipe spécialisée pour porter la mise en place d'une offre d'évaluation continue et d'homologation des applications d'IA générative. Tu joueras un rôle clé en apportant une réelle valeur ajoutée sur les dimensions fonctionnelles, méthodologiques et économiques du produit.

Tu cadreras et piloteras les mécanismes d’évaluation automatisée des solutions GenAI (Golden Datasets, métriques techniques et métier, tests de non-régression, approches LLM-as-a-Judge).

Tu définiras la vision du produit d'évaluation, sa roadmap, son backlog, ses cas d’usage et ses critères d’acceptation en coordination étroite avec les équipes IT.

Tu contribueras à la sélection des composants d’évaluation en confrontant les besoins utilisateurs aux contraintes techniques, de sécurité, d’exploitation et de coût.

Tu concevras les restitutions et indicateurs clés : vues détaillées pour l’ingénierie/Data Science et tableaux de bord synthétiques pour les métiers, les risques et les instances de validation.

Tu structureras l’offre de service de la plateforme d'évaluation (services proposés, modalités d'accès, niveaux de service, responsabilités et modèle de pricing).

Tu coordonneras l'ensemble des parties prenantes métiers, Data Science, IT, architecture, sécurité et conformité autour du produit.

Tu positionneras la plateforme comme un Quality Gate industrialisable, traçable et incontournable avant toute mise en production de produits IA.

Environ 3 à 6 ans d'expérience en tant que Product Owner technique, avec un rôle déterminant sur l'évaluation, l'homologation et la qualité de systèmes IA / GenAI.

Solide maîtrise des méthodologies et frameworks d'évaluation GenAI (Golden Datasets, métriques de performance, LLM-as-a-Judge, tests automatisés) et de leur intégration dans des chaînes CI/CD.

Maîtrise des outils de cadrage produit, de la gestion de backlog, de la construction de roadmaps et de la modélisation d'offres de service avec modèle de pricing.

Expérience dans la manipulation et l'assemblage de solutions composites (briques open source, composants externes et solutions internes).

Rigueur, excellente capacité de synthèse et aisance relationnelle pour animer un écosystème multi-expertises (Data Science, IT, Métiers, Sécurité, Conformité).

Informations complémentaires

Pourquoi choisir NEXTON ?

Nous te proposons des avantages et des opportunités pour enrichir ton expérience professionnelle et personnelle tout au long de l'année :

• Des communautés dynamiques pour t'accompagner dans ton parcours.
• Des Meet Up pour développer tes compétences.
• Des formations pour te réinventer et progresser.
• Des événements sportifs et festifs pour t'épanouir.
• Un forfait mobilité durable pour faciliter ton quotidien et encourager la mobilité douce.
• Un téléphone de dernière génération pour rester connecté.