Consultant.e Senior Test et Recette Agent IA - H/F

Devoteam; Pays de la Loire; On-site; EUR 65,000 - 90,000; Full time

Job summary

Devoteam Nantes recherche un.e Consultant.e QA IA Senior pour prendre en autonomie la recette d’un projet IA. Vous définissez la stratégie de tests, rédigez des scénarios et réalisez les tests des IHM, API et agents IA, en lien avec les PO, développeurs et métiers.

Vous devrez tester la pertinence des réponses IA, gérer les données de test et piloter les anomalies, tout en évoluant dans un cadre Agile et collaboratif au sein de Devoteam Creative Tech.

Qualifications

• Solide expérience en QA / recette fonctionnelle et technique.
• Expérience significative sur les tests API.
• Maîtrise de JIRA et Xray.
• Capacité à construire une stratégie de tests de bout en bout.
• À l’aise dans un environnement Agile avec de nombreux interlocuteurs.
• Capacité à challenger les équipes et structurer la recette.
• Une expérience concrète de recette/évaluation de solutions GenAI, LLM ou agents IA est obligatoire.

Responsibilities

• Définir la stratégie de tests globale du projet.
• Construire la stratégie d’évaluation et de recette des agents IA.
• Rédiger les scénarios et cas de tests.
• Réaliser les tests des IHM, API et agents IA.
• Tester la pertinence et la robustesse des réponses IA (cohérence, hallucinations, reproductibilité, performance).
• Créer ou compléter les jeux de données de test.
• Identifier, documenter et suivre les anomalies.
• Piloter et coordonner la recette métier.
• Travailler quotidiennement avec les équipes PO, DEV, IA, Data et métiers.

Skills

QA/Recette

Tests API

JIRA/Xray

Stratégie tests

Méthode Agile

Pilotage recette

Tools

JIRA

Xray

Bruno

Job description

Devoteam Nantes, avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Notre équipe de consultants experts accompagne les entreprises dans la réalisation de leurs projets technologiques les plus audacieux, en s’appuyant sur notre expertise en cloud & DevOps, cybersécurité, data / IA, gestion de projet et développement agile.

Devoteam Creative Tech est l’équipe spécialisée dans la conception de produits et services digitaux performants et durables à forte valeur ajoutée. Notre objectif est de simplifier le quotidien des utilisateurs et générer une valeur tangible pour nos clients grands comptes, dans différents secteurs (banque, assurance, e-commerce, énergie, industrie, finance de marché, luxe et retail). Nous sommes 1 100 creative technologists, dont 800 experts en France, répartis dans 5 tribus d’expertises.

Dans le cadre d’un projet stratégique, notre client développe une application destinée à ses équipes métiers. L'application intégrera 10 à 15 agents IA pour enrichir les usages : préparation automatique de rendez-vous, comptes rendus, planification, Q&A sur les procédures et produits, rédaction d’emails, etc. Des prototypes IA existent déjà et doivent désormais être industrialisés.

Nous recherchons un.e Consultant.e QA IA Senior capable de prendre en autonomie la responsabilité de la recette du projet, en lien étroit avec les Product Owners, développeurs, équipes IA/Data et métiers.

Vos missions :

• Définir la stratégie de tests globale du projet.

• Construire la stratégie spécifique d’évaluation et de recette des agents IA.

• Rédiger les scénarios et cas de tests.

• Réaliser les tests des IHM, API et agents IA.

• Tester notamment la pertinence et la robustesse des réponses IA : cohérence, hallucinations, reproductibilité, performance, cas limites…

• Créer ou compléter les jeux de données de test nécessaires.

• Identifier, documenter et suivre les anomalies.

• Piloter et coordonner la recette métier.

• Travailler quotidiennement avec les équipes PO, DEV, IA, Data et métiers.

Vos atouts pour nous rejoindre :

• Solide expérience enQA / recette fonctionnelle et technique.

• Expérience significative sur lestests API.

• Maîtrise deJIRA / Xray.

• Capable de construire une stratégie de tests de bout en bout.

• À l’aise dans un environnement Agile avec de nombreux interlocuteurs.

• Capable de challenger les équipes et de structurer la recette.

Une expérience concrète derecette / évaluation de solutions GenAI, LLM ou agents IAestobligatoire.
Nous privilégieront les profils ayant déjà travaillé sur des sujets tels que :

• définition de critères d'évaluation de réponses LLM ;

• hallucinations et pertinence des réponses ;

• tests de RAG / agents IA ;

• jeux de données / golden datasets ;

• robustesse et cas limites ;

• comparaison et qualification des réponses IA.

Environnement technique :

• Front :ReactJS

• Back :Java

• API

• Test management / anomalies :JIRA, Xray

• Tests API :Bruno

• Outils de tests automatisés déjà présents

• Technologies IA / LLM :les technologies sont en cours de décision

Pourquoi nous rejoindre ?

Nous sommes une AI-Driven Company, partenaire des plus grands partenaires technologiques (Google, AWS, Microsoft, ServiceNow,…) et composée d'un important collectif d'experts (50 tribus d'expertise).

Avec 75% de nos collaborateurs certifiés dont 100 % sur la GenAI, Devoteam s'impose comme une Learning Company, où l’apprentissage continu est au cœur de notre ADN.

Comment se déroule le processus de recrutement chez Devoteam ?

Il comporte 2 à 3 entretiens :

• Talent Acquisition Interview : l'objectif est de faire le point sur vos compétences, votre niveau d'anglais et de valider vos éléments de motivation
• Tech & Business Interview : cet entretien vise à approfondir vos compétences techniques et à vérifier leur adéquation avec nos besoins lors d'un échange avec un expert métier
• Leadership Interview : il permet d'évaluer votre potentiel, vos ambitions et d'envisager votre évolution au sein de Devoteam.

Nous privilégions au moins un entretien en présentiel. Une prise de référence est demandée et, selon votre profil, des tests (techniques, anglais, personnalité...) peuvent vous être adressés.
Si votre candidature est retenue, nous vous faisons parvenir une proposition présentant les conditions d'embauche. En cas d'acceptation, le contrat de travail est formalisé.

Le Groupe Devoteam oeuvre pour l'égalité des chances, pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes convaincus que la diversité contribue à la créativité, au dynamisme et à l'excellence de notre organisation. Chaque candidature est donc considérée indépendamment de tout critère discriminatoire.