Senior QA & Recette IA – Agents GenAI

Devoteam; Nantes; Sur place; EUR 55 000 - 75 000; Plein temps

Résumé du poste

Devoteam Nantes recherche un Consultant.e QA IA Senior pour prendre en autonomie la recette du projet d’application IA destinées aux équipes métiers. Vous définirez la stratégie de tests, planifierez les scénarios et réaliserez les tests des IHM, API et agents IA en lien avec les Product Owners et les équipes IA/Data.

Le candidat idéal dispose d’une solide expérience en QA et en tests API, et sait construire une approche complète de tests de bout en bout dans un cadre Agile, avec une sensibilité

Qualifications

• Expérience solide en QA et recette fonctionnelle et technique.
• Expérience significative sur les tests API.
• Capacité à construire une stratégie de tests de bout en bout.
• Expérience en recette / évaluation de solutions GenAI, LLM ou agents IA.
• Connaissance de l’évaluation des réponses IA, hallucinations, reproductibilité et robustesse.
• Expérience sur critères d’évaluation de réponses LLM, tests de RAG et jeux de données.

Responsabilités

• Définir la stratégie de tests globale du projet.
• Construire la stratégie d’évaluation et de recette des agents IA.
• Rédiger les scénarios et cas de tests.
• Réaliser les tests des IHM, API et agents IA.
• Tester la pertinence et la robustesse des réponses IA (cohérence, hallucinations, performance).
• Créer ou compléter les jeux de données de test.
• Identifier et suivre les anomalies.
• Piloter et coordonner la recette métier.
• Travailler avec les équipes PO, Dev, IA, Data et métiers.

Connaissances

QA / recette fonctionnelle

QA / recette technique

Tests API

Stratégie de tests

Recette IA / GenAI / LLM

Environnement Agile

Description du poste

Devoteam Nantes recherche un Consultant.e QA IA Senior pour prendre en autonomie la recette du projet d’application IA destinées aux équipes métiers. Vous définirez la stratégie de tests, planifierez les scénarios et réaliserez les tests des IHM, API et agents IA en lien avec les Product Owners et les équipes IA/Data.

Le candidat idéal dispose d’une solide expérience en QA et en tests API, et sait construire une approche complète de tests de bout en bout dans un cadre Agile, avec une sensibilité