QA IA (Quality Assurance IA / AI Test Engineer)

Skapa Agency; Paris; On-site; EUR 50,000 - 70,000; Full time

Job summary

Une agence de transformation des organisations recherche un QA IA responsable de la qualité et de la conformité des systèmes IA. Ce poste nécessite des compétences avancées en ML et en automatisation de tests, ainsi qu'une compréhension des enjeux éthiques. Le candidat idéal a un Bac +5 et 2 à 5 ans d'expérience en QA, Data ou ML, et saura élaborer des méthodologies de tests innovantes. La mission inclut la détection des biais et l'amélioration continue des systèmes.

Qualifications

• 2 à 5 ans en QA, Data, ML ou automatisation de tests.
• Compréhension forte du ML et de la GenAI.
• Expérience dans le test de modèles ou systèmes complexes.

Responsibilities

• Définir la méthodologie QA adaptée au type de modèle.
• Construire les plans de test IA.
• Tester la performance (metrics ML), la robustesse, l’explicabilité.

Skills

Compréhension avancée : ML, LLM, RAG, pipelines, monitoring

Bon niveau en statistiques, métriques IA

Automatisation des tests

Notions de SRE / performance testing

Méthodologie CT‑AI (tests confiance IA)

Communication claire avec Data Scientists & PO

Sensibilité éthique et RGPD

Education

Bac +5 (data / informatique / stats)

Tools

FastAPI

Flask

DeepEval

Ragas

Promptfoo

Job description

Skapa est une des premières agences en France à exploiter les méthodes du Design Thinking et à les adapter à chaque organisation. Skapa facilite la transformation des organisations, à travers la conception collaborative de nouveaux modèles économiques tournés vers les services. Skapa ancre une dynamique positive de transformation des méthodes de travail et insuffle auprès des équipes qu’elle accompagne, une organisation plus agile, créative, fédératrice, transverse et communicante. Skapa impacte vos offres, crée de nouvelles solutions opérationnelles adaptées à vos clients cibles, vos stratégies, vos ressources. Skapa exploite ses compétences d’innovation et son esprit de challenge pour innover et concevoir vos solutions digitales, vos labs, vos sièges sociaux, vos objets connectés. Skapa stimule l’adhésion de toute l’organisation autour des solutions innovante crées et prépare ainsi un contexte positif à leur éclosion en interne et sur le marché. Skapa accompagne votre politique d’innovation, de transformation stratégique et réintègre vos clients dans la construction de vos enjeux d’avenir, dans le financement de vos innovations. Skapa conçoit une véritable expérience collaborateurs/client et réalise des solutions produit et digitale.

Rôle et mission générale

Le QA IA est responsable de la qualité, de la fiabilité, de la robustesse et de la conformité des systèmes IA avant, pendant et après la mise en production.

Il conçoit et exécute les tests multi-couches :

• Tests spécifiques GenAI / RAG / Agents
• Tests de sécurité, biais, dérive et conformité (CT-AI)

Ce rôle devient crucial avec la montée des systèmes GenAI, agentiques et RAG.

Responsabilités clés

1. Définir la méthodologie QA adaptée au type de modèle : ML, LLM, RAG, agents.

   Construire les plans de test IA : data tests, model tests, risk tests, behavior tests.

   Définir la couverture de test en accord avec le PO et les Data Scientists.

   Vérifier la qualité, cohérence, fraîcheur, représentativité des données.

   Détecter les biais potentiels.

   Définir des tests de drift data.

   Tester la performance (metrics ML), la robustesse, l’explicabilité.

   Tester la stabilité selon différents jeux de données.

   Tester la sensibilité du modèle aux perturbations (adversarial tests).

2. Tests UX pour les assistants IA / agents.

   Tests de charge, latence, disponibilité, escalade.

3. Détection et mesure des hallucinations.

   Tests de pertinence des sources RAG (grounding testing).

   Tests multi-agents (cohérence, coordination, divergence).

   Vérification du respect des garde-fous (ton, contraintes métier, RGPD).

4. Contribution au dossier d’évaluation IA (CT-AI).

   Collaboration avec DPO sur les risques et RGPD.

   Mise à jour des registres IA et des reports d’audit.

Types de missions réalisées

• Test d’un chatbot multi‑agents avant mise en production
• Analyse des hallucinations dans un modèle RAG
• Définition des seuils d’alerte drift pour modèles ML
• Tests de sécurité / robustesse (prompt injection, jailbreaking)
• Mise en place d’un protocole d’explicabilité (LIME, SHAP, PDP)

Compétences essentielles

• Compétences techniques
  • Compréhension avancée : ML, LLM, RAG, pipelines, monitoring
  • Bon niveau en statistiques, métriques IA
  • Compréhension de l’architecture logicielle (API, micro‑services)
• Compétences en QA
  • Automatisation des tests
  • Notions de SRE / performance testing
  • Méthodologie CT‑AI (tests confiance IA)
• Rigueur scientifique
• Capacité d’analyse
• Pensée critique / sceptique
• Communication claire avec Data Scientists & PO
• Sensibilité éthique et RGPD
• Explicabilité : SHAP, LIME
• Tests LLM : DeepEval, Ragas, Promptfoo
• Framework API : FastAPI / Flask (lecture seulement)

Indicateurs de performance

• Taux de couverture de test
• Réduction du taux d’incident après mise en production
• Diminution des hallucinations / erreurs / escalades
• Rapidité à détecter anomalies & dérives
• Qualité de la documentation & audits IA

Pré-requis / Profil recherché

• Bac +5 (data / informatique / stats) ou expérience QA solide
• 2 à 5 ans en QA, Data, ML ou automatisation de tests
• Compréhension forte du ML et de la GenAI
• Expérience dans le test de modèles ou systèmes complexes