QC IA – Qualité & Agents de test IA (IT) / Freelance

5COM CONSULTING; Courbevoie; On-site; EUR 60,000 - 90,000; Full time

Job summary

5COM CONSULTING recherche un expert pour concevoir et développer des agents IA dédiés au testing et à la qualification des solutions IA (LLM, RAG). Vous contribuerez à mettre au point des scénarios, scripts et méthodes d’évaluation adaptés à l’IA générative.

Vous intégrerez les tests dans les chaînes CI/CD (Azure DevOps / GitHub), assurerez la sécurité et la performance lors du passage du POC au produit, et accompagnerez les équipes produit sur les meilleures pratiques qualité IA.

Qualifications

• Concevoir et développer des agents IA pour la conception et le scripting de tests.
• Mettre en œuvre une stratégie de qualification des solutions IA (LLM, RAG, agents).
• Évaluer l’IA générative avec des jeux de tests, des métriques et des tests de non-régression.

Responsibilities

• Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub).
• Sécuriser le passage du POC au produit (robustesse, sécurité et coûts).
• Accompagner les équipes produit sur les bonnes pratiques qualité IA.

Skills

IA testing

Test automation

LLM / AI

Scripting tests

AI governance

Tools

Azure DevOps

GitHub Actions

Job description

Le contexte
Notre client est un grand cabinet d’audit et de conseil. Il développe et opère en interne une quinzaine de produits applicatifs en C# .NET / Vue.js sur Microsoft Azure, destinés à ses métiers Audit, Advisory et à ses fonctions support.

Il renforce aujourd’hui sa capacité à industrialiser des POC/POV construits rapidement avec l’IA générative (« vibe coding »). Ces prototypes s’appuient sur des services d’IA cloud (LLM, RAG, agents) et doivent devenir des produits fiables, sécurisés et exploitables en production.

Vos missions

• Concevoir, développer et améliorer des agents IA de conception et de scripting de tests : génération de cas de test, de scénarios et de scripts automatisés

• Définir et mettre en œuvre la stratégie de qualification des solutions IA (LLM, RAG, agents)

• Mettre en place des méthodes d’évaluation adaptées à l’IA générative :

  • jeux de tests de référence

  • métriques de qualité (pertinence, fidélité, hallucinations)

  • non-régression des prompts et des modèles

• Sécuriser le passage du POC au produit : critères d’acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts

• Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub)

• Accompagner les équipes produit sur les bonnes pratiques qualité appliquées à l’IA