QA IA

Raedy; Courbevoie; On-site; EUR 60,000 - 90,000; Full time

Job summary

Raedy recherche un ingénieur QA IA pour concevoir et déployer des agents de tests et des scripts automatisés destinés à valider des solutions IA. Vous définirez les critères de qualification, Mettrez en œuvre des évaluations adaptées à l’IA générative et assurerez la sécurité et la performance des tests.

Vous travaillerez sur des agents IA, des scénarios de tests et des métriques de qualité, avec intégration CI/CD et collaboration avec les équipes produit pour appliquer les meilleures pratiques

Qualifications

• Expérience en conception et développement d’agents IA pour tests automatisés.
• Compétences en qualification de solutions IA (LLM, RAG, agents).
• Maîtrise des tests et scripts automatisés, non-régression des prompts et modèles.

Responsibilities

• Concevoir, développer et améliorer des agents IA de conception et de scripting de tests.
• Définir et mettre en œuvre la stratégie de qualification des solutions IA.
• Mettre en place des méthodes d’évaluation pour l’IA générative.
• Réaliser des jeux de tests de référence et des métriques de qualité.
• Assurer la non-régression des prompts et des modèles.
• Sécuriser le passage du POC au produit et gérer les coûts.
• Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub).
• Accompagner les équipes produit sur les bonnes pratiques qualité IA.

Skills

Conception IA

Tests & QA pour IA

CI/CD

C# .NET / Vue.js

Azure DevOps

Tools

Azure DevOps

GitHub Actions

CI/CD pipelines

Azure

Job description

Notre client est un grand cabinet d’audit et de conseil. Il développe et opère en interne une quinzaine de produits applicatifs en C# .NET / Vue.js sur Microsoft Azure, destinés à ses métiers Audit, Advisory et à ses fonctions support.

Vos missions

• Concevoir, développer et améliorer des agents IA de conception et de scripting de tests : génération de cas de test, de scénarios et de scripts automatisés

• Définir et mettre en œuvre la stratégie de qualification des solutions IA (LLM, RAG, agents)

• Mettre en place des méthodes d’évaluation adaptées à l’IA générative :

• jeux de tests de référence

• métriques de qualité (pertinence, fidélité, hallucinations)

• non-régression des prompts et des modèles

• Sécuriser le passage du POC au produit : critères d’acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts

• Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub)

• Accompagner les équipes produit sur les bonnes pratiques qualité appliquées à l’IA