Ingénieur QA IA et Tests d’IA Générative

Raedy; Courbevoie; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Raedy recherche un ingénieur QA IA pour concevoir et déployer des agents de tests et des scripts automatisés destinés à valider des solutions IA. Vous définirez les critères de qualification, Mettrez en œuvre des évaluations adaptées à l’IA générative et assurerez la sécurité et la performance des tests.

Vous travaillerez sur des agents IA, des scénarios de tests et des métriques de qualité, avec intégration CI/CD et collaboration avec les équipes produit pour appliquer les meilleures pratiques

Qualifications

• Expérience en conception et développement d’agents IA pour tests automatisés.
• Compétences en qualification de solutions IA (LLM, RAG, agents).
• Maîtrise des tests et scripts automatisés, non-régression des prompts et modèles.

Responsabilités

• Concevoir, développer et améliorer des agents IA de conception et de scripting de tests.
• Définir et mettre en œuvre la stratégie de qualification des solutions IA.
• Mettre en place des méthodes d’évaluation pour l’IA générative.
• Réaliser des jeux de tests de référence et des métriques de qualité.
• Assurer la non-régression des prompts et des modèles.
• Sécuriser le passage du POC au produit et gérer les coûts.
• Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub).
• Accompagner les équipes produit sur les bonnes pratiques qualité IA.

Connaissances

Conception IA

Tests & QA pour IA

CI/CD

C# .NET / Vue.js

Azure DevOps

Outils

Azure DevOps

GitHub Actions

CI/CD pipelines

Azure

Description du poste

Raedy recherche un ingénieur QA IA pour concevoir et déployer des agents de tests et des scripts automatisés destinés à valider des solutions IA. Vous définirez les critères de qualification, Mettrez en œuvre des évaluations adaptées à l’IA générative et assurerez la sécurité et la performance des tests.

Vous travaillerez sur des agents IA, des scénarios de tests et des métriques de qualité, avec intégration CI/CD et collaboration avec les équipes produit pour appliquer les meilleures pratiques