AI Systems QA Engineer: Reliability & Evaluation

Ai Makers; France; Hybrid; EUR 60,000 - 90,000; Full time

Job summary

Ai Makers recherche un QA Engineer pour les systèmes d’IA en production. Vous écrivez et maintenez une suite d’évaluation et un jeu de tests pour un agent support client.

Vous cassez des workflows n8n pour corriger des bugs tout en garantissant que les tests régressent et vous êtes le dernier gate avant la mise en production, validant les chiffres et les indicateurs clé. Vous surveillez les dérives et rédigez des rapports clairs pour une audience non technique.

Qualifications

• 3 à 8 ans d’expérience en QA, test engineering ou SDET, avec une partie en systèmes d’IA en production.
• Conception d’évaluations pour des systèmes IA et gestion de non-déterminisme.
• Capacité à produire des rapports d’acceptation clairs et des drift write-ups.
• À l’aise à dire non sous pression et à stopper les livraisons si nécessaire.

Responsibilities

• Vous écrivez une suite d’évaluation et un jeu de tests pour un agent support client.
• Vous cassez un workflow n8n pour corriger un bug et vous assurez que les tests régressent.
• Vous êtes le dernier gate avant le live et vous validez les chiffres et les indicateurs de fiabilité et de coût.
• Vous surveillez les dérives et écrivez des rapports compréhensibles par une audience non technique.

Skills

Evaluation techniques

Python

Testing non-deterministic AI outputs

Regression testing

Documentation writing

Stakeholder communication

Tools

promptfoo

DeepEval

n8n workflows

CI/CD

Job description

Ai Makers recherche un QA Engineer pour les systèmes d’IA en production. Vous écrivez et maintenez une suite d’évaluation et un jeu de tests pour un agent support client.

Vous cassez des workflows n8n pour corriger des bugs tout en garantissant que les tests régressent et vous êtes le dernier gate avant la mise en production, validant les chiffres et les indicateurs clé. Vous surveillez les dérives et rédigez des rapports clairs pour une audience non technique.