Remote AI Evaluation Engineer — Multi-Agent QA

DHM IT; Neuilly-sur-Seine; Hybride; EUR 70 000 - 95 000; Plein temps

Résumé du poste

DHM IT recherche un.e AI Evaluation Engineer — Agentic Systems pour rejoindre sa Squad AI Quality & Evaluation. Télétravail avec flexibilité sur la région parisienne afin de garantir, mesurer et fiabiliser le comportement des agents et systèmes multi‑agents avant leur mise en production.

Vous concevrez des stratégies d’évaluation, orchestrerez des workflows agentiques et développerez des jeux de tests et scénarios de simulation, avec une approche CI/CD et détection de régressions.

Qualifications

• Expérience en évaluation de systèmes IA nécessaire.
• Compréhension des trajectoires et échecs intermédiaires.
• Connaissance du cadre EU AI Act et RGPD.
• Anglais professionnel requis.

Responsabilités

• Concevoir des stratégies d'évaluation pour agents et systèmes multi-agent.
• Évaluer les échecs intermédiaires et la dérive de comportement.
• Concevoir et tester des workflows agentiques.
• Construire des jeux de tests et scénarios de simulation.
• Industrialiser l'évaluation dans CI/CD et définir quality gates.
• Définir des métriques clés et harmoniser human-in-the-loop.
• Diffuser les bonnes pratiques d'évaluation agentique.

Connaissances

Python

Automatisation de tests

Évaluation IA

Prompt engineering

QA / test

Formation

ISTQB CT-AI (v2.0)

CT-GenAI

Outils

DeepEval

Ragas

TruLens

Giskard

Langfuse

Opik

Description du poste

DHM IT recherche un.e AI Evaluation Engineer — Agentic Systems pour rejoindre sa Squad AI Quality & Evaluation. Télétravail avec flexibilité sur la région parisienne afin de garantir, mesurer et fiabiliser le comportement des agents et systèmes multi‑agents avant leur mise en production.

Vous concevrez des stratégies d’évaluation, orchestrerez des workflows agentiques et développerez des jeux de tests et scénarios de simulation, avec une approche CI/CD et détection de régressions.