Remote AI Evaluation Engineer — Multi-Agent QA

Dhm IT

Neuilly-sur-Seine

Hybrid

EUR 70,000 - 95,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

DHM IT recherche un.e AI Evaluation Engineer — Agentic Systems pour rejoindre sa Squad AI Quality & Evaluation. Télétravail avec flexibilité sur la région parisienne afin de garantir, mesurer et fiabiliser le comportement des agents et systèmes multi‑agents avant leur mise en production.

Vous concevrez des stratégies d’évaluation, orchestrerez des workflows agentiques et développerez des jeux de tests et scénarios de simulation, avec une approche CI/CD et détection de régressions.

Qualifications

  • Expérience en évaluation de systèmes IA nécessaire.
  • Compréhension des trajectoires et échecs intermédiaires.
  • Connaissance du cadre EU AI Act et RGPD.
  • Anglais professionnel requis.

Responsibilities

  • Concevoir des stratégies d'évaluation pour agents et systèmes multi-agent.
  • Évaluer les échecs intermédiaires et la dérive de comportement.
  • Concevoir et tester des workflows agentiques.
  • Construire des jeux de tests et scénarios de simulation.
  • Industrialiser l'évaluation dans CI/CD et définir quality gates.
  • Définir des métriques clés et harmoniser human-in-the-loop.
  • Diffuser les bonnes pratiques d'évaluation agentique.

Skills

Python
Automatisation de tests
Évaluation IA
Prompt engineering
QA / test

Education

ISTQB CT-AI (v2.0)
CT-GenAI

Tools

DeepEval
Ragas
TruLens
Giskard
Langfuse
Opik

Job description

DHM IT recherche un.e AI Evaluation Engineer — Agentic Systems pour rejoindre sa Squad AI Quality & Evaluation. Télétravail avec flexibilité sur la région parisienne afin de garantir, mesurer et fiabiliser le comportement des agents et systèmes multi‑agents avant leur mise en production.

Vous concevrez des stratégies d’évaluation, orchestrerez des workflows agentiques et développerez des jeux de tests et scénarios de simulation, avec une approche CI/CD et détection de régressions.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

AI Evaluation Engineer — Agentic Systems (H/F)
AI Evaluation Engineer — Agentic Systems (H/F)

Dhm IT • Neuilly-sur-Seine

Hybrid
EUR 70,000 - 95,000
Senior AI/QA Architect for Multi-Agent Systems (Freelance)
Senior AI/QA Architect for Multi-Agent Systems (Freelance)

VISIAN • Paris

On-site
EUR 70,000 - 110,000
Senior AI Engineer: GenAI & Multi-Agent Systems
Senior AI Engineer: GenAI & Multi-Agent Systems

Collective.work • Paris

On-site
EUR 90,000 - 130,000
AI Systems QA Engineer: Reliability & Evaluation
AI Systems QA Engineer: Reliability & Evaluation

Ai Makers • France

Hybrid
EUR 60,000 - 90,000
Senior AI Engineer - GenAI & Agents IA - Freelance (H/F)
Senior AI Engineer - GenAI & Agents IA - Freelance (H/F)

Collective.work • Paris

On-site
EUR 90,000 - 130,000
Production-Ready AI Agent Architect
Production-Ready AI Agent Architect

Keyrus • Levallois-Perret

On-site
EUR 90,000 - 125,000
Senior AI Engineer: GenAI & Agentique, Remote
Senior AI Engineer: GenAI & Agentique, Remote

Converteo • Paris

On-site
EUR 70,000 - 120,000
Équilibre vie pro/perso
Formation interne (School)
Télétravail flexible
+4
Senior AI Engineer (IT) / Freelance
Senior AI Engineer (IT) / Freelance

Avelsen • Paris

On-site
EUR 90,000 - 140,000
Senior AI Engineer – Remote-Ready, Lead Generative & Agent AI
Senior AI Engineer – Remote-Ready, Lead Generative & Agent AI

Equancy | Groupe EDG • Paris

Hybrid
EUR 90,000 - 130,000
Télétravail partiel
Équipement à distance
Allocation mensuelle
+1
Applied AI Engineer: Autonomous Agents for Content Ops
Applied AI Engineer: Autonomous Agents for Content Ops

87seconds Group • Levallois-Perret

Hybrid
EUR 70,000 - 110,000
Tickets restaurant
Prime de participation
CSE