Ingénieur IA — Agents QA & Tests End-to-End

Brief IA

Paris

On-site

EUR 77,000 - 89,000

Full time

3 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Brief IA recherche un expert QA pour concevoir et piloter la stratégie de test des agents IA utilisés dans nos projets d'audit et de conseil. Vous définirez les types de tests, les scénarios et les critères d'acceptation.

Vous couvrirez les domaines applicatif, data et data science, validerez les modèles et les prompts des LLM, et assurerez une intégration CI/CD sur Azure DevOps et GitHub.

Responsibilities

  • Définir la stratégie de test globale : identifier les types de tests pertinents selon le domaine (applicatif, data, data science, IA générative) et le niveau de risque, avant toute mise en production
  • Concevoir, développer et faire évoluer des agents IA capables de prendre en charge le cycle QA de bout en bout : analyse des besoins et génération des cas de test et scénarios, écriture et maintenance des scripts de tests automatisés, exécution, analyse des résultats et remontée des anomalies
  • Couvrir l'ensemble des domaines : Applications : tests fonctionnels, end-to-end, API, non-régression, performance, sécurité; Data : qualité et cohérence des données, contrôle des pipelines, réconciliation; Data science / IA : validation des modèles, évaluation des LLM, RAG et agents (pertinence, fidélité, hallucinations), non-régression des prompts et des modèles; Sécuriser le passage du POC au produit : critères d'acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts; Intégrer les agents et les tests dans les chaînes CI/CD (Azure Dev Ops / Git Hub)
  • Accompagner les équipes produit d

Job description

Brief IA recherche un expert QA pour concevoir et piloter la stratégie de test des agents IA utilisés dans nos projets d'audit et de conseil. Vous définirez les types de tests, les scénarios et les critères d'acceptation.

Vous couvrirez les domaines applicatif, data et data science, validerez les modèles et les prompts des LLM, et assurerez une intégration CI/CD sur Azure DevOps et GitHub.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Ingénieur QA IA et Agents de Test Génératifs
Ingénieur QA IA et Agents de Test Génératifs

5COM CONSULTING • Courbevoie

On-site
EUR 60,000 - 90,000
Ingénieur IA - Agents de test & Qualité - Freelance (H/F)
Ingénieur IA - Agents de test & Qualité - Freelance (H/F)

Brief IA • Paris

On-site
EUR 77,000 - 89,000
QC IA – Qualité & Agents de test IA (IT) / Freelance
QC IA – Qualité & Agents de test IA (IT) / Freelance

5COM CONSULTING • Courbevoie

On-site
EUR 60,000 - 90,000
QA IA
QA IA

Raedy • Courbevoie

On-site
EUR 60,000 - 90,000
Ingénieur QA IA — Tests, Automatisation et IA Innovants
Ingénieur QA IA — Tests, Automatisation et IA Innovants

Kereval • Thorigné-Fouillard

On-site
EUR 42,000 - 58,000
Ingénieur QA IA et Tests d’IA Générative
Ingénieur QA IA et Tests d’IA Générative

Raedy • Courbevoie

On-site
EUR 60,000 - 90,000
Stage Ingénieur.e QA IA F/H
Stage Ingénieur.e QA IA F/H

Kereval • Thorigné-Fouillard

On-site
EUR 42,000 - 58,000
TEST – Consultant Expert Test IA – Senior (IT) / Freelance
TEST – Consultant Expert Test IA – Senior (IT) / Freelance

VISIAN • Paris

On-site
EUR 90,000 - 130,000
Ingénieur QA IA Senior – Agents & Tests IA en prod
Ingénieur QA IA Senior – Agents & Tests IA en prod

SARIEL • Courbevoie

On-site
EUR 70,000 - 100,000
Consultant QA Senior – Stratégie de Tests IA & SDLC
Consultant QA Senior – Stratégie de Tests IA & SDLC

VISIAN • Paris

On-site
EUR 90,000 - 130,000