Consultant Expert Test IA / QA Senior – Architectures Agentiques (IT) / Freelance

VISIAN

Paris

On-site

EUR 70,000 - 110,000

Full time

6 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

VISIAN recherche un consultant QA IA pour piloter la qualité des solutions IA et des architectures agentiques au sein d’un grand groupe en transformation. Vous définirez la stratégie de test, écrirez des scénarios, et validez les comportements des agents et des orchestrations multi‑agents.

Le rôle met l’accent sur l’intégration des tests dans le SDLC et les pipelines CI/CD, l’observabilité et la réduction des risques d’hallucination, avec un accompagnement des équipes métier et techniques.

Qualifications

  • Définir et structurer la stratégie de test adaptée aux solutions IA et architectures agentiques.
  • Transformer les besoins métier en critères de validation mesurables.
  • Concevoir et exécuter des scénarios de tests pour LLM et agents IA.

Responsibilities

  • Définir la stratégie de test et les critères d’acceptation à chaque étape du cycle de développement.
  • Concevoir et exécuter des tests IA et multi-agent, évaluer conformité et robustesse.
  • Intégrer les tests et le contrôle qualité dans le SDLC et les pipelines CI/CD.
  • Industrialiser les dispositifs de test et assurer l’observabilité des agents IA.
  • Accompagner les équipes et harmoniser les pratiques QA autour des LLM et architectures multi-agents.

Skills

Qualité logicielle IA
Tests IA et LLM
Stratégie QA SDLC
CI/CD et livraisons
Observabilité IA

Job description

Au sein d'un grand groupe engagé dans une démarche de transformation et d'industrialisation de ses processus de delivery, le consultant interviendra sur des projets liés à l'intégration de l'intelligence artificielle et au développement de solutions basées sur des architectures agentiques.

La mission s'articule autour de deux axes principaux :

  • Mise en place d'un SDLC agentique : structuration et sécurisation d'un cycle de développement de bout en bout intégrant des agents IA, depuis l'expression du besoin jusqu'au déploiement, avec des contrôles qualité à chaque étape.

  • Développement d'un prototype métier intégrant de l'IA : qualification d'une solution agentique venant enrichir un parcours métier existant, notamment pour analyser des documents entrants et exploiter les informations dans un processus opérationnel.

Dans ce contexte, l'objectif est de définir et d'industrialiser une véritable démarche de qualité et de test adaptée aux systèmes d'intelligence artificielle, et plus particulièrement aux architectures agentiques.

Le consultant interviendra à la fois sur la qualité du cycle de développement, l'évaluation des agents IA et la sécurisation du produit final.

Missions principales
Cadrage de la qualité et définition de la stratégie de test
  • Définir et structurer la stratégie de test adaptée aux solutions intégrant des composants IA et des architectures agentiques.

  • Identifier les exigences qualité et les critères d'acceptation à chaque étape du cycle de développement.

  • Définir les activités de test, les contrôles qualité et les indicateurs de performance.

  • Transformer les besoins métier et les comportements attendus en critères de validation mesurables.

  • Définir les critères de décision Go / No Go pour les mises en production.

Conception et exécution des tests IA
  • Concevoir et exécuter des scénarios de tests dédiés aux LLM, agents IA et orchestrations multi-agents.

  • Évaluer la conformité des réponses et des comportements des agents par rapport aux attentes métier.

  • Tester la robustesse des solutions face aux différentes situations et aux entrées inattendues.

  • Identifier et mesurer les risques d'hallucination, les réponses hors périmètre et les comportements non conformes.

  • Évaluer les interactions entre agents, reviewers et outils externes.

  • Définir des jeux de tests reproductibles et des métriques d'évaluation.

  • Qualifier les composants IA ainsi que leur intégration dans les parcours fonctionnels de bout en bout.

Intégration de la qualité dans le SDLC et les processus CI/CD
  • Intégrer les activités de test et de contrôle qualité tout au long du cycle de développement logiciel.

  • Définir et mettre en place des Quality Gates aux différentes étapes du delivery.

  • Garantir la traçabilité des exigences, des tests et des résultats obtenus.

  • Participer à l'intégration des tests automatisés dans les pipelines CI/CD.

  • Contribuer à la définition des contrôles associés aux User Stories, Pull Requests et déploiements.

  • Mettre en place des mécanismes de restitution des résultats et de suivi de la qualité.

Industrialisation et observabilité
  • Automatiser les dispositifs de test et d'évaluation des solutions IA.

  • Mettre en place des mécanismes de suivi et d'observabilité des agents.

  • Assurer le suivi des traces d'exécution, des appels aux outils, des erreurs, des latences et des coûts.

  • Structurer et maintenir les jeux de données et scénarios de tests.

  • Contribuer à la sécurisation des architectures agentiques, notamment face aux risques d'injection de prompts, d'exfiltration de données et d'actions non autorisées.

  • Formaliser les résultats et produire des rapports d'évaluation exploitables par les équipes.

Accompagnement des équipes
  • Accompagner les équipes techniques et métier dans l'appropriation des pratiques de test IA.

  • Clarifier le rôle et les responsabilités de la fonction QA dans les projets agentiques.

  • Harmoniser les pratiques de test et les critères de qualité entre les différentes équipes.

  • Sensibiliser les équipes aux risques spécifiques liés aux LLM et aux architectures multi-agents.

  • Être force de proposition sur l'amélioration continue des pratiques de qualité et de delivery.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

TEST – Consultant Expert Test IA – Senior (IT) / Freelance
TEST – Consultant Expert Test IA – Senior (IT) / Freelance

VISIAN • Paris

On-site
EUR 90,000 - 130,000
Senior AI/QA Architect for Multi-Agent Systems (Freelance)
Senior AI/QA Architect for Multi-Agent Systems (Freelance)

VISIAN • Paris

On-site
EUR 70,000 - 110,000
Ingénieur IA - Agents de test & Qualité - Freelance (H/F)
Ingénieur IA - Agents de test & Qualité - Freelance (H/F)

Brief IA • Paris

On-site
EUR 77,000 - 89,000
QC IA – Qualité & Agents de test IA (IT) / Freelance
QC IA – Qualité & Agents de test IA (IT) / Freelance

5COM CONSULTING • Courbevoie

On-site
EUR 60,000 - 90,000
QA IA (Quality Assurance IA / AI Test Engineer)
QA IA (Quality Assurance IA / AI Test Engineer)

Skapa Agency • Paris

On-site
EUR 50,000 - 70,000
QA Architect - Agentic Test Orchestration(H/F)
QA Architect - Agentic Test Orchestration(H/F)

Dhm IT • Neuilly-sur-Seine

Hybrid
EUR 55,000 - 75,000
Rémunération attractive
Carte resto
Mutuelle et prévoyance
+2
Consultant Expert IA / Transformation agentique
Consultant Expert IA / Transformation agentique

LOMEGARD • Aix-en-Provence

On-site
EUR 90,000 - 120,000
Senior AI Engineer - GenAI & Agents IA - Freelance (H/F)
Senior AI Engineer - GenAI & Agents IA - Freelance (H/F)

Collective.work • Paris

On-site
EUR 90,000 - 130,000
– Lead IA / Architecte IA Agentique – Secteur Assurance
– Lead IA / Architecte IA Agentique – Secteur Assurance

NEOGIA • Paris

On-site
EUR 90,000 - 140,000
AI Evaluation Engineer — Agentic Systems (H/F)
AI Evaluation Engineer — Agentic Systems (H/F)

Dhm IT • Neuilly-sur-Seine

Hybrid
EUR 70,000 - 95,000