Ingénieur Qualité & Évaluation IA (H/F)

Groupe Revue Fiduciaire; Paris; Hybrid; EUR 55,000 - 75,000; Full time

Benefits offered by this job

Rémunération sur 13 mois

Accord de participation

PEE

Tickets restaurant (Carte Swile)

Compte épargne-temps (CET)

14,5 JRTT

Comité Social et Economique

Télétravail (2 jours/semaine)

Forfait mobilités durables

Job summary

Groupe Revue Fiduciaire recrute un Ingénieur qualité & Évaluation IA en CDI. Vous intégrez l’équipe IA de la DSI et participez à la conception et à l’opération des solutions d’Intelligence Artificielle destinées aux professionnels du droit et du chiffre.

Le candidat idéal possède un Bac+5 en informatique, data ou NLP, une forte maîtrise de Python et une connaissance des architectures LLM et RAG. Hypothèses de télétravail partiel et esprit analytique attendus.

Qualifications

• Formation Bac+5 en informatique, data ou NLP.
• Bonne pratique de Python: scripts et tests.
• Connaissance des LLM et architectures RAG.
• Rigueur et sens de la mesure pour évaluer IA.

Responsibilities

• Évaluer les systèmes d’IA et construire des jeux de tests référençables.
• Mettre en place des pipelines d’évaluation automatisée et des métriques.
• Assurer la qualité en production et tester les livraisons IA.

Skills

Python

LLM

RAG

QA

Education

Master en informatique

Tools

Tests automatisés

Job description

Type du poste Contrat à Durée Indéterminée

Entreprise

Le Groupe Revue Fiduciaire est l'éditeur juridique de référence.

Nous accompagnons au quotidien les professionnels des métiers du chiffre et du droit en leur proposantdes solutions fiables, pratiques et innovantespour s’informer, se former et anticiper les évolutions de leur métier.

Rejoignez une structureà taille humaine, dynamique et en constante évolution oùl’esprit d’équipe, la qualité de service et l’innovationsont au cœur de nos valeurs.

Le groupe Revue Fiduciaire recrute un(e) Ingénieur qualité & Évaluation IA (F/H) en CDI.

Directement rattaché(e) à la Direction des Systèmes d’information (DSI) du Groupe Revue Fiduciaire,
vous intégrerez l'équipe IA qui conçoit et opère les solutions d'Intelligence Artificielle du groupe :
recherche documentaire augmentée et assistants conversationnels au service des professionnels du
droit et du chiffre. Dans un domaine où l'exactitude des réponses est essentielle, vous serez le garant
de la qualité mesurée de nos systèmes d'IA.

Missions principales :

Évaluation des systèmes d'IA :

• Construction et maintenance des jeux de tests de référence, en lien avec les experts métier
  (juristes, documentalistes) ;
• Développement de pipelines d'évaluation automatisée en Python (métriques RAG, LLM-as
  judge) ;
• Campagnes de non-régression avant chaque mise en production (changement de modèle, de
  prompt ou d'index) ;
• Enrichissement des jeux de tests à partir des cas problématiques remontés par la boucle de
  retour terrain, pilotée par l'Ingénieur IA.

Qualité en production :

• Exploitation de l'observabilité (traces, scores d'évaluation) et construction des tableaux de
  bord qualité ;
• Recette fonctionnelle des livraisons IA et qualification des anomalies ;
• Tests de robustesse : injections de prompt, hallucinations, cas limites.

Contribution à la chaîne de valeur IA :

• Collaboration étroite avec l'IA Engineer (qui porte la boucle de retour terrain) et les
  Développeurs Python pour améliorer en continu la fiabilité des solutions déployées ;
• Veille technologique sur les frameworks et pratiques d'évaluation des LLM

Profil recherché

Le profil recherché :
• Formation Bac+5 (informatique, data, NLP) ; débutant accepté, une première expérience en
ML, data ou QA (stage, alternance) est un plus.
• Bonne pratique de Python : scripts, tests, manipulation de données.
• Compréhension des LLM et des architectures RAG ; curiosité forte pour l'IA générative.
• Rigueur, esprit critique et goût de la mesure : savoir douter d'une réponse plausible mais
fausse.
• Capacité à communiquer avec des profils variés, techniques et métier.

Avantages

• Rémunération sur 13 mois, statut cadre
• Accord de participation
• PEE, PERCOL
• Tickets restaurant (Carte Swile)
• Compte épargne-temps (CET)
• 14,5 JRTT
• Comité Social et Economique
• Télétravail (possibilité de 2 jours/semaine)
• Forfait mobilités durables

LOCALISATION

Nos locaux sont situés dans le 10e arrondissement de Paris, au pied du métro 7 (Poissonnière) et à proximité de la Gare du Nord et de la Gare de l’Est.

Pourquoi rejoindre le Groupe Revue Fiduciaire ?

Rejoindre notre DSI, c'est travailler sur des projets à fort impact, en interaction avec des experts métiers et techniques. Vous contribuerez activement à la transformation digitale du groupe, dans une ambiance collaborative et bienveillante.