Ingénieur Qualité & Évaluation IA

Revue Fiduciaire; Paris; Hybrid; EUR 50,000 - 70,000; Full time

Benefits offered by this job

Rémunération sur 13 mois

Participation

PEE, PERCOL

Tickets restaurant

Compte épargne-temps

14,5 JRTT

Comité Social et Economique

Télétravail 2 jours/semaine

Forfait mobilités durables

Job summary

Le Groupe Revue Fiduciaire recherche un(e) Ingénieur qualité & Évaluation IA pour renforcer l'équipe IA en CDI, rattachée à la DSI. Vous définirez et exécuterez des tests qualité des systèmes d'IA, et participerez à l'évaluation des modèles et prompts en collaboration avec les juristes et documentalistes internes.

Vous aurez la responsabilité de construire des jeux de tests, de piloter des campagnes de non-régression et de suivre l'observabilité des livraisons IA, tout en contribuant à

Qualifications

• Formation Bac+5 en informatique, data ou NLP; débutant accepté.
• Bonne pratique de Python: scripts, tests et manipulation de données.
• Compréhension des LLM et architectures RAG; intérêt IA générative.
• Rigueur, esprit critique et sens de mesure.
• Capacité à communiquer avec profils variés.

Responsibilities

• Construire et maintenir jeux de tests de référence pour les IA.
• Développer des pipelines d'évaluation automatisée en Python.
• Réaliser les campagnes de non-régression avant production.
• Collaborer avec l'IA Engineer et les Développeurs Python pour fiabiliser les solutions.

Skills

Python

NLP/LLM

QA & testing

Data handling

Communication

Education

Bac+5 informatique/NLP

Tools

LLM frameworks

Pandas

Observability tools

Job description

Type du poste Contrat à Durée Indéterminée

Entreprise

Le Groupe Revue Fiduciaire est l'éditeur juridique de référence.

Nous accompagnons au quotidien les professionnels des métiers du chiffre et du droit en leur proposant des solutions fiables, pratiques et innovantes pour s’informer, se former et anticiper les évolutions de leur métier.

Rejoignez une structure à taille humaine, dynamique et en constante évolution où l’esprit d’équipe, la qualité de service et l’innovation sont au cœur de nos valeurs.

Le groupe Revue Fiduciaire recrute un(e) Ingénieur qualité & Évaluation IA (F/H) en CDI.

Directement rattaché(e) à la Direction des Systèmes d’information (DSI) du Groupe Revue Fiduciaire, vous intégrerez l'équipe IA qui conçoit et opère les solutions d'Intelligence Artificielle du groupe : recherche documentaire augmentée et assistants conversationnels au service des professionnels du droit et du chiffre. Dans un domaine où l'exactitude des réponses est essentielle, vous serez le garant de la qualité mesurée de nos systèmes d'IA.

Missions principales :

Évaluation des systèmes d'IA :

• Construction et maintenance des jeux de tests de référence, en lien avec les experts métier (juristes, documentalistes) ;
• Développement de pipelines d'évaluation automatisée en Python (métriques RAG, LLM-as judge) ;
• Campagnes de non-régression avant chaque mise en production (changement de modèle, de prompt ou d'index) ;
• Enrichissement des jeux de tests à partir des cas problématiques remontés par la boucle de retour terrain, pilotée par l'Ingénieur IA.

Qualité en production :

• Exploitation de l'observabilité (traces, scores d'évaluation) et construction des tableaux de bord qualité ;
• Recette fonctionnelle des livraisons IA et qualification des anomalies ;
• Tests de robustesse : injections de prompt, hallucinations, cas limites.

Contribution à la chaîne de valeur IA :

• Collaboration étroite avec l'IA Engineer (qui porte la boucle de retour terrain) et les Développeurs Python pour améliorer en continu la fiabilité des solutions déployées ;
• Veille technologique sur les frameworks et pratiques d'évaluation des LLM

Profil recherché

Le profil recherché :

• Formation Bac+5 (informatique, data, NLP) ; débutant accepté, une première expérience en ML, data ou QA (stage, alternance) est un plus.
• Bonne pratique de Python : scripts, tests, manipulation de données.
• Compréhension des LLM et des architectures RAG ; curiosité forte pour l'IA générative.
• Rigueur, esprit critique et goût de la mesure : savoir douter d'une réponse plausible mais fausse.
• Capacité à communiquer avec des profils variés, techniques et métier.

Avantages :

• Rémunération sur 13 mois, statut cadre
• Accord de participation
• PEE, PERCOL
• Tickets restaurant (Carte Swile)
• Compte épargne-temps (CET)
• 14,5 JRTT
• Comité Social et Economique
• Télétravail (possibilité de 2 jours/semaine)
• Forfait mobilités durables

LOCALISATION :

Nos locaux sont situés dans le 10e arrondissement de Paris, au pied du métro 7 (Poissonnière) et à proximité de la Gare du Nord et de la Gare de l’Est.

Pourquoi rejoindre le Groupe Revue Fiduciaire ?

Rejoindre notre DSI, c'est travailler sur des projets à fort impact, en interaction avec des experts métiers et techniques. Vous contribuerez activement à la transformation digitale du groupe, dans une ambiance collaborative et bienveillante.