Ingénieur Qualité & Évaluation IA

Groupe Revue Fiduciaire; Paris; Hybrid; EUR 65,000 - 90,000; Full time

Benefits offered by this job

Tickets restaurant (Swile)

Compte épargne-temps

Comité Social et Economique

Télétravail 2 jours/semaine

Forfait mobilités durables

Rémunération sur 13 mois

Job summary

Groupe Revue Fiduciaire recherche un(e) ingénieur qualité & Évaluation IA (F/H) en CDI, basé à Paris. Vous intégrez l’équipe IA du DSIs, garantissez la qualité des systèmes IA et participez à la chaîne de valeur IA avec les développeurs Python.

Profil Bac+5 en informatique/Data/NLP, débutant accepté et expérience ML/data/QA appréciée. Télétravail possible 2 jours/semaine, tickets restaurant Swile, CET, comité social et économique et rémunération sur 13 mois.

Qualifications

• Formation Bac+5 en informatique, data ou NLP.
• Débutant accepté, une première expérience en ML, data ou QA (stage/alternance) est un plus.

Responsibilities

• Évaluer les systèmes d’IA et assurer la qualité en production.
• Concevoir et maintenir des jeux de tests et des pipelines d’évaluation en Python.
• Réaliser des campagnes de non régression avant mises en prod et suivre les anomalies.
• Collaborer avec l’IA Engineer et les développeurs Python pour fiabiliser les solutions déployées.

Skills

Python

LLM compréhension

QA testing

Communication

Education

Bac+5 en informatique/data/NLP

Tools

Python (scripts, tests)

LLM frameworks

Data processing tools

Job description

Le Groupe Revue Fiduciaire est un éditeur juridique de référence.

Nous accompagnons au quotidien les professionnels des métiers du chiffre et du droit en leur proposant des solutions fiables, pratiques et innovantes pour s’informer, se former et anticiper les évolutions de leur métier.

Rejoignez une structure à taille humaine, dynamique et en constante évolution où l’esprit d’équipe, la qualité de service et l'innovation sont au cœur de nos valeurs.

Le groupe Revue Fiduciaire recrute un(e) Ingénieur qualité & Évaluation IA (F/H) en CDI.

Directement rattaché(e) à la Direction des Systèmes d’information (DSI) du Groupe Revue Fiduciaire, vous intégrerez l'équipe IA qui conçoit et opère les solutions d'Intelligence Artificielle du groupe : recherche documentaire augmentée et assistants conversationnels au service des professionnels du droit et du chiffre.

Dans un domaine où l'exactitude des réponses est essentielle, vous serez le garant de la qualité mesurée de nos systèmes d'IA.

Vos missions principales :

Évaluation des systèmes d'IA :

• Construction et maintenance des jeux de tests de référence, en lien avec les experts métier (juristes, documentalistes) ;


• Développement de pipelines d'évaluation automatisée en Python (métriques RAG, LLM-as judge) ;


• Campagnes de non-régression avant chaque mise en production (changement de modèle, de prompt ou d'index) ;


• Enrichissement des jeux de tests à partir des cas problématiques remontés par la boucle de retour terrain, pilotée par l'Ingénieur IA.

Qualité en production :

• Exploitation de l'observabilité (traces, scores d'évaluation) et construction des tableaux de bord qualité ;


• Recette fonctionnelle des livraisons IA et qualification des anomalies ;


• Tests de robustesse : injections de prompt, hallucinations, cas limites.

Contribution à la chaîne de valeur IA :

• Collaboration étroite avec l'IA Engineer (qui porte la boucle de retour terrain) et les Développeurs Python pour améliorer en continu la fiabilité des solutions déployées ;


• Veille technologique sur les frameworks et pratiques d'évaluation des LLM

Le profil recherché :

• Formation Bac+5 (informatique, data, NLP) ; débutant accepté, une première expérience en

ML, data ou QA (stage, alternance) est un plus.

• Bonne pratique de Python : scripts, tests, manipulation de données.


• Compréhension des LLM et des architectures RAG ; curiosité forte pour l'IA générative.


• Rigueur, esprit critique et goût de la mesure : savoir douter d'une réponse plausible mais


• Capacité à communiquer avec des profils variés, techniques et métier.


• Rémunération sur 13 mois, statut cadre


• Tickets restaurant (Carte Swile)


• Compte épargne-temps (CET)


• Comité Social et Economique


• Télétravail (possibilité de 2 jours/semaine)


• Forfait mobilités durables

Nos locaux sont situés dans le 10e arrondissement de Paris, au pied du métro 7 (Poissonnière) et à

proximité de la Gare du Nord et de la Gare de l’Est.

Pourquoi rejoindre le Groupe Revue Fiduciaire ?

Rejoindre notre DSI, c'est travailler sur des projets à fort impact, en interaction avec des experts

métiers et techniques. Vous contribuerez activement à la transformation digitale du groupe, dans une ambiance collaborative et bienveillante.