Stage Rémunéré - Feedback Implicite pour l'Évaluation Automatique d'Agents IA H/F

Berger-Levrault

Labège

Vor Ort

EUR 13.000 - 20.000

Vollzeit

Vor 2 Tagen
Sei unter den ersten Bewerbenden

Erhalte eine Antwort von diesem Arbeitgeber

Dein Lebenslauf und dein Anschreiben, genau auf das zugeschnitten, was gesucht wird.

Schaffe es an den ATS-Filtern vorbei

Zusammenfassung

Berger-Levrault propose un stage au sein de la Direction de la Recherche et de l'Innovation Technologique (DRIT) pour améliorer Athena, notre plateforme d'agents IA spécialisés. Vous travaillerez sur le feedback implicite, l'évaluation des systèmes conversationnels et l'architecture des indicateurs.

Profil Bac+5 en IA/NLP, maîtrise de Python et analyse de données exigés; stage de 6 mois à partir de Janvier/ Février 2027, à Labège (Occitanie).

Qualifikationen

  • Diplôme Bac+5 en ingénierie ou Master avec spécialisation en IA/NLP
  • Maîtrise de Python et analyse de données
  • Connaissances en NLP/TAL et en modèles de langage
  • Notions de classification, d'analyse de séquences et de statistiques
  • Intérêt pour l'évaluation des systèmes conversationnels et l'IA responsable
  • Autonome, rigoureux et bon esprit d'analyse et de synthèse

Aufgaben

  • Réaliser un état de l'art sur le feedback implicite et l'analyse des dialogues multi-tours
  • Définir une typologie de signaux comportementaux observables dans ATHENA
  • Concevoir un schéma de données reliant les réponses, les actions et le contexte
  • Constituer un corpus d'étude associant interactions et feedbacks
  • Étudier et comparer différentes approches (règles, modèles, séquentialité)
  • Développer un protocole d'évaluation mesurant précision, calibration et stabilité
  • Concevoir un prototype intégré à ATHENA pour générer, stocker et visualiser les indicateurs
  • Rendre les estimations explicables et permettre correction/invalidations
  • Prendre en compte confidentialité, biais et incertitude avec des analyses agrégées

Kenntnisse

Python
Analyse de données
NLP/TAL
Esprit d'analyse
Autonomie

Ausbildung

Bac+5 en ingénierie ou Master

Tools

Pandas
Jupyter

Jobbeschreibung

Au sein de la Direction de la Recherche et de l'Innovation Technologique (DRIT), vous contribuerez à l'amélioration d'ATHENA, notre plateforme agentique qui mobilise plusieurs agents IA spécialisés pour répondre aux besoins des utilisateurs.

Aujourd'hui, les utilisateurs peuvent évaluer explicitement les réponses des agents, mais ces retours restent facultatifs et ne couvrent qu'une partie des interactions. Pourtant, leurs comportements au fil d'une conversation fournissent de nombreux indices : reformulation d'une question, demande de précision, correction d'une information, changement d'agent ou encore consultation de sources.

Votre défi ? Exploiter ces signaux pour mieux comprendre si une réponse a été utile, sans tirer de conclusions hâtives sur les utilisateurs ou sur la qualité du service rendu.

  • Réaliser un état de l'art sur le feedback implicite, l'analyse des dialogues multi-tours, la satisfaction utilisateur et l'évaluation continue des assistants conversationnels.
  • Définir une typologie de signaux comportementaux observables dans ATHENA.
  • Concevoir un schéma de données reliant les réponses, les actions observables et le contexte des conversations, en veillant à la minimisation et à la traçabilité des données.
  • Constituer un corpus d'étude associant des interactions, des feedbacks explicites lorsqu'ils existent et des annotations de référence.
  • Étudier et comparer différentes approches : règles interprétables, modèles de classification, analyse séquentielle et combinaison de plusieurs signaux.
  • Développer un protocole d'évaluation permettant de mesurer la précision, la calibration, la stabilité et la capacité de généralisation des indicateurs.
  • Concevoir un prototype intégrable à ATHENA pour générer, stocker et visualiser les indicateurs de feedback implicite.
  • Rendre les estimations explicables en identifiant les signaux qui ont conduit à chaque résultat et en permettant leur correction ou leur invalidation.
  • Prendre en compte les enjeux de confidentialité, de biais et d'incertitude en privilégiant des analyses agrégées.

L'objectif sera notamment de faire émerger des indicateurs probabilistes et explicables : besoin d'approfondissement, réponse potentiellement incomplète, ambiguïté non levée ou encore tâche vraisemblablement aboutie.

NB : Stage à pourvoir à partir de Janvier / Février 2027 pour une durée de 6 mois.

Profil :

Vous préparez un diplôme de niveau Bac +5, en dernière année d'école d'ingénieur ou de Master, avec une spécialisation en intelligence artificielle, traitement automatique des langues (TAL/NLP), recherche d'information, data science ou informatique appliquée.
Vous maîtrisez Python et l'analyse de données.
Vous avez des connaissances en NLP/TAL et en modèles de langage.
Vous avez des notions de classification, d'analyse de séquences et de statistiques.
Vous portez un intérêt à l'évaluation des systèmes conversationnels et l'intelligence artificielle responsable.
Vous êtes autonome, rigoureux(se), doté(e) d'un bon esprit d'analyse et de synthèse.

Informations :

Votre future dream team: Vous rejoindrez la Direction de la Recherche et de l'Innovation Technologique (DRIT) et serez accompagné(e) par une équipe pluridisciplinaire composée de : Nihed Bendahmani - Ingénieure de recherche ;Vincent Laval - Développeur Full Stack ;Myriam Robbana - Ingénieure de recherche.

Compétence linguistique :

Français
C1 - Autonome

Selon niveau académique - / Euros

Hol dir deinen kostenlosen, vertraulichen Lebenslauf-Check.

oder ziehe deine Datei hierhin.

Similar jobs

Ähnliche Jobs, die dir auch gefallen könnten

Stage Rémunéré - Vers des Applications Ai-First qui Agissent pour l'Utilisateur H/F
Stage Rémunéré - Vers des Applications Ai-First qui Agissent pour l'Utilisateur H/F

Berger-Levrault • Mauguio

Vor Ort
EUR 12.000 - 16.000
STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H
STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H

Groupe Berger-Levrault • Labège

Hybrid
EUR 18.000 - 24.000
Mutuelle
RTT
Carte titres restaurant
+4
Stage Rémunéré en IA/NLP: Feedback Implicite
Stage Rémunéré en IA/NLP: Feedback Implicite

Berger-Levrault • Labège

Vor Ort
EUR 13.000 - 20.000
STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H
STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H

Berger-Levrault • Labège

Hybrid
EUR 10.000 - 15.000
Télétravail 2 jours/semaine
RTT
Mutuelle
+5
Stage IA: Feedback implicite pour agents (Remote)
Stage IA: Feedback implicite pour agents (Remote)

Groupe Berger-Levrault • Labège

Hybrid
EUR 18.000 - 24.000
Mutuelle
RTT
Carte titres restaurant
+4
Stage Rémunéré - Observabilité des Usages de l'IA Coût Financier et Impact Environnemental H/F
Stage Rémunéré - Observabilité des Usages de l'IA Coût Financier et Impact Environnemental H/F

Berger-Levrault • Mauguio

Vor Ort
EUR 12.000 - 19.000
Stage Innovation : Ingénieur Intelligence Artificielle / NLP
Stage Innovation : Ingénieur Intelligence Artificielle / NLP

ALTEN Group • Rennes

Vor Ort
EUR 12.000 - 15.000
Gratification de stage 1200€ brut/mois
Tickets restaurants
Transport pris en charge
STAGE - Optimisation d'un agent IA (F/H)
STAGE - Optimisation d'un agent IA (F/H)

Thales Group • Lambersart

Vor Ort
EUR 7.800 - 12.000
[SFR] Stagiaire (h/f) - Ingénieur(e) de Recherche & Développement en Intelligence Artificielle
[SFR] Stagiaire (h/f) - Ingénieur(e) de Recherche & Développement en Intelligence Artificielle

SFR - Altice France • Paris

Vor Ort
EUR 7.800 - 10.000
Restaurant d'entreprise
STAGE - Ingénieur Développement Intelligence Artificielle - F/H
STAGE - Ingénieur Développement Intelligence Artificielle - F/H

Thales Group • Rungis

Remote
EUR 8.900 - 11.000
Gratification de stage
Site Rungis accessible