Stage Recherche - Évaluation des agents de deep research - F/H

Orange; France; Hybride; EUR 13 000 - 18 000; Temps partiel

Avantages offerts par ce poste

Restaurant d’entreprise

Résumé du poste

Orange propose un stage en Recherche et Évaluation des agents de deep research, axé sur des méthodes fiables et automatisées pour l’analyse de sorties longues en contexte scientifique. Vous évaluerez les rubriques et envisagerez des approches LLM-as-a-judge, en collaboration avec une équipe pluridisciplinaire.

Ce stage vous permettra de contribuer à la rédaction d’un rapport et possiblement à la soumission d’un article scientifique, dans un cadre international et innovant.

Qualifications

• Master en informatique ou école d’ingénieur en dernière année.
• Spécialisation en traitement automatique des langues ou data & AI.
• Compétences en deep learning et en Python avec les librairies data & ML.

Responsabilités

• Développer des outils d’IA multilingues et des solutions complètes pour le traitement et l’évaluation de données textuelles.
• Accompagner les équipes métiers dans l’analyse de données textuelles et conversationnelles.
• Mener des travaux de recherche pour adapter de nouvelles technologies d’IA aux contenus textuels.

Connaissances

Python

Deep learning

Data & ML libs

Formation

Master en Informatique

École d'ingénieurs informatique

Outils

PyTorch

Scikit-learn

Description du poste

Stage Recherche - Évaluation des agents de deep research : méthodes fiables et automatisées pour l’analyse de sorties longues en contexte scientifique

Résumé

L’IA agentique permet d’interroger de vastes ensembles de documents pour produire des synthèses structurées, recoupant des informations issues de sources diverses. Dans ledomaine de la recherche scientifique, ces agents peuvent servir à établir un état de l’art, à acquérir de nouvelles compétences ou à explorer l’évolution de méthodes spécifiques.
Cependant, dans le contexte scientifique, les productions longues doivent respecter des critères stricts : langage formel, sources vérifiées en double aveugle, exactitude des informations, absence d’hallucinations, style concis et précis. L’évaluation de ces sorties longues est une tâche chronophage pour les humains, tandis que les méthodes automatiques existantes ne sont pas toujours adaptées ou fiables.
Face à ce constat, l’une des pistes émergentes dans la littérature scientifique actuelle est le rubric scoring : des critères d’évaluation clairs et structurés, pouvant varier en fonction de la tâche demandée. Ces rubriques sont ensuite évaluées de manière automatique, notamment via des approches LLM-as-a-judge. Le rubric scoring constituera ainsi une piste de recherche centrale à explorer.

Vous serez amené à comparer différentes méthodes de construction des rubriques, qu’elles soient manuelles ou automatiques, pouvant inclure notamment le fine-tuning de petits modèles.

Vous serez également amené à évaluer la fiabilité des méthodes LLM-as-a-judge à répondre à ces rubriques afin de fournir l’évaluation finale, en cherchant le meilleur compromis entre performance et frugalité des méthodes d’évaluation.

Ce stage donnera lieu à la rédaction d’un rapport de stage détaillant la démarche et les résultats obtenus. Selon l’avancement et la qualité des travaux, il pourra également déboucher sur la rédaction et la soumission d’un article scientifique.

Références

1. [1] Sharma, Manasi, et al. "Researchrubrics: A benchmark of prompts and rubrics for evaluating deep research agents." International Conference on Learning Representations. Vol. 2026. 2026.
2. [2] Xu, Tianze, et al. "Researcherbench: Evaluating deep ai research systems on the frontiers of scientific inquiry." arXiv preprint arXiv:2507.16280 (2025).
3. [3] Tang, Jiaming, et al. "Quest: Query-aware sparsity for efficient long-context llm inference." arXiv preprint arXiv:2406.10774 (2024)

Profil recherché

En dernière année de master Informatique ou d’école d’ingénieur informatique.

• Avec une spécialisation en traitement automatique des langues ou en data & IA
• Vous avez des compétences en deep learning
• Vous avez des compétences en python et l’habitudes d’utiliser les librairies data & ML

Vous serez intégré(e) à une équipe aux compétences diversifiées, comprenant des chercheurs, des data scientists, des ingénieurs et des développeurs.
Vous travaillerez sur un domaine determinant dans l’actualité de l’IA, ce qui ouvre ainsi des perspectives de carrière.

Missions de l’équipe DESKIN

1. Développer des outils d’IA multilingues, concevoir des solutions complètes de traitement, de manipulation, d’évaluation et visualisation de données textuelles à destination des directions métiers d’Orange, en utilisant les dernières technologies et modèles d’IA Génératives (exemple avec Visual CRM),
2. Accompagner les équipes métiers pays dans l’analyse de données textuelles et conversationnelles, pour des besoins Orange ou des besoins de clients externes,
3. Mener des travaux de recherche et d’anticipation pour développer ou adapter de nouvelles technologies d’IA adaptées aux contenus textuels.

Date de début souhaitée :

Mar 01, 2027, 12:00AM

Chez Orange, seules vos compétences comptent.

Quel que soit votre âge, genre, origine, parcours, religion, orientation sexuelle, handicap, neuroatypie, ou apparence, nous encourageons activement la diversité au sein de nos équipes, car elle constitue une force pour le collectif et un vecteur d’innovation. Orange est une entreprise handi-accueillante : n’hésitez pas à nous faire part de vos besoins spécifiques.