OFFRE de Thèse : Vers une exploration des grands modèles de langage avec raisonnement « Chain-o[...]

Association française pour l'Intelligence Artificielle; Orsay, Paris; Sur place; EUR 20 000 - 40 000; Plein temps

Résumé du poste

Une institution académique renommée propose une thèse sur l'exploration des grands modèles de langage avec un focus sur l'explicabilité et le raisonnement. Le candidat idéal doit posséder des bases solides en IA générative et en informatique, avec un intérêt pour la linguistique computationnelle. Le début de la thèse est prévu pour le 1er octobre 2025, avec une rémunération de 2200€. Les candidatures sont ouvertes dès le 23 juin 2025.

Qualifications

• Connaissances en modèles de langage de dernière génération.
• Capacité à travailler sur des problématiques d'explicabilité des IA.
• Aptitude à évaluer des étapes de raisonnement complexe.

Responsabilités

• Explorer les forces et limites des modèles de langage.
• Évaluer l'impact des mécanismes d'explicabilité.
• Développer des approches guidées de Chain of Thought.

Connaissances

Bases en IA générative

Informatique

Intérêt pour la linguistique computationnelle

Formation

Formation en IA ou informatique

Description du poste

Titre de thèse

Vers une exploration des grands modèles de langage avec raisonnement «Chain-of-Thought»: explicabilité et biais

Co-encadrement

C. Montacie (Sorbonne-Université/STIH), L. Devillers (Sorbonne-Université/CNRS-LISN)

Contexte

Les grands modèles de langage (LLM) comme chatGPT, Gemini, Claude, LLaMA ou DeepSeek ont atteint des performances remarquables sur des tâches complexes de traitement des requêtes humains‑IA. Parmi les techniques récentes ayant permis de renforcer leurs capacités figure le Chain‑of‑Thought prompting (CoT), ou requête par chaîne de pensée, qui décompose une question en étapes successives. Cette technique, popularisée par LangChain, s’apparente à une méthode de requêtes multiples visant à explorer plus profondément les connaissances internes d’un LLM. Elle favorise ainsi une meilleure structuration de l’interaction humain‑IA et améliore l’explicabilité des réponses générées.

Sujet de thèse

L’objectif est d’améliorer la traçabilité, la lisibilité et la fidélité explicative des réponses générées par les LLMs tout en conservant leurs performances. Cette recherche s’inscrit dans une perspective d’interprétabilité et d’ingénierie des requêtes, et débouchera sur des outils d’analyse, des protocoles de génération, et des modèles enrichis plus explicables.

Objectifs principaux

Étudier les forces, les limites et les biais du CoT, en tant qu’approche multi‑requêtes explorant l’espace des connaissances d’un LLM.

• Expliciter les différentes étapes intervenant dans le traitement d’un prompt complexe :
  • Traduction implicite (et ses biais)
  • Nombre et nature des étapes de décomposition
  • Usage de la paraphrase ou des reformulations intermédiaires
• Développer des mécanismes permettant de guider, annoter ou contrôler ces étapes, par l’introduction de tokens spéciaux, d’annotations linguistiques, ou de prompts structurés.
• Évaluer l’impact de ces éléments sur :
  • La qualité du résultat final
  • Le coût computationnel
  • L’explicabilité perçue et mesurable du raisonnement
• Proposer des variantes de duCoT plus robustes, multilingues et plus transparentes.

Méthodologie

1. Phase 1 : Revue de littérature sur le CoT, les prompts structurés, les biais de traduction implicite, et les méthodes d’explicabilité.
2. Phase 2 : Conception de variantes guidées du CoT : prompts hiérarchiques, décompositions explicites, paraphrases contrôlées.
3. Phase 3 : Intégration dans des architectures existantes et ouvertes (LLaMA, DeepSeek, …) et instrumentation du traitement du prompt pour tracer les étapes internes.
4. Phase 4 : Évaluation expérimentale sur des tâches de QA complexe et de raisonnement (GSM8K, HotpotQA, CosmosQA), avec comparaison à des baselines standard et analyse qualitative des biais linguistiques introduits.
5. Phase 5 : Proposition d’un protocole d’interprétabilité fondé sur la reconstitution du chemin de raisonnement suivi par le modèle.

Bibliographie

• [1] Wei, J. et al. 2022. Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv 2201.11903 https://arxiv.org/abs/2201.11903
• [2] Nye, M. et al. 2021. Show Your Work: Scratchpads for Intermediate Computation with Language Models. NeurIPS https://arxiv.org/abs/2112.00114
• [3] Zhou, D. et al. 2022. Least‑to‑Most Prompting Enables Complex Reasoning in Large Language Models. arXiv 2205.10625 https://arxiv.org/abs/2205.10625
• [4] Yao, S. et al. 2023. Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv 2305.10601 https://arxiv.org/abs/2305.10601
• [5] Andreassen, A. et al. 2024. Inseq: A Python Library for Interpretability Analyses of Sequence Generation Models. arXiv 2407.15248 https://arxiv.org/abs/2407.15248
• [6] Kim, S. et al. 2023. Sparsity‑Guided Holistic Explanation for LLMs with Interpretable Inference‑Time Intervention. arXiv 2312.15033 https://arxiv.org/abs/2312.15033
• [7] Zhu, Y. et al. 2024. SEER: Self‑Explainability Enhancement of Large Language Models’ Representations. arXiv 2502.05242 https://arxiv.org/abs/2502.05242
• [8] Wang, W. et al. 2023. Proto‑LM: A Prototypical Network‑Based Framework for Built‑in Interpretability in Large Language Models. arXiv 2311.01732 https://arxiv.org/abs/2311.01732
• [9] Ruder, S. et al. 2021. Beyond English‑Centric Multilingual Machine Translation. EMNLP Findings 2021 https://arxiv.org/abs/2103.06508
• [10] Costa‑jussà, M. R. et al. 2022. No Language Left Behind: Scaling Human‑Centered Machine Translation. arXiv 2207.04672 https://arxiv.org/abs/2207.04672
• [11] Shen, Y. et al. 2023. How Far Can We Go with Multilingual Prompting? ACL 2023 https://arxiv.org/abs/2302.03983

Déroulement de la thèse

• Lieu : Sorbonne‑Université‑STIH et CNRS‑LISN – école doctorale «Concepts et langages»
• Début : 1er octobre 2025
• Inscription : à partir du 23 juin 2025
• Rémunération : 2200 €

Pour candidater

Prérequis : Bases en IA générative et en informatique, intérêt pour la linguistique computationnelle. Envoyez à [e-mail] et à [e-mail] un CV et une lettre de motivation indiquant un professeur référent et un site web de travaux (GitHub) si vous en avez un.