Stage de Recherche - Mémoire neuronale pour les architectures Transformer

Orange; Lannion; Remote; EUR 10,000 - 17,000; Full time

Benefits offered by this job

Laboratoires Orange

Infrastructures de calcul

Job summary

Orange recherche un stagiaire de dernière année pour étudier et développer des mémoires neuronales intégrées aux mécanismes internes des Transformers, au sein des laboratoires de recherche. Le sujet vise à capitaliser les expériences et à optimiser l’inférence tout en gérant l’oubli et les échanges entre sessions.

Vous évoluerez dans un cadre stimulant avec des chercheurs et data scientists, sur des problématiques d’IA agentique et d’apprentissage statistique, en collaboration avec deux équipes

Qualifications

• Étudiant en dernière année de master ou d'école d'ingénieur, stage obligatoire.
• Excellente formation en apprentissage automatique et connaissance des Transformers.
• Bon bagage en mathématiques (algèbre linéaire, probabilités et optimisation).
• Maîtrise de Python et PyTorch, environnement Linux.
• Capacité à travailler de manière autonome et communiquer en FR ou EN.

Responsibilities

• Analyser et implémenter des mécanismes mémoire pour les Transformers.
• Tester sur des environnements publics et proposer des améliorations.
• Rédiger des résultats et contribuer à une soumission conférence.

Skills

Apprentissage automatique

Transformers

Algèbre linéaire

Probabilités

Optimisation

Education

Master ou école d'ingénieur — dernière année

Tools

Python

PyTorch

Linux

Job description

Date de publication : Oct 06, 2026, 10:23AM

Les grands modèles de langage (LLM) résolvent chaque jour des tâches semblables pour de nombreux utilisateurs. Pourtant, les poids d’un modèle restent fixes au cours de ces nombreuses utilisations et l’expérience accumulée n’est donc pas intégrée à ses futures inférences. Le but du stage est alors d’étudier le mécanisme dit de mémoire qui vise à aider le modèle à capitaliser sur ces expériences, c’est‑à‑dire à réutiliser des méthodes de résolution, des enchaînements d’actions, des connaissances factuelles ou des structures de problèmes rencontrés au fil des demandes. L’ambition est alors double : mieux réussir les tâches nouvelles et réduire, lorsque c’est pertinent, le calcul nécessaire à leur résolution.
Le stage portera sur les mémoires neuronales intégrées aux mécanismes internes du Transformer, plutôt que sur des mémoires textuelles ou des bases de connaissances externes. Pour cela, plusieurs pistes existent déjà dans la littérature [1], par exemple fondées sur la recherche de paires clé-valeur dans l’attention [2], le remplacement de certaines couches internes par des couches mémoire parcimonieuses [3], ou l’intégration d’une mémoire neuronale mise à jour pendant l’utilisation du modèle [4].
Sur le plan applicatif, l’un des enjeux est l’applicabilité de la mémoire à un service utilisé par plusieurs personnes. Ceci soulève en particulier le risque d’interférences entre sessions ou de révélation d’informations privées. Des travaux étudient déjà le contrôle du partage entre utilisateurs [5] mais son intégration à une mémoire neuronale interne reste à explorer. Le stage cherchera donc à déterminer quelles expériences mémoriser, quand les rappeler et comment gérer l’oubli pour améliorer les réponses sans alourdir le calcul.
Vous analyserez la littérature scientifique sur le sujet de la mémoire pour les agents et pour les architectures transformers.
Vous étudierez les méthodes majeures, les environnements de test publics associés et les mettrez en œuvre.
Vous proposerez des pistes d’amélioration de ces méthodes existantes.
Vous analyserez les performances sous des angles variés comme la qualité des réponses, leur coût en inférence, la latence de génération, ou encore la persistance et l’oubli dans le temps.
Vous présenterez vos résultats, leurs limites et les pistes de recherche, idéalement dans le cadre d’une soumission à une conférence internationale.
Références
[1] Omidi et al., « Memory-augmented transformers: A systematic review from neuroscience principles to enhanced model architectures ». arXiv preprint arXiv:2508.10824, 2025.
[2] Wu et al., « Memorizing Transformers », ICLR, 2022.
[3] Berges et al., « Memory Layers at Scale », ICML, 2025.
[4] Behrouz et al., « Titans: Learning to Memorize at Test Time », NeurIPS, 2025.
[5] Rezazadehet al.,« Collaborative Memory: Multi-User Memory Sharing in LLM Agents with Dynamic Access Control », arXiv:2505.18279, 2025.

• Vous êtes en dernière année de master ou d’école d’ingénieur
• Vous avez une excellente formation en apprentissage automatique avec une connaissance des modèles Transformers
• Vous avez un solide bagage mathématique, notamment en algèbre linéaire, probabilités et optimisation
• Vous savez implémenter et entraîner des modèles avec Python et PyTorch
• Vous êtes à l’aise avec l’environnement Linux
• Vous êtes curieux.se et et aimez formuler des hypothèses vérifiables
• Vous travaillez avec autonomie, documentez vos choix et communiquez clairement en français ou en anglais.

Ce sujet de stage est au cœur du sujet actuellement stratégique de l’IA agentique car il permet d’envisager des services sur le long terme avec une capacité d’adaptation continue de systèmes déployés. Hébergé dans l’environnement pointu des laboratoires de recherche d'Orange, il ouvre ainsi beaucoup de perspectives de carrière.

Vous serez intégré.e au sein de deux équipes de recherche à la pointe de l’innovation et de l’expertise sur le traitement automatique des langues et l’apprentissage statistique. Vous y bénéficierez d’un environnement stimulant : présence de nombreux chercheurs, doctorants et data scientists ; interconnexions avec les problématiques applicatives du groupe ; disponibilité de grandes infrastructures de calcul.

Date de début souhaitée : Mar 01, 2027, 12:00AM

Chez Orange, seules vos compétences comptent.

Quel que soit votre âge, genre, origine, parcours, religion, orientation sexuelle, handicap, neuroatypie, ou apparence, nous encourageons activement la diversité au sein de nos équipes, car elle constitue une force pour le collectif et un vecteur d’innovation.Orange est une entreprise handi-accueillante : n’hésitez pas à nous faire part de vos besoins spécifiques.