Internalisation des connaissances externes par les modèles de fondation

CEA; Saclay; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Le CEA recherche un candidat pour une thèse sur l'internalisation des connaissances externes par les modèles de fondation. Le sujet implique des recherches sur l'apprentissage cognitif et l'application de méthodes d'intelligence artificielle dans la robotique. Un Master 2 en intelligence artificielle ou un diplôme d'ingénieur est requis. Le poste est disponible à Saclay à partir du 01/10/2025.

Qualifications

• Formation recommandée en intelligence artificielle ou ingénierie.
• Capacité à s'engager dans des recherches avancées sur l'apprentissage cognitif.

Responsabilités

• Étudier l'internalisation des connaissances externes par les modèles de fondation.
• Développer des méthodes d'apprentissage continu et d'affinage des modèles.
• Appliquer les concepts aux projets Astir et Ridder.

Formation

Master 2 Intelligence artificielle

Diplôme d'Ingénieur à forte composante IA

Description du poste

Description du sujet de thèse

Domaine

Défis technologiques

Sujets de thèse

Internalisation des connaissances externes par les modèles de fondation

Contrat

Thèse

Description de l'offre

Pour accomplir une tâche inconnue, un sujet (humain ou robot) doit consulter des informations externes, ce qui implique un coût cognitif. Après plusieurs expériences similaires, il maîtrise la situation et peut agir automatiquement. Les années 1980 et 1990 ont vu des explorations en IA avec des schémas et graphes conceptuels, mais leur mise en œuvre à grande échelle était limitée par la technologie de l'époque.

Les modèles neuronaux actuels, notamment les transformers et les LLM/VLM, apprennent des représentations universelles grâce à un préentraînement sur d'énormes quantités de données. Ils peuvent être utilisés avec des prompts pour fournir un contexte local. L'affinage (fine-tuning) permet de spécialiser ces modèles pour des tâches spécifiques.

Les méthodes de type RAG et GraphRAG permettent d'exploiter des connaissances externes, mais leur utilisation à l'inférence est coûteuse en ressources. Cette thèse propose une approche cognitiviste dans laquelle le système effectue un apprentissage continu. Il consulte des sources externes lors de l'inférence et utilise ces informations pour s'affiner régulièrement, comme pendant le sommeil. Cette méthode vise à améliorer la performance et réduire la consommation de ressources.

Chez l'humain, ces processus sont liés à l'organisation spatiale du cerveau. La thèse étudiera également des architectures de réseaux inspirées de cette organisation, avec des 'zones' dédiées mais interconnectées, comme les modèles vision-langage et langage-seul partageant des couches transformers.

Ces concepts peuvent être appliqués aux projets Astir et Ridder, visant à exploiter les modèles de fondation pour l'ingénierie logicielle en robotique et le développement de méthodes d'IA générative pour la commande sécurisée de robots.

Université / école doctorale

Mathématiques - Information - Ingénierie des Systèmes (MIIS)
Caen

Localisation du sujet de thèse

Site

Saclay

Critères candidat

Formation recommandée

Master 2 Intelligence artificielle ou Diplôme d'Ingénieur à forte composante IA.

Demandeur

Disponibilité du poste

01/10/2025

Personne à contacter par le candidat

DE CHALENDAR Gaël [e-mail]
CEA
DRT/DIASI//LASTI
CEA LIST
Laboratoire Vision et Ingénierie des Contenus
(Vision and Content Engineering Laboratory)

CEA SACLAY - NANO INNOV
BAT. 861
Point courier 173
91191 GIF SUR YVETTE
01.69.08.01.50

Tuteur / Responsable de thèse

HERAULT Romain [e-mail]
Université de Caen Normandie
Département de Mathématiques/Informatique (Laboratoire GREYC - Équipe IMAGE)
Bureau FA 213, au Bâtiment F de l'ENSICAEN, GREYC (UMR-CNRS 6072),
6, Bd du Maréchal Juin, F-14050 CAEN Cedex, France

[phone]

En savoir plus

https://kalisteo.cea.fr/index.php/semantique-texte-et-image/