Alignement de representation avec les humains des modeles vision-langage-action pour les taches[...]

École nationale supérieure de techniques avancées; Palaiseau; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une institution académique renommée propose une thèse théorique sur les mécanismes d'apprentissage bio-inspirés pour la robotique. Le candidat étudiera l'alignement des modèles robotiques avec les représentations humaines et proposera des solutions pour une meilleure généralisation des tâches. Un intérêt pour l'apprentissage par renforcement et les approches d'apprentissage continu est requis. Début de la thèse prévu pour le 01/10. Financement public disponible.

Qualifications

• Thèse théorique sur l'apprentissage continu et les mécanismes d'apprentissage bio-inspirés.
• Connaissance des modèles de langage et vision pour la robotique est un atout.
• Compréhension des concepts d'apprentissage par renforcement et hiérarchique.

Responsabilités

• Étudier l'alignement des modèles robotiques avec les représentations humaines.
• Proposer des solutions aux limitations des bases de données prédéfinies.
• Analyser l'impact de l'apprentissage non-fini dans un environnement incarné.

Description du poste

Overview

Alors que les avancées des modeles vision langage impactent la robotique car ils sont exploités pour la planification des taches compositionnelles, ils butent contre le manque d'incarnation des actions physiques des LLMs et de leur mauvais capacité pour la planification long-terme afin d'accomplir des taches compositionnelles. Une autre limitation des modeles de fondation est le manque en robotique de bases de données massives pour l'apprentissage d'action incarnée multi-taches. De plus, plus la complexité des taches augmente, plus la taille des bases de données doit augmenter, exponentiellement. En fait, en apprentissage non-fini, l'ensemble des taches et les changement d'environnement, par définition, rendent impossible l'apprentissage d'une base de donnée pré-définie, aussi grande soit-elle.

Dans cette thèse theorique, en adoptant la perspective de l'apprentissage continu, nous proposons de nous attaquer à la limitation des bases de données prédéfinies avec les mécanismes d'apprentissage bio-inspirés :

• l'apprentissage par renforcement par motivation intrinsèque pour collecter des données de manière efficace
• l'apprentissage hiérarchique pour mettre à profit l'apprentissage par transfert à partir de taches simples pour construire des taches de plus en plus complexes
• l'apprentissage par imitation actif pour exploiter l'expertise humaine, en particulier les compositions haut niveau de taches.

Cette thèse a pour but d'apporter les bases theoriques pour aligner aux representations des humains, des modeles de fondation robotique multi-modales adaptatif de tache en incorporant la proprioception, la vision, le langage et l'apprentissage auto-supervisé, permettant aux robots de généraliser des taches primitives pour améliorer en taches compositionnelles, pour l'apprentissage non-fini dans in environnement incarné.

While robots are expected to carry out complex tasks in the embodied [Varela et al. ] open-ended environment [Doncieux et al. ], the state of the art in robotics can not yet generalise from primitive tasks to solve tasks higher in complexity, and results show only success for a limited number of tasks.

While the breakthrough of Vision Language Models (VLMs) impact robotics as they are harvested to give task planning for compositional tasks, they are challenged with the lack of grounding of physical actions of LLMs and the poor capabilities for long-term planning for long-horizon tasks. Another limitation of foundation models is the lack in robotics of a large dataset for multi-task embodied action learning. Moreover, as the complexity of tasks grows, the need for very large datasets grows. Actually, in open-ended learning, the set of tasks and the environment changes by definition make it impossible to learn from a pre-defined dataset, however large it may be.

In this theoretical thesis, adopting the continual learning perspective, we propose to tackle the limitation of predefined datasets with bio-inspired learning mechanisms :

• intrinsically-motivated reinforcement learning to collect efficiently data and learn from scarce data
• hierarchical learning to leverage transfer learning from simple tasks to build more complex

tasks

• active imitation learning to harness human expertise, especially for high-level task composition.

This thesis aims to study the theoretical bases to align with human representation, multi-modal, task-adaptive robotic foundation models by incorporating proprioception, vision, language and self-supervised learning, allowing robots to generalize from primitive tasks to upscale to complex tasks, for open-ended learning in an embodied environment.

Début de la thèse : 01 / 10 /

Funding category

Public funding alone (i.e. government, region, European, international organization research grant)

Funding further details

Allocation doctorale AMX

• Concours IPP ou école membre
• Concours pour un contrat doctoral
• Financement CSC