Compréhension de scène par des LLMs

CEA; Saclay; Sur place; EUR 20 000 - 40 000; Temps partiel

Résumé du poste

Un institut de recherche prestigieux recherche un stagiaire en robotique pour comprendre et exploiter les scènes 3D en utilisant des modèles de langage. Le candidat idéal est étudiant en ingénierie ou en Master, avec des compétences en Python et C/C++. Ce stage offre une occasion unique de travailler sur des projets innovants dans un environnement de recherche renommé au CEA à Saclay, avec une forte possibilité de publication scientifique.

Prestations

Accès à des équipements de pointe

Encadrement par des experts

Qualifications

• Étudiant(e) passionné(e) par l'IA et la robotique.
• Compétences solides en programmation et intérêt pour OpenUSD.
• Capacité à travailler sur des projets innovants.

Responsabilités

• Explorer des représentations de scènes pour la robotique.
• Simplifier et organiser les scènes USD pour les LLM.
• Concevoir et évaluer des traitements des scènes USD.
• Développer un agent IA pour interagir avec des systèmes robotiques.
• Rédiger des publications scientifiques.

Connaissances

Programmation en Python

Programmation en C/C++

Recherche et expérimentation

Formation

Étudiant en école d'ingénieur ou Master en informatique

Outils

Logiciels de simulation robotique

Description du poste

Description du poste

Domaine : Systèmes d'information

Contrat : Stage

Intitulé de l'offre : Compréhension de scène par des LLMs à partir d'OpenUSD pour la robotique H/F

Sujet de stage : Les robots ont besoin d'une compréhension fine de leur environnement pour agir efficacement. Les grands modèles de langage (LLM) améliorent leur raisonnement grâce à des représentations structurées comme les 3D Scene Graphs, mais les données 3D brutes (comme USD) restent difficiles à exploiter. L'enjeu est de transformer ces descriptions en informations exploitables par l'IA pour une meilleure planification et interaction.

Durée du contrat (en mois) : 3 à 6 mois

Description de l'offre

Rejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

Description du poste :

Contexte : La compréhension de l'environnement est essentielle pour les systèmes robotiques. Les robots ont besoin d'informations fiables sur les objets, les espaces et leurs relations pour agir efficacement. Les grands modèles de langue (LLM) sont de plus en plus utilisés comme couches d'orchestration en robotique. Leur raisonnement s'améliore lorsqu'ils reçoivent des représentations de scènes structurées et informatives. Des travaux récents ont montré que les LLM bénéficient fortement des 3D Scene Graphs (3DSG). Les 3DSG fournissent une structure explicite et claire de l'environnement (objets, relations, sémantique), que les LLM peuvent exploiter pour réaliser un raisonnement et une planification plus précis. Universal Scene Description (USD) devient également central en robotique et dans les systèmes de jumeaux numériques, car il fournit une représentation riche des scènes 3D. Cependant, dans le contexte des LLM, USD est généralement utilisé uniquement comme texte brut. Sous cette forme, il contient une grande quantité d'informations bas niveau ou peu pertinentes, ce qui rend difficile pour les LLM d'identifier la structure réellement utile de la scène. Cela met en évidence un manque dans la littérature actuelle : comment transformer ou structurer les descriptions de scènes USD pour que les LLM puissent les exploiter efficacement ?

Objectifs du stage

• Explorer la littérature existante sur les représentations de scènes pour la robotique, en particulier les approches basées sur les 3D Scene Graphs (3DSG), et étudier les méthodes utilisées pour améliorer le raisonnement des LLM sur des données 3D structurées.
• Étudier comment simplifier et organiser les scènes USD pour fournir aux LLM des informations plus claires et plus faciles à utiliser.
• Concevoir et implémenter différents traitements des scènes USD (en supprimant les éléments inutiles, en regroupant les objets importants ou en construisant un graphe de connaissances) et évaluer l'impact de ces transformations sur les performances des LLM à l'aide.
• Développer un agent IA capable de comprendre une scène et d'appeler des outils externes pour récupérer des informations structurées ou interagir avec un système robotique.
• La publication de résultats scientifiques est fortement encouragée.
• Selon l'avancement, le/la stagiaire aura également la possibilité de tester ses travaux sur des plateformes robotiques réelles.

Profil du candidat

Compétences requises

• Étudiant(e) en école d'ingénieur ou en Master en informatique, intelligence artificielle, robotique ou domaines similaires.
• Fort intérêt pour la recherche et l'expérimentation.
• Solides compétences de programmation (Python, C/C++).
• Motivation pour explorer le format de description de scène OpenUSD.

Compétences appréciées

• Expérience avec les graphes ou les structures sémantiques.
• Expérience avec des formats de scènes 3D ou des outils de simulation robotique.
• Première expérience avec les LLM ou les systèmes d'agents.

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Localisation du poste

Site : Saclay

Localisation : France, Ile-de-France, Essonne (91)

Ville : Palaiseau

Critères candidat

Diplôme préparé : Bac+5 - Master 2

Disponibilité du poste

01/03/2026