Compréhension de scène par des LLMs à partir d'OpenUSD pour la robotique H/F

CEA; Palaiseau; Sur place; EUR 20 000 - 40 000; Plein temps

Résumé du poste

Un centre de recherche renommé en Île-de-France recherche un(e) stagiaire en robotique pour travailler sur la compréhension des scènes via des modèles de langage. Le poste nécessite des compétences en programmation (Python, C/C++) et une forte motivation pour la recherche. Le candidat explorera des représentations de scènes et développera des agents IA pour interagir avec des environnements robotiques, ayant la possibilité de publier des résultats scientifiques.

Qualifications

• Étudiant(e) avec un fort intérêt pour la recherche et l’expérimentation.
• Solides compétences de programmation en Python et C/C++.
• Motivation pour explorer le format de description de scène OpenUSD.

Responsabilités

• Explorer la littérature sur les représentations de scènes pour la robotique.
• Concevoir des traitements des scènes USD pour améliorer le raisonnement des LLM.
• Développer un agent IA pour comprendre une scène et interagir avec des systèmes robotiques.

Connaissances

Programmation Python

C/C++

Recherche

Intelligence artificielle

Formation

Étudiant en école d’ingénieur ou Master en informatique

Description du poste

Site carrière CEA : toutes nos offres d'emploi

Vous n'avez pas encore votre propre espace candidat. Créez-le en cliquant ici. Un souci ? Contactez-nous à : [e-mail]

Compréhension de scène par des LLMs à partir d'OpenUSD pour la robotique H/F

Détails de l'offre

Informations générales

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2025-38753

Description du poste

Systèmes d'information

Intitulé de l'offre

Compréhension de scène par des LLMs à partir d'OpenUSD pour la robotique H/F

Sujet de stage

Les robots ont besoin d'une compréhension fine de leur environnement pour agir efficacement. Les grands modèles de langage (LLM) améliorent leur raisonnement grâce à des représentations structurées comme les 3D Scene Graphs, mais les données 3D brutes (comme USD) restent difficiles à exploiter. L'enjeu est de transformer ces descriptions en informations exploitables par l'IA pour une meilleure planification et interaction.

Contexte

La compréhension de l’environnement est essentielle pour les systèmes robotiques. Les robots ont besoin d’informations fiables sur les objets, les espaces et leurs relations pour agir efficacement. Les grands modèles de langue (LLM) sont de plus en plus utilisés comme couches d’orchestration en robotique. Leur raisonnement s’améliore lorsqu’ils reçoivent des représentations de scènes structurées et informatives. Des travaux récents ont montré que les LLM bénéficient fortement des 3D Scene Graphs (3DSG). Les 3DSG fournissent une structure explicite et claire de l’environnement (objets, relations, sémantique), que les LLM peuvent exploiter pour réaliser un raisonnement et une planification plus précis. Universal Scene Description (USD) devient également central en robotique et dans les systèmes de jumeaux numériques, car il fournit une représentation riche des scènes 3D. Cependant, dans le contexte des LLM, USD est généralement utilisé uniquement comme texte brut. Sous cette forme, il contient une grande quantité d’informations bas niveau ou peu pertinentes, ce qui rend difficile pour les LLM d’identifier la structure réellement utile de la scène. Cela met en évidence un manque dans la littérature actuelle : Comment transformer ou structurer les descriptions de scènes USD pour que les LLM puissent les exploiter efficacement ?

Objectifs du stage

• Explorer la littérature existante sur les représentations de scènes pour la robotique, en particulier les approches basées sur les 3D Scene Graphs (3DSG), et étudier les méthodes utilisées pour améliorer le raisonnement des LLM sur des données 3D structurées.
• Étudier comment simplifier et organiser les scènes USD pour fournir aux LLM des informations plus claires et plus faciles à utiliser.
• Concevoir et implémenter différents traitements des scènes USD (en supprimant les éléments inutiles, en regroupant les objets importants ou en construisant un graphe de connaissances) et évaluer l’impact de ces transformations sur les performances des LLM à l’aide.
• Développer un agent IA capable de comprendre une scène et d’appeler des outils externes pour récupérer des informations structurées ou interagir avec un système robotique.
• La publication de résultats scientifiques est fortement encouragée.
• Selon l’avancement, le/la stagiaire aura également la possibilité de tester ses travaux sur des plateformes robotiques réelles.

Moyens / Méthodes / Logiciels

Cluster de calcul (HPC)

Profil du candidat

Compétences requises

• Étudiant(e) en école d’ingénieur ou en Master en informatique, intelligence artificielle, robotique ou domaines similaires.
• Fort intérêt pour la recherche et l’expérimentation.
• Solides compétences de programmation (Python, C/C++).
• Motivation pour explorer le format de description de scène OpenUSD.

Compétences appréciées

• Expérience avec les graphes ou les structures sémantiques.
• Expérience avec des formats de scènes 3D ou des outils de simulation robotique.
• Première expérience avec les LLM ou les systèmes d’agents.

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

26 Rue de la Piquetterie, 91680 Bruyères-le-Châtel