Généralisation compositionnelle des modèles de langage multimodaux

CEA; Saclay; Sur place; EUR 25 000 - 35 000; Plein temps

Résumé du poste

Une thèse est proposée au CEA à Saclay, axée sur la généralisation compositionnelle des modèles de langage multimodaux. Le candidat devra avoir une formation en data science ou mathématiques appliquées. Ce projet vise à améliorer les performances des modèles d'IA dans divers domaines pratiques.

Qualifications

• Formation recommandée: master ou école d'ingénieur en data science ou math appli.

Responsabilités

• Proposer des représentations visuelles pour améliorer la généralisation des modèles de langage.
• Étudier des stratégies pour réduire l'apprentissage de 'raccourcis' artificiels.

Connaissances

data science

math appli

Formation

master

école d'ingénieur

Description du poste

Description du sujet de thèse

Domaine

Défis technologiques

Sujets de thèse

Généralisation compositionnelle des modèles de langage multimodaux

Contrat

Thèse

Description de l'offre

L'avènement des modèles de fondation a permis d'améliorer les performances dans plusieurs domaines de l'IA, en particulier en vision par ordinateur et traitement du langage naturel. Cependant, malgré l'énorme quantité de données utilisées pour les entrainer, ces modèles sont encore limités dans leur capacité à généraliser, en particulier dans un domaine spécifique, mal représenté sur le Web. Une modélisation de ce problème est la généralisation compositionnelle, c'est-à-dire la capacité d'apprendre à démêler les concepts pendant l'entrainement et à les recombiner dans une composition inédite lors de la phase de production/test. La thèse abordera cette
question, en visant à proposer des représentations visuelles qui permettent aux grands modèles génériques de langage visuel de généraliser la composition dans des domaines spécifiques. Elle étudiera des stratégies visant à réduire l'apprentissage de 'raccourcis' artificiels, en favorisant une compréhension plus profonde des structures de composition dans les données multimodales. Elle abordera également le problème de la généralisation de la composition au-delà des simples paires attribut-objet, en saisissant une sémantique plus subtile et plus complexe. La thèse proposée vise des avancées à un niveau assez amont, mais présente de nombreux intérêts pratiques potentiels dans les domaines de la santé, de l'administration et des services, de la sécurité et de la défense, de l'industrie manufacturière et de l'agriculture.

Université / école doctorale

Sciences et Technologies de l'Information et de la Communication (STIC)
Paris-Saclay

Localisation du sujet de thèse

Site

Saclay

Critères candidat

Formation recommandée

master ou école d'ingénieur en data science ou math appli

Demandeur

Disponibilité du poste

01/10/2025

Personne à contacter par le candidat

TUO Aboubacar < email supprimé pour raison de sécurité >
CEA
DRT/DIASI//LVA
CEA-Saclay, BP 28, GIF-SUR-YVETTE CEDEX, ESSONNE 91191, France

Tuteur / Responsable de thèse

LE BORGNE Hervé < email supprimé pour raison de sécurité >
CEA
DRT/DIASI//LASTI
CEA Saclay - Nano-INNOV
Bat 861 - PC 184 - F91191 Gif-sur-Yvette Cedex, France
[phone]

En savoir plus