Stage – Fiabilité de l’apprentissage multimodal sous modalités manquantes : évaluation d’architectures à mélange d’experts structuré

IRT SystemX; Palaiseau; On-site; EUR 12,000 - 15,000; Full time

Benefits offered by this job

Gratification de 1200€ net/mois

Job summary

Le stage proposé par IRT SystemX à Palaiseau s’inscrit dans le cadre du projet SystemX – Recherche exploratoire 2027. Vous travaillez sur des modèles multimodaux à experts fiables et l’évaluation sous modalités manquantes, en collaboration avec des partenaires académiques et industriels.

Durée de 6 mois, démarrage envisagé en mars 2027, et gratification de 1200€ nets/mois. Le poste implique des déplacements éventuels à Dublin et un travail en équipe internationale sur des problématiques de

Qualifications

• Formation BAC+5/Ingénierie ou Master 2 avec forte appétence recherche.
• Bonnes bases en ML, statistiques et optimisation.
• Maîtrise de Python et anglais opérationnel.

Responsibilities

• Industrialiser la chaîne d’expérimentation et intégrer les méthodes de référence.
• Concevoir et évaluer des scénarios de manquance structurée et calibrer les modèles.
• Rédiger le rapport de stage et contribuer à une diffusion open source.

Skills

Python

Machine Learning

Statistiques

Optimisation

Anglais courant

Informatique

Education

BAC+5 en fin de cycle école d’ingénieur ou Master 2

Tools

MIMOSA framework

MIMIC-IV

Job description

Stage – Fiabilité de l’apprentissage multimodal sous modalités manquantes : évaluation d’architectures à mélange d’experts structuré

Durée du stage :6 mois
Date de démarrage envisagée : Mars 2027
Localisation du poste: Palaiseau (91)
Gratification: 1200€ net mensuel

Contexte du stage

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques. Vous travaillerez au sein du projet SystemX – Recherche exploratoire 2027 – intitulé « Modèles multimodaux à experts fiables : routage informé et évaluation sous modalités manquantes » dont le partenaire académique est Mimi Zhang, Assistant Professor au Trinity College Dublin. Vous serez encadré par Faïcel Chamroukhi, responsable de l’axe scientifique science des données, IA et Interaction, en collaboration avec Mohamed Ibn Khedher, Ingénieur-Chercheur à SystemX, et Mimi Zhang.

Le poste est basé à l’IRT SystemX – Palaiseau. Des déplacements à Dublin peuvent être organisés dans le cadre du stage.

Présentation du sujet

Les systèmes d’IA opérant sur des flux multimodaux doivent souvent décider à partir d’une information partielle : une modalité est fréquemment indisponible, parce que l’examen n’a pas été réalisé, que le capteur est défaillant ou que la scène est occultée. Les architectures à mélange d’experts adaptent le calcul aux modalités effectivement présentes, mais leur routage traite de la même façon ce qui a été effectivement observé et ce qui a été reconstruit. Cette recherche prolonge la recherche exploratoire 2026, qui a produit MIMOSA, un cadre multimodal combinant la reconstruction des modalités absentes, la factorisation des représentations en une part partagée et une part spécifique, et un routage par mélange d’experts porté sur ces facteurs. Son évaluation a mis en évidence un point précis : selon la tâche, une modalité peut être absente dans 75 à 80 % des cas – ex. la radiologie –, de sorte que la décision porte le plus souvent sur une représentation reconstruite – et une métrique agrégée (par exemple AUROC, F1) ne dit rien de la fiabilité de cette décision. C’est ce verrou que le stage contribue à lever.

La recherche exploratoire accueillant le stage poursuit deux objectifs : (O1) un routage informé par la fiabilité, et (O2) l’évaluation de la fiabilité sous manquance structurée. Le stage porte sur un lot délimité au sein de ce second objectif : le banc d’évaluation et les scénarios de manquance reproductibles. La conception du mécanisme de routage (O1) est assurée par les permanents du projet.

Objectifs du stage

Objectif 1: Banc d’évaluation.

Industrialiser la chaîne d’expérimentation MIMIC-IV existante (trois tâches : mortalité hospitalière à 48 h, durée de séjour, phénotypage à 25 classes), y intégrer les méthodes de référence du domaine, et stratifier les résultats selon la configuration de modalités effectivement présentes.

Objectif 2: Dégradation et scénarios de manquance.

Conduire l’étude de dégradation sous manquance structurée (MCAR/ MAR / MNAR) par ablation contrôlée des modalités, et développer un générateur reproductible de scénarios, y compris des régimes absents des données réelles. Une question ouverte sera examinée : sous manquance informative (MNAR), dans quelle mesure un modèle gagne-t-il en performance en exploitant le seul fait qu’une modalité soit absente ?

Objectif 3: Calibration et prédiction sélective.

Mettre en œuvre et comparer des mesures de calibration conditionnées à la configuration de modalités observées, ainsi que la prédiction sélective qui permet au modèle de s’abstenir lorsque l’information disponible est trop dégradée.

• Réaliser l’état de l’art sur la quantification d’incertitude et la calibration en apprentissage multimodal robuste aux modalités manquantes.
• Prendre en main le cadre MIMOSA et la chaîne de préparation et d’évaluation développés en 2026.
• Implémenter le banc d’évaluation, le protocole de fiabilité et le générateur de scénarios, en veillant à la reproductibilité des expériences.
• Conduire les expérimentations, analyser les résultats et en discuter l’interprétation.
• Contribuer à la brique logicielle destinée à une diffusion en open source.
• Participer aux échanges avec Mimi Zhang (Trinity College Dublin) et présenter les travaux en séminaires internes.
• Contribuer à la préparation d’une communication scientifique.
• Rédiger le rapport de stage.
• Rapport de stage.
• Codes sources documentés et reproductibles.
• Contribution à une soumission pour une communication internationale, en conférence ou en workshop d’apprentissage automatique et d’IA.

Références bibliographiques

Profil et compétences

De formation : BAC+5 en fin de cycle école d’ingénieur ou Master 2.

Compétences souhaitées

• Être actuellement inscrit en Master 2 ou en troisième année de cycle ingénieur, en Informatique ou en Mathématiques Appliquées/Statistique avec un intérêt avéré pour la recherche exploratoire ;
• Très bonnes connaissances théoriques en Machine Learning, en Statistiques, et en Optimisation;
• Une première expérience en modèles génératifs ou probabilistes serait un plus;
• Très bonnes compétences en programmation Python.

Aptitudes personnelles

• Rigueur et autonomie dans la conduite des expériences.
• Esprit critique sur les résultats obtenus.
• Capacité à documenter clairement son travail.
• Aisance à communiquer à l’écrit et à l’oral en français et en anglais.
• Goût du travail en équipe, dans un contexte international.

Le recrutement de candidats s’effectue en priorité auprès des établissements de formation français.

Vous travaillerez au sein du projet de recherche et développement InterLab/POIESIS conduit avec la SNCF.

Vous serez encadré par un ingénieur-chercheur SystemX de l’équipe ingénierie système et sureté de fonctionnement.