Stage : Distillation de modèles de conduite autonome vision-langage-action (VLA)

Stellantis; Poissy; Hybrid; EUR 10,000 - 13,000; Full time

Job summary

Stellantis recherche un stagiaire de fin d'études pour travailler au Green Campus de Poissy au sein de l'équipe IA physique et conduite autonome. Vous étudierez la distillation de modèles multimodaux et testerez des modèles end-to-end sur simulateur et sur véhicule prototype.

Vous appliquerez PyTorch et travaillerez sur Jetson Thor, avec une flexibilité télétravail partiel après une période d’intégration sur site.

Qualifications

• Formation: dernière année d'école d'ingénieur ou Master 2 en apprentissage automatique/vision par ordinateur.

Responsibilities

• Réaliser un état de l'art sur la distillation des grands modèles multimodaux et des modèles de conduite end-to-end.
• Mettre en place la distillation d'un modèle VLA vers des modèles élèves de 1 et 2 milliards de paramètres, comparer plusieurs stratégies.
• Étudier la généralisation et les cas hors données de distillation et diagnostiquer les causes.
• Analyser si le raisonnement explicite est nécessaire au modèle élève pour hériter des capacités.
• Évaluer les données de distillation: volume, diversité et sélection de scénarios.
• Évaluer les modèles en open-loop et en closed-loop dans un simulateur et mesurer le temps d'inférence sur Jetson Thor.
• Tester le modèle distillé sur un véhicule prototype selon l'avancement.

Skills

Python

PyTorch

Apprentissage profond

Transformers

Vision par ordinateur

Multi-GPU training

Raisonnement et planification

Education

Master 2 IA / Vision par ordinateur

École d'ingénieur

Tools

PyTorch

Jetson Thor

CUDA et GPUs

NVIDIA outils

Job description

Contexte et environnement de travail

Vous serez intégré(e) à l'équipe d'une dizaine de personnes en charge des modèles de conduite autonome end-to-end (des capteurs à la trajectoire), au sein de la Direction Tech Research (ingénierie avancée), au Green Campus de Poissy (78). L'équipe adapte, entraîne et évalue des modèles issus de publications récentes, en simulation comme sur véhicule prototype.

Après une période d'intégration en présentiel, sur site, vous pourrez réaliser une partie de votre mission en télétravail. Le temps de présence sur site et en télétravail sera établi selon les besoins du service et de l'organisation définis avec votre tuteur. L'exercice du télétravail peut aller jusqu'à 2 jours/semaine.

Les modèles de conduite VLM/VLA, des reasoning models qui combinent perception, raisonnement et planification, excellent dans les situations rares, mais leur taille (une dizaine de milliards de paramètres) empêche leur déploiement embarqué. L'objectif de ce stage est de distiller un modèle VLA de l'état de l'art en modèles de 1 à 2 milliards de paramètres, et surtout de comprendre ce que la distillation conserve ou perd des capacités du modèle enseignant, et pourquoi. Pour les modèles de conduite capables de raisonner, cette question reste largement ouverte.

Le stage s'inscrit dans le domaine de l'IA physique et s'appuie sur des modèles, données et simulateurs ouverts. Les modèles distillés seront déployés sur un calculateur Jetson Thor puis, selon l'avancement, testés à bord d'un véhicule prototype.

Vos missions

Durant cette expérience, vos principales missions seront les suivantes :

• Réaliser un état de l'art sur la distillation des grands modèles multimodaux et des modèles de conduite end-to-end.
• Mettre en place la distillation d'un modèle VLA de l'état de l'art vers des modèles élèves de 1 et 2 milliards de paramètres, en comparant plusieurs stratégies.
• Étudier ce que la distillation préserve ou perd en généralisation, notamment sur la long tail et les situations absentes des données de distillation, et en diagnostiquer les causes.
• Analyser si le raisonnement explicite est nécessaire au modèle élève pour hériter des capacités de l'enseignant, et s'il reste cohérent avec les trajectoires prédites.
• Étudier l'influence des données de distillation : volume, diversité et sélection ciblée de scénarios.
• Évaluer les modèles en open-loop sur des données de roulage et en closed-loop dans un simulateur à rendu neuronal, et mesurer leur temps d'inférence sur calculateur Jetson Thor.
• Selon l'avancement, tester le modèle distillé à bord d'un véhicule prototype pour étudier son transfert vers un jeu de capteurs différent.

Livrables attendus

• Rapport technique présentant les méthodes, résultats et analyses
• Code de distillation et d'évaluation, documenté et réutilisable
• Présentation finale
• Selon les résultats, valorisation des travaux sous forme de publication scientifique

Profil

Formation : Vous êtes en dernière année d'école d'ingénieur ou en Master 2 dans le domaine de l'apprentissage automatique, de l'intelligence artificielle ou de la vision par ordinateur, et vous recherchez un stage de fin d'études de 6 mois.

Compétences : Vous avez de solides bases en apprentissage profond (architectures transformeurs, modèles génératifs, optimisation) et vous maîtrisez Python et PyTorch. Une première expérience de l'entraînement de modèles de grande taille sur plusieurs processeurs graphiques, des modèles vision-langage, ou de la robotique et de la conduite autonome sera appréciée. Une familiarité avec les outils/modèles Nvidia mentionnés est un atout.

Qualités humaines : Curieux(se), rigoureux(se) et à l'aise en équipe, vous cherchez à comprendre pourquoi un modèle fonctionne, pas seulement à constater qu'il fonctionne. Force de proposition, vous savez formuler des hypothèses, concevoir des expériences pour les tester et analyser vos résultats avec esprit critique. Une première expérience de recherche (projet de laboratoire, stage, publication) serait un vrai plus, sans être indispensable.

Chez Stellantis, nous évaluons les candidats selon leurs qualifications, leurs mérites et les besoins du métier. Nous accueillons les candidatures des personnes de tout genre, âge, ethnie, nationalité, religion, orientation sexuelle, et handicap. La diversité de nos équipes nous permettra de mieux appréhender l'évolution des besoins de nos clients et de notre environnement futur.

Durée du contrat

6 mois

At Stellantis, we assess candidates based on qualifications, merit and business needs. We welcome applications from people of all gender identities, age, ethnicity, nationality, religion, sexual orientation and disability. Diverse teams will allow us to better meet the evolving needs of our customers and care for our future.