Stage Distillation de connaissance cross-architecture pour systèmes embarqués-Saclay-H/F

CEA; Saclay; Sur place; EUR 12 000 - 17 000; Plein temps

Résumé du poste

Stage au CEA à Saclay dans le LIST/LIAE sur la distillation de connaissances cross-architecture pour systèmes embarqués. Vous étudierez et développerez des méthodes permettant de transférer des connaissances d’un modèle ViT/Swin vers un réseau plus compact comme ResNet/MobileNet.

Le stage implique l’analyse de l’état de l’art, la conception de stratégies d’alignement et des fonctions de coût, avec une évaluation sur des plateformes embarquées et des possibilités de publication scientifique.

Qualifications

• Maîtrise du C++ et du Python, requis pour le stage.
• Connaissances en deep learning et en systèmes embarqués.
• Expérience pertinente en distillation de connaissances est un plus.

Responsabilités

• Étudier et implémenter des méthodes de distillation cross-architecture.
• Aligner les représentations et concevoir des fonctions de coût adaptées.
• Évaluer les performances sur des plateformes embarquées et documenter les résultats.

Connaissances

C++

Python

Deep learning

Formation

Master 2 ou équivalent

Outils

Aidge framework

Description du poste

Stage Distillation de connaissance cross-architecture pour systèmes embarqués-Saclay-H/F

Description du poste

Sciences pour l'ingénieur

Intitulé de l'offre

Stage Distillation de connaissance cross-architecture pour systèmes embarqués-Saclay-H/F

Sujet de stage

Étude et développement de méthodes de distillation permettant de transférer les connaissances d'un modèle de vision fondé sur un Transformer (ViT, Swin) vers un réseau convolutif compact (ResNet, MobileNet). Le stage portera notamment sur l'alignement des représentations internes, la conception de fonctions de coût adaptées et l'évaluation des performances en vue d'un déploiement embarqué.

Description de l'offre

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnementde recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Éventuellement, les travaux menés donneront lieu à une publication scientifique.

Description du poste :

Les architectures modernes fondées sur les Transformers, telles que les ViT atteignent d’excellentes performances, mais restent coûteuses à déployer sur des plateformes embarquées aux ressources limitées. Les architectures convolutives, telles que ResNet ou MobileNet, sont davantage adaptées à ces contraintes, mais leur réduction en taille peut entraîner une dégradation de leurs performances.

La distillation de connaissances Knowledge Distillation est une méthode qui permet de transférer une partie du savoir d’un réseau complexe (teacher) à un modèle plus compact (student) en exploitant notamment les logits de sortie des réseaux, leurs feature maps intermédiaires ou d’autres données.

Qu'attendons-nous de vous?

L’objectif de ce stage est d’étudier et d’implémenter une ou plusieurs méthodes de distillation cross-architecture qui transfèrent les connaissances d’un modèle de type ViT ou Swin vers un réseau plus compact type ResNet ou MobileNet. Les représentations internes étant différentes, une importante réflexion sera à mener sur les projeteurs et adaptateurs permettant leur alignement. Le travail du candidat portera spécifiquement sur l’étude de l’état de l’art sur le sujet, la conception de stratégies d’alignement et des fonctions de coût à utiliser, l’implémentation de ces éléments dans le module de distillation d’Aidge (framework de deep learning développé au LIAE), leurs évaluations et leurs validations sur cible.

Quelques références:

• ScaleKD : https://proceedings.neurips.cc/paper_files/paper/2024/hash/73bda9a20f6f9f6074ce822e76f126bb-Abstract-Conference.html

Moyens / Méthodes / Logiciels

Framework Aidge, développement en C++, Python

Profil du candidat

Master 2 ou équivalent, compétences en C++ et Python (obligatoire), connaissances en deep learning (oboigatoire), connaissance sen développement sur système embarqué (souhaité)

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2026-41795

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

• 26 Rue de la Piquetterie, 91680 Bruyères-le-Châtel, France