Stage Pruning de tokens quantization-aware pour Vision Transformers embarqués -Saclay-H/F

CEA; Saclay; Sur place; EUR 12 000 - 18 000; Plein temps

Avantages offerts par ce poste

Restaurant d'entreprise

Participation transports 85%

Équilibre vie professionnelle / vie pr

Résumé du poste

Le CEA, Laboratoire LIST à Saclay, propose un stage sur le pruning de tokens quantization-aware pour Vision Transformers embarqués. Vous travaillerez sur l’optimisation des ViT pour des plateformes à ressources contraintes et étudieront la co-optimisation du pruning et de la quantification.

Vous préparez un diplôme Bac+5 (Master 2 ou ingénieur). Maîtrise de Python, PyTorch et Linux souhaitée, avec un Anglais intermédiaire.

Qualifications

• Diplôme Bac+5 (Master 2 ou ingénieur) dans l’informatique, les mathématiques appliquées ou IA.
• Bonne connaissance en Python, PyTorch et Linux.
• Anglais intermédiaire exigé.
• Rigueur, autonomie et curiosité scientifique.

Responsabilités

• Concevoir et tester une méthode de pruning de tokens quantization-aware et hardware-aware.
• Évaluer l’impact sur la précision et l’efficacité sur des plateformes embarquées.
• Intégrer les méthodes proposées dans la plateforme Aidge et valider sur cible.

Connaissances

Python

PyTorch

Linux

Anglais intermédiaire

Formation

Master 2 ou diplôme d’ingénieur

Bac+5 niveau équivalent

Outils

PyTorch

Linux

Description du poste

Stage Pruning de tokens quantization-aware pour Vision Transformers embarqués -Saclay-H/F

Description du poste

Sciences pour l'ingénieur

Intitulé de l'offre

Stage Pruning de tokens quantization-aware pour Vision Transformers embarqués -Saclay-H/F

Sujet de stage

Dans un contexte d'IA embarquée en constante évolution, vous travaillerez sur l'optimisation de Vision Transformers (ViT) pour leur déploiement sur des plateformes à ressources contraintes. Vous étudierez la combinaison du pruning de tokens et de la quantification afin de réduire les coûts de calcul et de mémoire, tout en tenant compte des contraintes réelles du matériel cible.

Durée du contrat (en mois)

6 mois

Description de l'offre

Description du poste :

Les Vision Transformers (ViT) atteignent d’excellentes performances sur de nombreuses tâches de vision, mais leur coût de calcul et leur empreinte mémoire compliquent leur déploiement sur des plateformes embarquées. Parmi les techniques permettant de réduire leur complexité, le pruning de tokens [1] vise à supprimer dynamiquement les tokens les moins informatifs, tandis que la quantification [2] réduit la précision numérique des poids et des activations. Ces deux approches sont cependant généralement étudiées séparément alors qu'elles sont complémentaires plutôt que concurrentes. Des travaux récents montrent qu’elles peuvent être fortement interdépendantes et gagner à être conçues conjointement [3,4].

Qu’attendons-nous de vous?

L’objectif de ce stage est de développer une méthode de pruning de tokens quantization-aware et hardware-aware. Le travail consistera d’abord à caractériser l’impact de la quantification sur la sélection et l’importance des tokens, puis à développer une stratégie de pruning tenant compte à la fois de leur contribution à la tâche et de leur sensibilité à la basse précision. L’objectif sera ainsi d’étudier la co-optimisation du pruning et de la quantification plutôt que leur application indépendante.

La dimension hardware-aware visera à transformer les réductions de complexité algorithmique en gains réels sur la plateforme cible, notamment en termes de latence et d’empreinte mémoire. La granularité du pruning, la structure des tenseurs, le budget de tokens ainsi que le caractère dynamique ou statique de la stratégie seront étudiés en fonction de leur efficacité d’exécution et de leur compatibilité avec les kernels et le compilateur.

Les développements seront intégrés dans Aidge, la plateforme de deep learning développée au laboratoire pour l’optimisation et le déploiement de réseaux de neurones sur systèmes embarqués. Le travail comprendra l’étude de l’état de l’art, le développement et l’intégration des méthodes proposées, puis leur validation sur cibleen termes de précision, complexité, latence, empreinte mémoire et surcoût du pruning.

Références:

Profil du candidat

Vous préparez un diplôme de niveau Bac+5 (Master 2 ou diplôme d’ingénieur) dans le domaine de l’informatique, des mathématiques appliquées, de l’intelligence artificielle ou dans un domaine connexe.

Vous êtes intéressé par la recherche scientifique et technologique et êtes reconnu pour votre rigueur, votre autonomie et votre curiosité scientifique.

Vous possédez de bonnes connaissances en Python, PyTorch et Linux, ainsi qu’en apprentissage profond.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles!

Vous avez encore un doute ? Nous vous proposons:

• L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
• Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
• Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
• Des moyens expérimentaux exceptionnels et un encadrement de qualité,
• De réelles opportunités de carrière à l’issue de votrestage,
• Un poste au cœur de l’écosystème scientifique et technologique de Paris-Saclay, facilement accessible en transports en commun,
• Une participation aux transports en commun à hauteur de 85%,
• Un équilibre vie privée – vie professionnelle reconnu,
• Un restaurant d'entreprise,
• Une politique diversité et inclusion.

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Critères candidat

Anglais (Intermédiaire)

Référence

2026‑41757

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.