Stage KV Cache design for efficient transformer deployment in edge systems-Saclay-H/F

CEA; Saclay; On-site; EUR 8,900 - 13,000; Part time

Job summary

Le CEA, LIST, Laboratoire Intelligence Artificielle Embarquée (LIAE) à Saclay, propose un stage de 6 mois sur le design KV Cache pour déployer efficacement des transformeurs dans des systèmes edge. Vous évoluerez dans un cadre de recherche international, avec accès à des équipements de pointe et à des ressources de calcul.

Vous développerez et validerez un modèle KV cache en C++ au sein de l’outil laboratoire, analysera les besoins sur CPU/GPU/SoC et contribuerez potentiellement à une

Qualifications

• Maitrise des notions d inference et de réseaux de neurones
• Bonne connaissance des architectures matérielles et de leur impact sur les performances
• Souci du détail et travail en équipe dans un cadre recherche

Responsibilities

• Fournir un état de l’art croisé sur les besoins LLM et les méthodes décrites dans la littérature
• Développer et valider un modèle KV cache en langage C++ dans l’outil laboratoire
• Mettre en œuvre le mécanisme dans un modèle LLM retenu

Skills

Inférence

Education

3ème année ingénieur ou Master 2

Tools

Pytorch

C++

Git

Job description

Stage KV Cache design for efficient transformer deployment in edge systems-Saclay-H/F

Description du poste

Sciences pour l'ingénieur

Intitulé de l'offre

Stage KV Cache design for efficient transformer deployment in edge systems-Saclay-H/F

Sujet de stage

L'engouement pour les modèles de réseaux de neurones type Transformers dédiés aux tâches IA dites génératives ne se dément pas. De nombreux modèles ont été mis à disposition par les différents acteurs du marché. S'appuyant sur la disponibilité et l'exploitation d'immense base de données et d'un apprentissage profond coûteux, les performances atteintes pour la création de contenu sont très élevées sur des architectures GPU. Cependant, ces larges modèles sont gourmands en mémoire et par conséquent très énergivore ce qui rend leur utilisation dans le domaine de l'embarqué très ardue. Dans le cas d'un LLM, le principal verrou repose notamment sur un accès massif à la mémoire. Un module dit KV Cache permet de pallier ce problème. Aussi, le LIAE s'intéresse à l'étude et la faisabilité de l'implémentation de ce type de fonctionnalité. L'idée principale est d'analyser et de quantifier les besoins et les limites pour un déploiement sur des architectures type CPU, GPU ou SoC...

Durée du contrat (en mois)

6 mois

Description de l'offre

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnementde recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Éventuellement, les travaux menés donneront lieu à une publication scientifique.

Dans le cadre de ses activités sur de conception d’inférence légère pour l’embarqué, le LIAE s’intéresse à l’étude et la faisabilité de l’implémentation de ce type de fonctionnalité. L’idée principale est d’analyser et de quantifier les besoins et les limites pour un déploiement sur des architectures type CPU, GPU ou SoC...

Qu'attendons-nous de vous?

• Fournir un état de l’art croisé et étayé à la fois des besoins de LLM choisis judicieusement et des différentes méthodes décrites dans la littérature,
• Développer et valider un modèle fonctionnel léger d’un KV cache en langage C++ dans l’outil du laboratoire,
• Mettre en œuvre le mécanisme dans un modèle LLM retenu.

Moyens / Méthodes / Logiciels

Python/Pytorch, développement en C++, Git

Profil du candidat

Niveau demandé: 3ème année étude ingénieur ou master 2

Compétences: 1ère expérience avec Pytorch et C++, mise en œuvre d’inférence, des notions sur les architectures matérielles serait un plus

Pièces à fournir: CV + Lettre de motivation + Relevés de notes des 3 dernières années

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat. Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2026-41932

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.