Stage KV Cache Design for Efficient Edge Transformers

CEA; Saclay; On-site; EUR 8,900 - 13,000; Part time

Job summary

Le CEA, LIST, Laboratoire Intelligence Artificielle Embarquée (LIAE) à Saclay, propose un stage de 6 mois sur le design KV Cache pour déployer efficacement des transformeurs dans des systèmes edge. Vous évoluerez dans un cadre de recherche international, avec accès à des équipements de pointe et à des ressources de calcul.

Vous développerez et validerez un modèle KV cache en C++ au sein de l’outil laboratoire, analysera les besoins sur CPU/GPU/SoC et contribuerez potentiellement à une

Qualifications

• Maitrise des notions d inference et de réseaux de neurones
• Bonne connaissance des architectures matérielles et de leur impact sur les performances
• Souci du détail et travail en équipe dans un cadre recherche

Responsibilities

• Fournir un état de l’art croisé sur les besoins LLM et les méthodes décrites dans la littérature
• Développer et valider un modèle KV cache en langage C++ dans l’outil laboratoire
• Mettre en œuvre le mécanisme dans un modèle LLM retenu

Skills

Inférence

Education

3ème année ingénieur ou Master 2

Tools

Pytorch

C++

Git

Job description

Le CEA, LIST, Laboratoire Intelligence Artificielle Embarquée (LIAE) à Saclay, propose un stage de 6 mois sur le design KV Cache pour déployer efficacement des transformeurs dans des systèmes edge. Vous évoluerez dans un cadre de recherche international, avec accès à des équipements de pointe et à des ressources de calcul.

Vous développerez et validerez un modèle KV cache en C++ au sein de l’outil laboratoire, analysera les besoins sur CPU/GPU/SoC et contribuerez potentiellement à une