Stage Intelligence Artificielle - Optimisation de modèles de langage (LLM) pour l'embarqué

CEA; Grenoble; Sur place; EUR 20 000 - 40 000; Plein temps

Résumé du poste

Un institut de recherche en technologie à Grenoble recherche un stagiaire en Intelligence Artificielle pour optimiser des modèles de langage pour des dispositifs embarqués. Le candidat idéal est en dernière année d'école d'ingénieur ou en Master 2, avec de solides compétences en programmation et deep learning. Ce stage offre l'opportunité de travailler sur des projets innovants au sein d'une équipe spécialisée et d'accéder à des ressources avancées.

Qualifications

• Forte motivation pour apprendre et contribuer à la recherche en IA.
• Bonne connaissance en informatique et environnement de programmation (Unix).
• Expérience en deep learning et outils de développement associés.

Responsabilités

• Mettre en place une infrastructure logicielle pour optimiser des modèles de langage.
• Intégrer des méthodes d'optimisation pour le matériel embarqué.
• Travailler dans une équipe multidisciplinaire d'ingénieurs et chercheurs.

Connaissances

Connaissance des systèmes embarqués

Langage Python

Outils de développement (Git)

Deep learning (Pytorch ou Tensorflow)

Formation

Étudiant en dernière année d'école d'ingénieur ou en Master 2

Description du poste

Stage Intelligence Artificielle - Optimisation de modèles de langage (LLM) pour l'embarqué

Description du poste

Mathématiques, information scientifique, logiciel

Intitulé de l'offre

Stage Intelligence Artificielle - Optimisation de modèles de langage (LLM) pour l'embarqué

Sujet de stage

Ce stage vise à mettre en place une infrastructure logicielle pour optimiser des modèles de langage (LLMs) afin de permettre leur implémentation sur du matériel embarqué performant. En partant d'infrastructures logicielles existantes, le stage vise à y intégrer des méthodes d'optimisation (telles que la quantification) adaptées au système embarqué.

Durée du contrat (en mois)

—

Description de l'offre

Les Modèles de Langage Larges (LLMs), tels que ChatGPT, ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLMs sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, une importante ligne de recherche se concentre sur l'optimisation de ces modèles. Les chaînes d'outils open-source existantes, telles que LLM Compressor [1] et OpenVINO [2], permettent des optimisations presque automatiques pour compresser les LLMs en versions plus petites, par exemple par quantification (quantization) et élagage (pruning). Cependant, elles ne ciblent que les matériels conventionnels, tels que les GPU. De nouveaux paradigmes matériels, tels que le Calcul en Mémoire (IMC), promettent d'accélérer et de réduire la consommation d'énergie des LLMs [3]. Cependant, l'exécution des LLMs sur ces matériels nécessite des optimisations spécifiques en raison des caractéristiques de ces matériels. Par exemple, ils nécessitent une quantification extrême du modèle (réduction du nombre de bits sur lesquels les données, les poids et les activations sont encodés), car les calculs IMC ont un nombre limité de bits, et l'optimisation de la robustesse du modèle, car les calculs IMC sont sujets aux erreurs.
Ce stage vise à mettre en place une infrastructure logicielle pour mapper, simuler et explorer les performances des LLMs sur le matériel IMC, en partant des chaînes d'outils open-source existantes et en intégrant des fonctionnalités dédiées au matériel IMC, telles que la quantification et les modèles d'erreurs. L'étudiant sera intégré au sein d'une équipe multidisciplinaire d'ingénieurs de recherche, de doctorants, de post-doctorants et de stagiaires, au cœur d'un écosystème de partenaires industriels et académiques dans le domaine de l'IA embarquée. Il/elle aura accès à une infrastructure de supercalculateurs. Il/elle bénéficiera d'une expertise accrue en LLMs, méthodes de compression et matériels efficaces pour l'IA. En s'appuyant sur les outils et les connaissances développés pendant le stage, l'étudiant pourrait se voir offrir l'opportunité de poursuivre un doctorat sur les méthodes de compression pour les LLMs.

Profil du candidat

Étudiant en dernière année d'école d'ingénieur ou en Master 2 en informatique ou Intelligence Artificielle ou systèmes embarqués.

Forte motivation pour apprendre et contribuer à la recherche en IA. Bonne connaissance en informatique, en environnement de programmation (Unix), langage (Python), outils de développement (Git). Bonne connaissance et expérience dans le deep learning et les outils de développement associés (Pytorch ou Tensorflow). Une connaissance des systèmes embarqués est un plus.

Localisation du poste

—

Référence

2025-37899

Description de l'unité

Ce stage aura lieu au CEA-List, dans le Laboratoire Intelligence Intégrée Multi-capteurs, qui regroupe des experts en intelligence artificielle, système embarqués et capteurs.

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

• La conscience des responsabilités
• La coopération
• La curiosité