Stage -Développement C++ de kernels FP8 pour la plateforme de Deep Learning Aidge H/F

CEA; Grenoble; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une organisation de recherche scientifique recherche un stagiaire pour le développement de kernels FP8 sur la plateforme de Deep Learning Aidge. Ce stage offre l'opportunité de travailler sur des problématiques techniques avancées dans un environnement collaboratif et innovant. Connaissances en C++ et Git requises, avec des notions sur les réseaux de neurones appréciées. Stage basé à Grenoble avec de nombreux avantages.

Prestations

Opportunité d'apprentissage dans une organisation renommée

Environnement de travail innovant

Accès à des moyens expérimentaux exceptionnels

Restaurant d'entreprise

Participation aux transports en commun

Qualifications

• Étudiant(e) en dernière année d’école d’ingénieur ou de master en informatique (M2).
• Connaissances en C++(14) avec une première expérience significative.
• Maîtrise de Git.

Responsabilités

• Implémentation et expérimentation du format numérique FP8 dans Aidge.
• Définir et intégrer les encodages FP8 dans Aidge.
• Développer des noyaux de calcul adaptés sur CPU.

Connaissances

C++

Git

Réseaux de neurones

PyTorch

TensorFlow

Formation

École d’ingénieur ou Master en informatique (M2)

Description du poste

Intitulé de l'offre

Stage - Développement C++ de kernels FP8 pour la plateforme de Deep Learning Aidge H/F

Sujet de stage

Ce stage porte sur l'implémentation et l'expérimentation du format numérique FP8 dans la plateforme open-source Aidge, développée par le CEA pour la conception et l'export de réseaux de neurones. L'objectif est de définir et intégrer les deux encodages FP8 (E4M3 et E5M2) dans Aidge, de développer des noyaux de calcul adaptés sur CPU, et de valider leur usage par l'entraînement complet d'un réseau de neurones en FP8.

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

Description du poste :

Les calculs des réseaux de neurones sont historiquement faits dans le format 32 bits classique. L'essor récent de ces réseaux et leur complexité grandissante ont conduit à explorer d'autres formats de données, afin de réduire les temps de calcul, la mémoire utilisée et la consommation électrique. Les derniers développements dans ce domaine ont conduit à l'utilisation du format FP8, où un nombre est encodé sur 8 bits. En pratique, le format FP8 se décompose en deux encodages : E4M3 (4 bits d'exposant, 3 de mantisse), utilisé pour l'inférence; et E5M2, utilisé pour l'apprentissage.

Le but de ce stage est d'implémenter ce format numérique dans la plateforme logicielle open-source Aidge, développée par les équipes du CEA et dédiée à la conception, la manipulation et l'export de réseaux de neurones, en particulier sur des cibles embarquées.

Les attendus du stage sont donc :

• La définition des nouveaux formats FP8 dans Aidge, qui se fera en choisissant une implémentation déjà existante et en l'intégrant dans la plateforme.
• L'implémentation de noyaux de calculs (sur CPU, uniquement en inférence) utilisant ce format.
• L'implémentation de noyaux de calculs CUDA (à la fois pour l'entraînement et l'inférence) utilisant le FP8.
• L'entraînement de bout en bout d'un réseau de neurones en FP8 avec Aidge
• (Bonus) Si le temps le permet, des sujets annexes peuvent être abordés, principalement les arrondis stochastiques et la prise en compte du facteur de scaling dans les noyaux de calculs.

En fonction des attendus de votre école, les sujets pourront être discutés.

[] : Micikevicius, Paulius, Dusan Stosic, Neil Burgess, et al. “FP8 Formats for Deep Learning.” arXiv:2209.05433. Preprint, arXiv, September 29, 2022. https://doi.org/10.48550/arXiv.2209.05433.
[2] : https://eclipse.dev/aidge/

Moyens / Méthodes / Logiciels

Ferme de calcul FactoryIA

Profil du candidat

Qu’attendons-nous de vous?

Vous êtes étudiant(e) en dernière année d’école d’ingénieur ou de master en informatique (M2). Vous êtes curieux(se), rigoureux(se) et appréciez travailler sur des problématiques techniques et concrètes.

Vous possédez des connaissances en C++(14), avec une première expérience significative (projet académique, personnel ou stage), et vous maîtrisez Git. Des notions en réseaux de neurones et l’utilisation de frameworks tels que PyTorch ou TensorFlow seraient appréciées.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles!

Vous avez encore un doute ? Nous vous proposons:

• L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
• Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
• Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
• Des moyens expérimentaux exceptionnels et un encadrement de qualité,
• De réelles opportunités de carrière à l’issue de votre stage
• Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,
• Une participation aux transports en commun à hauteur de 85%,
• Un équilibre vie privée – vie professionnelle reconnu,
• Un restaurant d'entreprise,
• Une politique diversité et inclusion,

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Localisation du poste

France, Auvergne-Rhône-Alpes, Isère (38)