Attaques par Empoisonnement Contre des Llms en Federated Learning H/F

CEA; Grenoble; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Un acteur majeur de la recherche propose un stage de 6 mois sur les attaques par empoisonnement contre des LLMs en Federated Learning à Grenoble. Les candidats doivent être en Bac+5 ou Master2 en Intelligence Artificielle, avec de bonnes connaissances en Python et PyTorch. Ce stage offre une occasion unique d'évoluer dans un environnement de recherche innovant, avec un fort potentiel de développement industriel.

Prestations

Formations pour renforcer les compétences

Environnement de recherche innovant

Accès à la mobilité douce

Qualifications

• Étudiant(e) en 3A école d’ingénieur et/ou Master2 en Intelligence Artificielle.
• Expérience en Python et PyTorch appréciée.

Responsabilités

• Comprendre les différentes modalités des attaques backdoor des LLMs.
• Enrichir la plateforme avec des attaques des modèles et attaques de l’état de l’art.
• Evaluer la robustesse des modèles en FL.

Connaissances

Bonne connaissance Python

Connaissances en PyTorch

Anglais (Intermédiaire)

Formation

Bac+5 - Diplôme École d'ingénieurs

Description du poste

Description du poste

Composants et équipements électroniques

Intitulé de l'offre

Attaques par empoisonnement contre des LLMs en Federated Learning H/F

Sujet de stage

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat. Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s’engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l’Europe pour un présent et un avenir mieux maîtrisé et plus sûr.

NOUS REJOINDRE, POUR FAIRE QUOI ? Pour contribuer au transfert industriel d’innovations pour des applications dans le domaine de l’industrie, de l’aéronautique, de la bio production, du sport ou encore de l’agriculture et de la préservation des ressources, en réalisant des cartes électroniques et de la programmation pour des systèmes embarqués.

Durée du contrat (en mois)

6 mois

Description de l'offre

Votre Stage :

Les Large Language Models (LLM) sont aujourd’hui omniprésents dans de nombreuses applications dont certaines critiques (e.g., génération de codes). Leur utilisation repose le plus souvent sur l’adaptation d’un modèle pré-entrainé (fine-tuning) sur une tâche spécifique (downstream task). Un paradigme d’apprentissage distribué comme le Federated Learning (FL) apparait comme une solution très prometteuse pour améliorer le passage à l’échelle de ce processus d’adaptation et qui permet à chaque client de préserver la confidentialité de ses données d’apprentissage.

Néanmoins les problèmes de sécurité sont nombreux, plus particulièrement ceux liés à l’intégrité du modèle. Un attaquant peut chercher à empoisonner les données d’apprentissage de certains clients pour injecter une backdoor, c’est-à-dire un comportement malveillant activé quand des données d’entrée bien spécifiques sont proposées au modèle. Par exemple, toutes les entrées présentant les mots « la marque ABCXYZ » renverront une sortie très négative du LLM adapté.

A partir de la plateforme de simulation (Python) de FL du CEA LETI, les objectifs du stage seront :

• – Comprendre les différentes modalités des attaques backdoor des LLMs
• – Enrichir la plateforme avec des attaques des modèles et attaques de l’état de l’art
• – Evaluer la robustesse des modèles en FL

Moyens / Méthodes / Logiciels

Profil du candidat

3A école d’ingénieur et/ou Master2 en Intelligence Artificielle

Bonne connaissance Python / PyTorch

Nous vous proposons :

Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,

Un environnement unique de recherché dédié à des thématiques à fort enjeu sociétal, comme la préservation des ressources (économie de la fonctionnalité, monitoring et optimisation de la consommation en eau…) ou l’efficacité énergétique (maintenance prévisionnelle, optimisation des process)

Une expérience sur une thématique à la pointe de l’innovation, comportant un fort potentiel de développement industriel.

Des formations pour renforcer vos compétences ou en acquérir de nouvelles, en électronique embarquée, en mécatronique, ou en simulation de systèmes multiphysiques multi-échelles.

Conformément aux engagements pris par le CEA en faveur de l’intégration des personnes en situation de handicap, cet emploi est ouvert à toutes et à tous.

Le CEA propose des aménagements et/ou des possibilités d’organisation, rejoignez-nous !

Localisation du poste

France, Auvergne-Rhône-Alpes, Isère (38)

Critères candidat

Anglais (Intermédiaire)

Diplôme préparé

Bac+5 - Diplôme École d\'ingénieurs

Formation recommandée

Possibilité de poursuite en thèse

Demandeur

Disponibilité du poste

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l’économie et de l’Etat. Le CEA est un acteur majeur de la recherche, au service des citoyens, de l’économie et de l’Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s’engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l’Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d’un large éventail de partenaires académiques et industriels en France, en Europe et à l’international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité