Stage - assistant data scientist - mesures et réduction des biais des llms H/F

Crédit Agricole SA; Montrouge; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une grande banque française propose un stage d'assistant data scientist pour développer une méthodologie d'évaluation et de réduction des biais dans les LLM utilisés dans le secteur bancaire. Le stagiaire participera à des projets innovants en Data Science et travaillera au sein de squads pluridisciplinaires. Une formation supérieure en Data Science ou Statistiques est requise.

Qualifications

• Étudiant(e) avec spécialisation en Data Science ou Statistiques.
• Bonne compréhension des enjeux bancaires liés à l'IA.
• Capacité à travailler en équipe pluridisciplinaire.

Responsabilités

• Diagnostiquer les biais présents dans les modèles de LLM.
• Explorer les stratégies de mitigation pour réduire les biais.
• Traduire les recherches en recommandations opérationnelles.

Connaissances

Analyse des biais

Conception de modèles

Compétences en Data Science

Formation

Formation en école d’ingénieur ou université en Data Science/Statistiques

Description du poste

Overview

Stage - assistant data scientist - mesures et réduction des biais des llms H/F

Au sein de la Direction de la Transformation Technologique Data & IA, la Direction Data & IA Groupe a pour ambition de maximiser la contribution de la Data et de l’Intelligence Artificielle au fonctionnement du Crédit Agricole. Elle s’appuie notamment pour cela sur le DataLab Groupe pôle de référence en conception interne de solutions Data & IA innovantes et industrielles en partenariat avec les entités du Groupe.

Le DataLab Groupe dispose de toutes les compétences Data coopérant au sein de Squads pluridisciplinaires selon une méthode interne d’inspiration Agile : Data & AI Engineering visant à préparer les données, définir les architectures, infrastructures et « packager » les solutions qui y seront déployées pour intégration dans le SI; Data Science Analytique et Sémantique pour concevoir des algorithmes d’Intelligence Artificielle basés sur l’open source exploitant respectivement des données structurées (tabulaires) et des données non structurée (texte, image, voix, vidéos) afin de répondre aux besoins exprimés par les métiers des entités du Groupe; Gestion de projets qui avec l’ensemble des partenaires et équipes techniques du DataLab Groupe, permet d\u2019identifier et étudier les opportunités, cadrer les projets et en coordonner la réalisation.

L'objectif de ce stage est de développer une méthodologie robuste d\u2019évaluation et de réduction des biais discriminatoires dans les LLM utilisés en contexte bancaire, ainsi que les outils permettant de l’implémenter.

Responsabilités

• Diagnostiquer les biais présents dans les modèles : Concevoir un framework d\u2019évaluation adapté aux cas d\u2019usage bancaires, identifier et quantifier les biais dans une sélection de modèles propriétaires et open source, développer des jeux de tests pour détecter les discriminations liées aux critères protégés par la loi
• Explorer et évaluer les stratégies de mitigation : Analyser les techniques de débiaisage existantes (fine-tuning, ingénierie de prompts, post-traitement), évaluer leur applicabilité dans notre contexte bancaire en tenant compte des contraintes opérationnelles, développer des approches innovantes adaptées à nos besoins
• Traduire les travaux de recherche en recommandations opérationnelles : Proposer un protocole d\u2019audit intégrable dans nos processus de validation, définir des seuils d\u2019acceptabilité pour le déploiement en production, rédiger des guidelines opérationnelles pour l\u2019usage responsable des LLM par nos collaborateurs

Étapes clés

• Veille bibliographique sur la problématique
• Sélection et implémentation des approches les plus adaptées à la problématique
• Réalisation d’une étude comparative sur des données internes et externes
• Intégration des développements dans les produits du DataLab Groupe
• Publication scientifique si les travaux aboutissent à de nouvelles approches plus performantes que l’état de l’art

Profil

De formation supérieure en école d’ingénieur ou en université, avec une spécialisation en Data Science/Statistiques.