STAGE - Assistant Data Scientist - Mesures et réduction des biais des LLMs H/F

Crédit Agricole Group; Montrouge; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une grande institution financière recherche un stagiaire pour développer des méthodologies d'évaluation et de réduction des biais dans les modèles d'intelligence artificielle. Le stagiaire travaillera sur des projets de diagnostic et de mitigation des biais pour garantir un usage conforme et responsable dans le secteur bancaire. Ce rôle exige une compréhension des données et des compétences en programme informatique. Un environnement innovant et collaboratif est offert.

Prestations

Formation interne

Possibilité de publication scientifique

Qualifications

• Étudiant(e) en dernière année d'études supérieures dans un domaine pertinent.
• Connaissances en intelligence artificielle et en gestion des données requises.
• Capacité à travailler en équipe et à communiquer efficacement.

Responsabilités

• Diagnostiquer les biais dans les modèles bancaires.
• Explorer et évaluer des stratégies de mitigation de biais.
• Proposer des recommandations opérationnelles sur l'utilisation des LLM.

Connaissances

Analyse des données

Gestion de projets

Ingénierie des exhortations

Développement d'algorithmes

Formation

Études en informatique ou en analyse de données

Outils

Python

Frameworks de Machine Learning

Description du poste

Overview

Au sein de la Direction de la Transformation Technologique Data & IA, la Direction Data & IA Groupe a pour ambition de maximiser la contribution de la Data et de l’Intelligence Artificielle au fonctionnement du Crédit Agricole. Elle s’appuie notamment pour cela sur le DataLab Groupe pôle de référence en conception interne de solutions Data & IA innovantes et industrielles en partenariat avec les entités du Groupe. Le DataLab Groupe dispose de toutes les compétences Data coopérant au sein de Squads pluridisciplinaires selon une méthode interne d’inspiration Agile :

• Data & AI Engineering visant à préparer les données, définir les architectures, infrastructures et « packager » les solutions qui y seront déployées pour intégration dans le SI,
• Data Science Analytique et Sémantique pour concevoir des algorithmes d’Intelligence Artificielle basés sur l’open source exploitant respectivement des données structurées (tabulaires) et des données non structurées (texte, image, voix, vidéos) afin de répondre aux besoins exprimés par les métiers des entités du Groupe,
• Gestion de projets qui avec l’ensemble des partenaires et équipes techniques du DataLab Groupe, permet d\'identifier et étudier les opportunités, cadrer les projets et en coordonner la réalisation.

L'objectif de ce stage est de développer une méthodologie robuste d'évaluation et de réduction des biais discriminatoires dans les LLM utilisés en contexte bancaire, ainsi que les outils permettant de l’implémenter.

Missions principales

Vous aurez pour missions principales de :

• Diagnostiquer les biais présents dans les modèles : Concevoir un framework d'évaluation adapté aux cas d'usage bancaires, identifier et quantifier les biais dans une sélection de modèles propriétaires et open source, développer des jeux de tests pour détecter les discriminations liées aux critères protégés par la loi
• Explorer et évaluer les stratégies de mitigation : Analyser les techniques de débiaisage existantes (fine-tuning, ingénierie de prompts, post-traitement), évaluer leur applicabilité dans notre contexte bancaire en tenant compte des contraintes opérationnelles, développer des approches innovantes adaptées à nos besoins
• Traduire les travaux de recherche en recommandations opérationnelles : Proposer un protocole d'audit intégrable dans nos processus de validation, définir des seuils d'acceptabilité pour le déploiement en production, rédiger des guidelines opérationnelles pour l'usage responsable des LLM par nos collaborateurs.

Étapes clés

Les étapes clés du stage sont les suivantes :

• Veille bibliographique sur la problématique
• Sélection et implémentation des approches les plus adaptées à la problématique
• Réalisation d’une étude comparative sur des données internes et externes
• Intégration des développements dans les produits du DataLab Groupe
• Publication scientifique si les travaux aboutissent à de nouvelles approches plus performantes que l’état de l’art.