Analyste Benchmarking et Red Teaming des systèmes d'IA générative

Société Générale; Courbevoie; Hybrid; EUR 8,900 - 13,000; Part time

Benefits offered by this job

Télétravail

Transport 60% pris en charge

Restaurants d’entreprise

Titres-restaurant dématérialisés en té

Événements d’entreprise

Job summary

Société Générale propose un stage de 6 mois au sein du département Model Risk Management, axé sur l’évaluation des modèles d’IA générative et les benchmarks. Vous collaborez avec les équipes pour déployer des méthodes de Red Teaming et évaluer les risques des LLM dans un contexte bancaire.

Le candidat idéal est étudiant en Bac+4/5, maîtrisant Python et le ML, avec des connaissances Transformers/LangChain et une sensibilité au développement de code structuré, Git et déploiement d’APIs via

Qualifications

• Étudiant en Bac+4/5 en école d’ingénieurs ou formation universitaire équivalente; bases du ML et Python.
• Connaissances de Transformers ou LangChain/LangGraph appréciées; Git et déploiement d’IA via API/containers/cloud.
• Bonne rédaction, autonomie, rigueur et curiosité; esprit d’équipe.

Responsibilities

• Étudier les méthodes de benchmarking et de Red Teaming pour les modèles IA générative.
• Déployer les méthodes retenues dans les outils utilisés par le département de validation des modèles.
• Concevoir et exécuter des scénarios de test Red Teaming pour identifier vulnérabilités et comportements inattendus.
• Analyser l’état de l’art et prendre en main les outils d’évaluation des LLM et systèmes agentiques.
• Documenter les travaux et animer des ateliers avec l’équipe.

Skills

Python

Machine Learning

Git

API deployment

Cloud technologies

Education

Bac+4/5 en ingénierie

Tools

Transformers

LangChain

LangGraph

Docker

Job description

Vos missions au quotidien

Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu’au suivi du risque de modèle de la banque. L’équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées.

Le stage s’articule autour de deux volets complémentaires :

• Étude méthodologique : analyser les méthodes de benchmarking et de Red Teaming appliquées aux modèles d’IA générative, avec une attention particulière portée aux nouveaux benchmarks dédiés à l’évaluation des systèmes agentiques
• Mise en œuvre : déployer les méthodes retenues dans les outils utilisés par le département pour la validation des modèles

Dans ce cadre, les principales missions confiées seront les suivantes :

• Analyse de l’état de l’art et prise en main des outils : réaliser une revue de la littérature consacrée aux méthodes d’évaluation et de benchmarking des LLM, avec un focus sur les systèmes agentiques et les LLM utilisés comme juges, et se familiariser avec les principales bibliothèques associées
• Appropriation de l’environnement interne : prendre en main les outils du département, notamment l’application utilisée pour l’évaluation des risques associés aux LLM susceptibles d’être déployés au sein du Groupe
• Développement de l’application : contribuer à l’évolution de l’outil de Red Teaming en intégrant des tests pertinents et les nouvelles approches identifiées dans la littérature
• Campagnes de Red Teaming: concevoir et exécuter des scénarios de test afin d’identifier les vulnérabilités, les comportements inattendus, les erreurs de raisonnement et les principaux scénarios d’échec
• Analyse comparative : comparer différentes stratégies de tests adversariaux afin d’identifier les pratiques les plus adaptées à l’évaluation des systèmes agentiques.
• Documentation et restitution : formaliser les travaux réalisés et animer des ateliers interactifs afin de présenter les avancées aux membres de l’équipe

Apports du stage

Vous développerez vos connaissances en gestion du risque de modèle dans le secteur bancaire et consoliderez votre expérience en data science. Ce stage vous permettra également de renforcer votre esprit critique, vos capacités de résolution de problèmes, ainsi que vos compétences rédactionnelles et de présentation.

Durée du stage : 6 mois

Et si c’était vous ?

• Étudiant en Bac +4/5 en école d’ingénieurs ou en formation universitaire équivalente, vous maîtrisez les bases du machine learning et de Python
• Une familiarité avec des bibliothèques telles que Transformers ou LangChain/LangGraph est appréciée, de même qu’un intérêt pour le développement de code structuré, Git et le déploiement d’applications d’IA via des API, des conteneurs ou le cloud
• Vous disposez de bonnes qualités rédactionnelles et savez synthétiser et présenter clairement vos travaux. Autonome, rigoureux et curieux, vous êtes également force de proposition
• Votre esprit d’équipe, votre enthousiasme et votre aisance relationnelle vous permettront de vous intégrer rapidement au sein de l’équipe

Plus qu’un poste, un tremplin

Rejoignez-nous pour faire grandir vos ambitions ! Dès votre arrivée, vous serez intégré dans nos équipes et apprendrez chaque jour aux côtés de nos experts qui vous accompagneront dans vos missions. Progressivement, vous gagnerez en autonomie sur vos projets pour faire de cette expérience un vrai accélérateur de carrière. Vous découvrirez également toute la diversité de nos métiers, dans un secteur qui évolue et innove en permanence.

A la fin de vos études, diverses opportunités pourront s’offrir à vous, en France et à l’international.

Pourquoi nous choisir ?

Attentif à votre qualité de vie et conditions de travail, vous bénéficiez d’avantages :

• Télétravail possible selon le rythme de votre service
• Prise en charge de 60% de votre titre de transport
• Billetterie à prix réduits de notre Comité d’Entreprise (concerts, cinéma, sport)
• Offre variée de restaurants d’entreprise et de cafétérias à tarifs compétitifs ainsi que des titres restaurants dématérialisés quand vous êtes en télétravail

Créer, oser, innover, entreprendre font partie de notre ADN. Si vous aussi vous souhaitez être dans l’action, évoluer dans un environnement stimulant et bienveillant, vous sentir utile au quotidien et développer ou renforcer votre expertise, nous sommes faits pour nous rencontrer !

Vous hésitez encore ?

Sachez que nos collaborateurs peuvent s’engager quelques jours par an pour des actions de solidarité sur leur temps de travail : parrainer des personnes en difficulté dans leur orientation ou leur insertion professionnelle, participer à l’éducation financière de jeunes en apprentissage ou encore partager leurs compétences avec une association. Les formats d’engagement sont multiples.

Diversité et inclusion

Nous sommes un employeur garantissant l’égalité des chances et nous sommes fiers de faire de la diversité une force pour notre entreprise. Le groupe s’engage à reconnaître et à promouvoir tous les talents, quels que soient leurs croyances, âge, handicap, parentalité, origine ethnique, nationalité, identité de genre, orientation sexuelle, appartenance à une organisation politique, religieuse, syndicale ou à une minorité, ou toute autre caractéristique qui pourrait faire l’objet d’une discrimination.

Transparence et responsabilité

Le groupe Société Générale a à coeur que les personnes qui nous rejoignent agissent avec éthique et responsabilité pour une culture de performance durable. Les informations mentionnées dans votre candidature peuvent potentiellement être vérifiées dans le respect du cadre légal, à tout moment pendant le processus de recrutement.