Analyste Red Teaming des modèles d'embeddings

Société Générale; Courbevoie; On-site; EUR 13,000 - 18,000; Full time

Benefits offered by this job

Télétravail possible selon le rythme

Prise en charge de 60% du titre de nav

Billetterie CE et restaurants dentrép

Job summary

Société Générale SA recherche un stagiaire pour rejoindre le département Model Risk Management et étudier la robustesse des modèles d embeddings utilisés dans les systèmes RAG et agents. Vous contribuerez à définir une méthodologie d identification des vulnérabilités et à tester les mécanismes de recherche et récupération d information.

Le stage couvre une revue bibliographique, la prise en main de modèles open source, la conception de scénarios de red teaming, l évaluation des risques et la

Qualifications

• Formation Bac+4/5 en ingénierie ou équivalent universitaire.
• Bonnes connaissances en Machine Learning et Deep Learning.
• Maîtrise du langage Python et capacités de restitution sur PowerPoint ou Web apps.

Responsibilities

• Réaliser une revue de littérature sur les vulnérabilités des modèles d embeddings et des systèmes de recherche vectorielle.
• Prendre en main des modèles d embeddings open source et des environnements RAG pour des cas d’usage métier.
• Concevoir et implémenter des scénarios de red teaming pour évaluer la robustesse des recherches et des récupérations d information.
• Analyser l’impact d attaques telles que empoisonnement des bases de connaissances et manipulation des résultats de recherche.
• Définir des métriques de résilience et évaluer les risques pour des cas banking.

Skills

Machine Learning

Deep Learning

Python

Rédaction

Education

Bac+4/5 ou équivalent

Tools

PowerPoint

Web apps

Job description

Vos missions au quotidien

Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu’au suivi du risque de modèle de la banque. L’équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées.

L’objectif du stage est d’étudier et d’évaluer la robustesse des modèles d’embeddings utilisés dans les systèmes RAG et agentiques au travers d’exercices de red teaming. Le stagiaire contribuera à la définition d’un cadre méthodologique permettant d’identifier les vulnérabilités susceptibles d’affecter la qualité des informations récupérées et, in fine, les décisions prises par les systèmes d’IA.

Vous serez notamment amené à :

• Réaliser une revue de littérature sur les principales vulnérabilités des modèles d’embeddings et des systèmes de recherche vectorielle
• Prendre en main différents modèles d’embeddings open source, bases vectorielles et frameworks RAG afin de construire des environnements d’expérimentation représentatifs de cas d’usage métier
• Concevoir et implémenter des scénarios de red teaming visant à évaluer la robustesse des mécanismes de recherche et de récupération d’information ;
• Analyser l’impact d’attaques telles que l’empoisonnement de bases de connaissances, la manipulation des résultats de recherche, les attaques multilingues et les techniques d’évasion.
• Définir des métriques de résilience
• Évaluer les risques associés pour des cas d’usage bancaires
• Documenter l’étude et animer des ateliers interactifs pour présenter les avancements aux membres de l’équipe

Apports du stage

Vous acquerrez une vision spécifique en gestion du risque de modèle au sein des établissements bancaires, ainsi qu’une expérience significative dans le domaine de la data science. Vous mettrez en exergue vos qualités rédactionnelles et de présentation.

Durée du stage : 6 mois.

Et si c’était vous ?

Compétences requises et qualités appréciées :

• De formation Bac + 4/5 - École d’Ingénieurs ou équivalent universitaire, vous avez de solides connaissances théoriques et opérationnelles en Machine Learning et en Deep Learning (e.g. étapes d’apprentissage d’un modèle)
• Vous justifiez de bonnes connaissances en Python
• Doté de qualités rédactionnelles, vous savez rédiger des notes synthétiques et présenter vos résultats sous format PowerPoint ou de Web apps. Autonome, rigoureux, curieux, vous êtes force de proposition
• Un fort esprit d’équipe, de l’enthousiasme et un bon relationnel vous permettront de vous insérer rapidement dans l’équipe

Plus qu’un poste, un tremplin

Rejoignez-nous pour faire grandir vos ambitions ! Dès votre arrivée, vous serez intégré dans nos équipes et apprendrez chaque jour aux côtés de nos experts qui vous accompagneront dans vos missions. Progressivement, vous gagnerez en autonomie sur vos projets pour faire de cette expérience un vrai accélérateur de carrière. Vous découvrirez également toute la diversité de nos métiers, dans un secteur qui évolue et innove en permanence.

A la fin de vos études, diverses opportunités pourront s’offrir à vous, en France et à l’international.

Pourquoi nous choisir ?

Attentif à votre qualité de vie et conditions de travail, vous bénéficiez d’avantages :

• Télétravail possible selon le rythme de votre service
• Prise en charge de 60% de votre titre de transport
• Billetterie à prix réduits de notre Comité d’Entreprise (concerts, cinéma, sport)
• Offre variée de restaurants d’entreprise et de cafétérias à tarifs compétitifs ainsi que des titres restaurants dématérialisés quand vous êtes en télétravail

Créer, oser, innover, entreprendre font partie de notre ADN. Si vous aussi vous souhaitez être dans l’action, évoluer dans un environnement stimulant et bienveillant, vous sentir utile au quotidien et développer ou renforcer votre expertise, nous sommes faits pour nous rencontrer !

Vous hésitez encore ?

Sachez que nos collaborateurs peuvent s’engager quelques jours par an pour des actions de solidarité sur leur temps de travail : parrainer des personnes en difficulté dans leur orientation ou leur insertion professionnelle, participer à l’éducation financière de jeunes en apprentissage ou encore partager leurs compétences avec une association. Les formats d’engagement sont multiples.

Diversité et inclusion

Nous sommes un employeur garantissant l’égalité des chances et nous sommes fiers de faire de la diversité une force pour notre entreprise. Le groupe s’engage à reconnaître et à promouvoir tous les talents, quels que soient leurs croyances, âge, handicap, parentalité, origine ethnique, nationalité, identité de genre, orientation sexuelle, appartenance à une organisation politique, religieuse, syndicale ou à une minorité, ou toute autre caractéristique qui pourrait faire l’objet d’une discrimination.

Transparence et responsabilité

Le groupe Société Générale a à coeur que les personnes qui nous rejoignent agissent avec éthique et responsabilité pour une culture de performance durable. Les informations mentionnées dans votre candidature peuvent potentiellement être vérifiées dans le respect du cadre légal, à tout moment pendant le processus de recrutement.