Stagiaire assistant ia / data - fiabilité llm H/F

Crédit Mutuel Arkéa; Brest; Sur place; EUR 20 000 - 40 000; Plein temps

Résumé du poste

Une institution bancaire en France recherche un(e) stagiaire assistant IA en Bretagne pour un stage de 6 mois. Le candidat idéal doit avoir de solides compétences en Python et en Deep Learning, ainsi qu'une bonne compréhension des techniques de Machine Learning. Les responsabilités incluent la revue de littérature sur l'incertitude des LLM et le développement de méthodes d'évaluation. Ce stage est à pourvoir à partir du 02/03/2026.

Qualifications

• Étudiant(e) en Master 2 ou dernière année d'École d'Ingénieur.
• Solides compétences en Python et dans un framework de Deep Learning.
• Bonnes connaissances théoriques en Machine Learning et Deep Learning.

Responsabilités

• Effectuer une revue de la littérature sur l'incertitude dans les LLM.
• Mettre en œuvre plusieurs approches pour calculer un score de fiabilité.
• Définir un protocole d'évaluation sur des benchmarks académiques.
• Comparer les performances des méthodes au niveau des baselines.
• Analyser l'efficacité des méthodes et détecter différents types d'erreurs.
• Rédiger un rapport technique détaillant les méthodes et résultats.

Connaissances

Python

Machine Learning

Deep Learning (PyTorch ou TensorFlow)

Formation

Master 2 ou dernière année d'École d'Ingénieur en Informatique, Data Science, ou Intelligence Artificielle

Description du poste

Stagiaire assistant IA / Data - fiabilité LLM H/F

05 novembre Bretagne, Brest Stage

Stage de 6 mois à pourvoir sur Brest à partir du 02/03/2026.

Responsabilités

• Effectuer une revue de la littérature sur les techniques d'estimation de l'incertitude (uncertainty quantification) dans les LLM, en se concentrant sur les méthodes basées sur les probabilités.
• Mettre en œuvre plusieurs approches (supervisées et non supervisées) pour calculer un score de fiabilité à partir des logits ou des probabilités des tokens générés.
• Définir un protocole d'évaluation robuste sur des benchmarks académiques (ex: questions réponses correctes/incorrectes connues).
• Comparer les performances des méthodes développées par rapport à des baselines (ex: "LLM-as-a-Judge").
• Analyser l'efficacité des différentes méthodes, leur coût computationnel, et leur capacité à détecter différents types d'erreurs (hallucinations, erreurs factuelles).
• Rédiger un rapport technique détaillant les méthodes, les résultats et les recommandations pour une mise en production.

Qualifications

• Étudiant(e) en Master 2 ou dernière année d'École d'Ingénieur en Informatique, Data Science, ou Intelligence Artificielle.
• Solides compétences en Python et dans un framework de Deep Learning (PyTorch ou TensorFlow).
• Bonnes connaissances théoriques en Machine Learning et Deep Learning.
• Qualités : Rigueur scientifique, curiosité, autonomie et esprit critique.

À propos de nous

Le Crédit Mutuel Arkéa réunit le Crédit Mutuel Bretagne, le Crédit Mutuel du Sud-Ouest ainsi que près de 40 filiales spécialisées. Avec 4,9 millions de sociétaires-clients, Arkéa est un acteur majeur de la bancassurance en France. CM Arkéa souhaite être un partenaire bancaire d’un monde qui se conçoit sur le long terme, en mettant sa performance globale au service du financement de l’économie réelle, des territoires et de ses acteurs ainsi que des projets de vie de ses sociétaires et clients afin d’accroître le champ des possibles et d’aider chacun à se réaliser. C'est le sens de son projet stratégique Transitions 2024 qui est la traduction concrète de sa Raison d'être.