Stage en Benchmarking des Grands Modèles de Langage

Stellantis; Sochaux; On-site; EUR 8,900 - 13,000; Full time

Benefits offered by this job

Stage rémunéré

Job summary

Stellantis propose un stage au sein de l'équipe IT accompagnant les activités Qualité et Planification du Développement Produit. Le stagiaire concevra et mettra en œuvre une solution de benchmarking des grands modèles de langage, basée sur des cas d'usage collectés auprès des équipes Qualité et Planification du Développement Produit.

Vous identifierez les parties prenantes, définirez un modèle de collecte d’usages et organiserez des ateliers pour comprendre les besoins.

Qualifications

• Étudiant en dernière année d’informatique, IA, science des données, génie logiciel, ou domaine connexe.
• Capacité à recueillir les besoins métiers et les transformer en cas de test mesurables.
• Connaissance de Python ou d’un langage de script; notions IA/générative souhaitables.
• Bonne capacité rédactionnelle et documentation technique.
• Capacité à travailler en équipe pluridisciplinaire et à communiquer avec des interlocuteurs techniques et non techniques.

Responsibilities

• Concevoir et mettre en œuvre une solution de benchmarking des grands modèles de langage (LLM).
• Transformer les cas d’usage métier en tests reproductibles et exécutables sur différents LLM.
• Préparer entrées de référence, consignes d’évaluation et critères d’acceptation pour chaque cas.
• Définir un cadre de notation thématique et une approche de pondération globale.
• Mettre en place, lorsque possible, un cadre automatisé de soumission et de collecte des réponses.

Skills

Analyse & résolution de problèmes

IA générative & LLM basics

Traduire besoins métier en exigences

Python ou script

Rédaction et documentation technique

Education

Master ou diplôme d'ingénieur en dernière année

Tools

Python

Outils d’analyse & visualisation

API et tests automatisés

Job description

Stellantis propose un stage au sein de l'équipe IT accompagnant les activités Qualité et Planification du Développement Produit. Le stagiaire concevra et mettra en œuvre une solution de benchmarking des grands modèles de langage, basée sur des cas d'usage collectés auprès des équipes Qualité et Planification du Développement Produit.

Vous identifierez les parties prenantes, définirez un modèle de collecte d’usages et organiserez des ateliers pour comprendre les besoins.