Stage : Architecte Benchmark LLMs et Cas d'Usage

Groupe PSA; Sochaux; On-site; EUR 10,000 - 13,000; Part time

Job summary

Le Groupe PSA propose un stage d’ingénieur benchmarking des grands modèles de langage à Sochaux. Vous intégrerez l’équipe IT soutenant les activités Qualité et Planification du Développement Produit et contribuerez à concevoir une solution de benchmarking reproductible pour évaluer les LLM sur des cas d’usage métier.

Le stage vise à transformer les besoins métier en tests mesurables, à documenter les cas, et à définir des cadres de notation couvrant précision, exhaustivité et qualité du

Qualifications

• Candidat présentant un Master en informatique, IA, data science ou domaine connexe.
• Connaissances de Python et notions de benchmarking.
• Bonne capacité d'analyse et de communication avec les parties prenantes.

Responsibilities

• Concevoir et mettre en œuvre une solution de benchmarking pour LLM.
• Compiler des cas d'usage métier et tests reproductibles.
• Organiser des entretiens et ateliers pour comprendre besoins et critères.
• Établir modèle de notation et critères d'acceptation des résultats.
• Documenter les scénarios, entrées de référence et résultats attendus.

Skills

Python

LLM knowledge

Data analysis

Requirement gathering

Technical writing

Education

Master en informatique / IA

Tools

Jupyter

API testing

Notebook environments

Job description

Le Groupe PSA propose un stage d’ingénieur benchmarking des grands modèles de langage à Sochaux. Vous intégrerez l’équipe IT soutenant les activités Qualité et Planification du Développement Produit et contribuerez à concevoir une solution de benchmarking reproductible pour évaluer les LLM sur des cas d’usage métier.

Le stage vise à transformer les besoins métier en tests mesurables, à documenter les cas, et à définir des cadres de notation couvrant précision, exhaustivité et qualité du